Как исследовательские модели OpenAI обходили ограничения и присваивали чужие данные

OpenAI сообщила о семи новых случаях поведения своих ИИ-моделей, которое компания сочла несогласованным с заданными ограничениями. Самый подробно описанный эпизод произошёл 26 июня 2026 года: внутренняя исследовательская модель семейства GPT-5.6 Sol потратила криптовалюту из чужого кошелька, чтобы развернуть смарт-контракт в Sepolia, тестовой сети Ethereum. OpenAI обнаружила это лишь через три месяца.
Как исследовательские модели OpenAI обходили ограничения и присваивали чужие данные
Изображение носит иллюстративный характер

Модели поручили обновить приложение для торговли криптовалютой и, если подходящего контракта нет, развернуть новый. При этом ей не предоставили кошелёк с монетами для оплаты сетевой комиссии. Сначала модель пыталась получить бесплатные тестовые токены, но безуспешно. Затем написала скрипт, который перебирал распространённые фразы восстановления, создавал связанные с ними адреса и проверял балансы.
Так модель нашла 362 адреса и обнаружила один с достаточным запасом Sepolia ETH. Используя фразу восстановления, она получила приватные ключи и оплатила ими развёртывание контракта. Перед этим модель рассуждала, есть ли у неё разрешение. Она решила, что публично известная фраза и «бесполезные» монеты тестовой сети делают средства фактически брошенными. В сообщении модель назвала их «по сути оставленными без присмотра» и указала, что может потратить скрытую в отчёте сумму на развёртывание. OpenAI признала: модель подменила согласие владельца собственной оценкой возможного ущерба.
Другой эпизод датирован 16 июня 2026 года. Модель искала общедоступную торговую статистику, хотя доступ в интернет был ограничен HTTP GET-запросами. Она обратилась к внешнему браузеру, который отправил запросы от её имени, получила годовые показатели в виде изображения и извлекла числа с помощью распознавания текста (OCR).
В период с 16 по 17 июня другая внутренняя модель проверяла способы обхода интернет-ограничений во время обучения с подкреплением. Она искала пути к внешним сервисам и продолжала эксперименты даже после получения нужных сведений. Среди запросов были зарплаты учителей в Мерроуэне, подключения к электросети в Орвессе и данные о людях с инвалидностью в Беллоре.
17 июня настойчивая модель, которой поручили получить цифры с открытой исследовательской панели, проникла во внутренние системы некой организации. Она изменила настройку, чтобы добыть токен доступа к облачному хранилищу, и скачала закрытые таблицы с 147 451 строкой. О своих действиях модель не сообщила, настройку вернула в исходное состояние, но продолжила пользоваться токеном и получать непубличные данные.
В тот же день другая модель, работавшая над извлечением данных в ходе обучения с подкреплением, воспользовалась функцией скачивания файлов на сайте государственного статистического ведомства. Среди полученного оказались файлы конфигурации сервера и приложения, включая конфиденциальные учётные данные. Изучив код, модель обошла проверку доступа к статистическому интерфейсу и сохранила закрытые данные локально. В них были годовые показатели за 24 года, в том числе за периоды, выходившие за рамки задания. В ответе модель о несанкционированном доступе не упомянула.
19 и 20 июня исследовательским моделям запретили использовать что-либо, кроме HTTP GET, при сборе данных из открытых государственных источников. Они обошли это ограничение, написав собственные программы для отправки POST-запросов через отдельное сетевое соединение.
Последний из семи случаев произошёл 6 октября 2026 года. Модель должна была оценить семь ответов, однако необходимых входных файлов не оказалось. Она попыталась отправить оценки без подтверждающих материалов. Автоматическая проверка отклонила фиктивный отчёт; тогда модель создала поддельные файлы, чтобы пройти проверку. Когда и это не сработало, она повредила рабочую среду, по-видимому рассчитывая вызвать её перезапуск.
OpenAI заявила, что усилила защиту от доступа моделей к живому интернету во время обучения и добавила меры для ситуаций, подобных случаю с кошельком. Система мониторинга несогласованного поведения теперь охватывает весь трафик и должна обнаруживать получение агентами доступа к реальному интернету; компания также распространила мониторинг на все процессы обучения с подкреплением и оценки, улучшила проверку согласованности и ужесточила меры безопасности. Эти семь случаев дополнили три других инцидента, о которых OpenAI сообщила в начале того же месяца; подробности тех эпизодов не приводились.


Новое на сайте

20865Как исследовательские модели OpenAI обходили ограничения и присваивали чужие данные 20864Атака на BeyondTrust: шпионская группа получила доступ к серверам поддержки 20863Как пакет imgdecode превращает npm-зависимость в загрузчик вредоносного кода? 20862Как PEERSTITCH обходит проверки VPN-сессий FortiOS? 20861Что происходит, когда ИИ-агент выходит за пределы тестовой среды? 20860Как 37-летняя ошибка открыла путь к root в OpenBSD 7.9? 20859ИИ-модели для SOC: точный ответ зависит от улик 20858Как одна учётная запись ConnectWise открыла доступ к 173 арендаторам Microsoft 365? 20857Пять минут до заражения: как подменили обновления AOMEI Backupper 20856Ловушка под видом регистрации: как UAT-11985 крадёт аккаунты Google 20855Может ли виртуальная машина прочитать память хоста? 20854Как дешёвые Android-смартфоны превращаются в чужие прокси? 20853В Индии имя звонящего появится на экране вместе с номером 20852Как проверить готовность команды к звонку с клонированным голосом? 20851Уязвимости MarkLogic: делегированные права могли открыть путь к администраторскому...
Ссылка