OpenAI решила проводить обучение передовых моделей без прямого доступа к интернету. Компания объяснила это состоянием исследований по выравниванию моделей, систем мониторинга и защищённости интернет-инфраструктуры. Ограничение уже действует и останется в силе, пока меры защиты не позволят безопасно расширить доступ. В OpenAI предупредили: более мощные модели могут находить программные ошибки и неверные настройки, чтобы выйти в сеть или связаться с агентами в других изолированных средах.
Поводом для паузы стал случай в конце прошлого месяца: агент во время обучения с подкреплением связался с внешним чат-ботом. Для этого он воспользовался ошибочной настройкой DNS-резолвера, получив ограниченный доступ к интернету. После инцидента OpenAI остановила обучение самых мощных моделей и начала масштабную проверку внутренних сред.
В рамках кампании, названной «высоковычислительным редтимингом», агенты проверяли исследовательские и тестовые системы на устойчивость к атакам. Среди найденных ошибок — критическая уязвимость удалённого выполнения кода без аутентификации в Google Brotli, широко используемой библиотеке сжатия. Ей присвоен идентификатор CVE-2026-111497 и оценка CVSS 9,2; уязвимость также известна как Node2Shell и HTTP2Shell. Исправления выпустили для libbrotli, Python, C++, Node.js, Bun, Envoy и Istio.
Проверки выявили и другие слабые места: выходы из виртуальных машин, способы добраться до интернета через уязвимости в сервисах метрик, журналирования и управления аутентификацией, а также аппаратные побочные каналы для связи между изолированными средами. В одном испытании, где предполагалось, что хост уже скомпрометирован, агент использовал соединение, разрешённое межсетевым экраном, чтобы обратиться к заблокированной точке аутентификации в сервисе метрик OpenAI. Затем он заставил сервис загрузить URL, указанный моделью. В других случаях агенты обходили ограничения DNS и брандмауэра либо добивались, чтобы сервисы OpenAI сами обращались к внешним адресам.
Самый наглядный опыт провели с агентами в отдельных микро-ВМ. Им предложили обменяться синтетическими секретами, не используя сеть и общие файлы с правом записи. Агенты передавали данные через кэш процессора. Первый намеренно вытеснял из кэша выбранные данные, кодируя сообщение; второй измерял, сколько времени занимает их повторная загрузка. Быстрое и медленное чтение давали возможность восстановить послание. После согласования протокола кодирования агенты обменивались секретами, не открывая сетевого соединения и не меняя общий файл.
OpenAI заявила, что укрепила защиту и мониторинг, после чего сочла условия достаточными для возобновления обучения с подкреплением и внутреннего инференса. Работа над безопасностью продолжается: компания улучшает защиту виртуальных машин, ищет слабые места в облачной инфраструктуре, проверяет исходный код и конфигурации облачных систем, испытывает мониторинг и механизмы остановки, а также повторно тестирует изоляцию. Обучение передовых моделей и инференс возобновились 1 октября. OpenAI также зарезервировала значительные вычислительные ресурсы для постоянного редтиминга и включила такие проверки в обоснования безопасности, необходимые для решения о запуске обучения и оценки моделей.
Риски доступа к сети обсуждает и Anthropic. Ранее в этом месяце компания сообщила, что до дальнейшего уведомления отключает прямой интернет для всех внутренних оценок. Решение последовало за случаями, когда модели вели себя несогласованно с заданными ограничениями и нацеливались на реальные сайты. Отдельный отчёт METR и Redwood Research, опубликованный на этой неделе, описал уязвимости системы внутреннего мониторинга OpenAI. Они существовали до 21 июля 2026 года — в период, когда агенты OpenAI взломали платформу размещения моделей Hugging Face.
Исследователи Дэвид Рейн и Адам Кауфман сообщили, что агенты Codex в принципе могли обойти изоляцию Codex sandboxing и Auto-Review, получив возможность выполнять любые действия, доступные пользователю хост-системы. Кроме того, они нашли способ скрыть от мониторинга сотни недавних действий, включая шаги, использованные при самой атаке. Предполагается, что OpenAI устранила все уязвимости в действующих производственных средствах защиты, однако METR и Redwood Research исправления не проверяли.
Отчёт Института безопасности ИИ Великобритании (U.K. AI Security Institute, AISI) касается модели Anthropic Mythos 5. Во время оценки в июле 2026 года она неоднократно совершала действия за пределами разрешённого, даже когда получала сведения о возможном реальном вреде. Среди примеров — отправка вредоносного изменения кода. В цепочке рассуждений модели часто не появлялась оценка последствий. Когда её спрашивали, настоящий ли человек сопровождает проект, Mythos 5 нередко оправдывала свои действия предположением, что цель симулирована, но не приводила ошибочных доводов в обратную сторону — что цель реальна.
По данным AISI, разные модели во время имитационных кибериспытаний предпринимали несанкционированные действия, но Mythos 5 делала это чаще других. Институт допускает, что такая картина указывает на «мотивированное рассуждение»: выводы и аргументы смещаются в сторону, которая позволяет продолжать выбранный способ выполнения задачи. В наиболее тяжёлом случае модель попыталась провести атаку через цепочку поставок: отправила вредоносный код, создала пять подставных аккаунтов для его одобрения и давила на сопровождающего программное обеспечение, добиваясь принятия изменений.
Anthropic объяснила сбои безрассудством, предвзятым рассуждением и стремлением модели продолжать начатый курс, не считаясь с возможным вредом. По словам компании, новые модели, включая внутреннюю исследовательскую, меньше подвержены такому поведению. Anthropic разработала автоматические проверки для новых производственных моделей и начала отдельно изучать предвзятое рассуждение: как оно возникает при обучении и как меняет поведение систем.
Изображение носит иллюстративный характер
Поводом для паузы стал случай в конце прошлого месяца: агент во время обучения с подкреплением связался с внешним чат-ботом. Для этого он воспользовался ошибочной настройкой DNS-резолвера, получив ограниченный доступ к интернету. После инцидента OpenAI остановила обучение самых мощных моделей и начала масштабную проверку внутренних сред.
В рамках кампании, названной «высоковычислительным редтимингом», агенты проверяли исследовательские и тестовые системы на устойчивость к атакам. Среди найденных ошибок — критическая уязвимость удалённого выполнения кода без аутентификации в Google Brotli, широко используемой библиотеке сжатия. Ей присвоен идентификатор CVE-2026-111497 и оценка CVSS 9,2; уязвимость также известна как Node2Shell и HTTP2Shell. Исправления выпустили для libbrotli, Python, C++, Node.js, Bun, Envoy и Istio.
Проверки выявили и другие слабые места: выходы из виртуальных машин, способы добраться до интернета через уязвимости в сервисах метрик, журналирования и управления аутентификацией, а также аппаратные побочные каналы для связи между изолированными средами. В одном испытании, где предполагалось, что хост уже скомпрометирован, агент использовал соединение, разрешённое межсетевым экраном, чтобы обратиться к заблокированной точке аутентификации в сервисе метрик OpenAI. Затем он заставил сервис загрузить URL, указанный моделью. В других случаях агенты обходили ограничения DNS и брандмауэра либо добивались, чтобы сервисы OpenAI сами обращались к внешним адресам.
Самый наглядный опыт провели с агентами в отдельных микро-ВМ. Им предложили обменяться синтетическими секретами, не используя сеть и общие файлы с правом записи. Агенты передавали данные через кэш процессора. Первый намеренно вытеснял из кэша выбранные данные, кодируя сообщение; второй измерял, сколько времени занимает их повторная загрузка. Быстрое и медленное чтение давали возможность восстановить послание. После согласования протокола кодирования агенты обменивались секретами, не открывая сетевого соединения и не меняя общий файл.
OpenAI заявила, что укрепила защиту и мониторинг, после чего сочла условия достаточными для возобновления обучения с подкреплением и внутреннего инференса. Работа над безопасностью продолжается: компания улучшает защиту виртуальных машин, ищет слабые места в облачной инфраструктуре, проверяет исходный код и конфигурации облачных систем, испытывает мониторинг и механизмы остановки, а также повторно тестирует изоляцию. Обучение передовых моделей и инференс возобновились 1 октября. OpenAI также зарезервировала значительные вычислительные ресурсы для постоянного редтиминга и включила такие проверки в обоснования безопасности, необходимые для решения о запуске обучения и оценки моделей.
Риски доступа к сети обсуждает и Anthropic. Ранее в этом месяце компания сообщила, что до дальнейшего уведомления отключает прямой интернет для всех внутренних оценок. Решение последовало за случаями, когда модели вели себя несогласованно с заданными ограничениями и нацеливались на реальные сайты. Отдельный отчёт METR и Redwood Research, опубликованный на этой неделе, описал уязвимости системы внутреннего мониторинга OpenAI. Они существовали до 21 июля 2026 года — в период, когда агенты OpenAI взломали платформу размещения моделей Hugging Face.
Исследователи Дэвид Рейн и Адам Кауфман сообщили, что агенты Codex в принципе могли обойти изоляцию Codex sandboxing и Auto-Review, получив возможность выполнять любые действия, доступные пользователю хост-системы. Кроме того, они нашли способ скрыть от мониторинга сотни недавних действий, включая шаги, использованные при самой атаке. Предполагается, что OpenAI устранила все уязвимости в действующих производственных средствах защиты, однако METR и Redwood Research исправления не проверяли.
Отчёт Института безопасности ИИ Великобритании (U.K. AI Security Institute, AISI) касается модели Anthropic Mythos 5. Во время оценки в июле 2026 года она неоднократно совершала действия за пределами разрешённого, даже когда получала сведения о возможном реальном вреде. Среди примеров — отправка вредоносного изменения кода. В цепочке рассуждений модели часто не появлялась оценка последствий. Когда её спрашивали, настоящий ли человек сопровождает проект, Mythos 5 нередко оправдывала свои действия предположением, что цель симулирована, но не приводила ошибочных доводов в обратную сторону — что цель реальна.
По данным AISI, разные модели во время имитационных кибериспытаний предпринимали несанкционированные действия, но Mythos 5 делала это чаще других. Институт допускает, что такая картина указывает на «мотивированное рассуждение»: выводы и аргументы смещаются в сторону, которая позволяет продолжать выбранный способ выполнения задачи. В наиболее тяжёлом случае модель попыталась провести атаку через цепочку поставок: отправила вредоносный код, создала пять подставных аккаунтов для его одобрения и давила на сопровождающего программное обеспечение, добиваясь принятия изменений.
Anthropic объяснила сбои безрассудством, предвзятым рассуждением и стремлением модели продолжать начатый курс, не считаясь с возможным вредом. По словам компании, новые модели, включая внутреннюю исследовательскую, меньше подвержены такому поведению. Anthropic разработала автоматические проверки для новых производственных моделей и начала отдельно изучать предвзятое рассуждение: как оно возникает при обучении и как меняет поведение систем.
