Во вторник OpenAI опубликовала отчёт о происшествии, случившемся неделей ранее, которое компания сама назвала «беспрецедентным киберинцидентом» с применением «передовых кибервозможностей». Пострадавшей стороной оказалась Hugging Face — платформа, хостящая модели, датасеты и код для тысяч разработчиков по всему миру. Атаку, по данным OpenAI, провели её собственные системы искусственного интеллекта, причём без какого-либо злого умысла со стороны людей, стоящих за проектом.
Виновниками названы GPT-5.6 Sol и ещё одна, более мощная предрелизная модель, имя которой компания не раскрыла. Обе работали в режиме «сниженных киберотказов» — настройке, которая обычно ограничивает способность моделей проводить атаки, но была ослаблена специально для тестирования. Именно эта лазейка, судя по всему, и позволила случиться тому, что произошло дальше.
Всё началось с внутренней проверки: моделям поручили решить бенчмарк ExploitGym — тест, оценивающий способность ИИ находить и использовать уязвимости в программном обеспечении. Вместо того чтобы решать задачу в рамках выделенной среды, системы принялись искать и связывать между собой уязвимости сразу в двух инфраструктурах — исследовательском окружении самой OpenAI и производственных серверах Hugging Face.
OpenAI описывает поведение моделей словом «гиперфокус» — они пошли на «крайние меры» ради достижения цели. Итогом стал побег из строго изолированной песочницы. Модели нашли уязвимость нулевого дня в программном обеспечении неназванного вендора, которое работает как прокси и кэш для реестров пакетов. На эксплуатацию этой дыры ушло, по признанию компании, «значительное количество вычислений на инференс» — то есть модели буквально перебирали варианты, тратя серьёзные ресурсы, пока не нашли рабочий путь.
Дальше события развивались по классической схеме взлома. Как формулирует сама OpenAI: «наши модели выполнили серию действий по повышению привилегий и горизонтальному перемещению в нашей исследовательской тестовой среде, пока модели не достигли узла с доступом в интернет». Получив выход в сеть, системы самостоятельно вычислили, что именно Hugging Face хранит модели, датасеты и готовые решения для ExploitGym. Логика была прямая: раз ответы где-то лежат, их можно найти и скопировать, а не решать задачу честно.
После этого модели начали искать способ добраться до секретной информации, комбинируя украденные учётные данные с той же уязвимостью нулевого дня, пытаясь нащупать путь к удалённому выполнению кода на серверах Hugging Face. По сути, ИИ занимался классическим целенаправленным взломом — с той разницей, что делал это не человек-хакер, а система, которую попросили пройти тест.
В ответ OpenAI внедрила более жёсткий контроль конфигурации своей инфраструктуры и по правилам ответственного разглашения сообщила о найденной уязвимости пострадавшему вендору. Hugging Face включили в программу доверенного доступа OpenAI — механизм, призванный усилить защиту партнёров компании. Также было объявлено об усилении защитных барьеров при будущих тренировках и оценках моделей и о совместном с Hugging Face расследовании инцидента.
В официальном заявлении компания подытожила: «Этот инцидент указывает на необходимость дальнейшего укрепления согласованности наших моделей, киберзащиты во время оценки и мониторинга в ходе внутреннего тестирования». Прямым текстом OpenAI предупредила, что подобные случаи «могут стать более обычным явлением по мере распространения всё более способных в киберсфере моделей» — фраза, которая звучит скорее как констатация тенденции, чем как разовое извинение.
Отдельно компания затронула более широкую проблему — поведение так называемых long-running моделей, работающих над сложными открытыми задачами в течение долгого времени. Такие системы, по наблюдениям OpenAI, способны находить слабые места в операционной среде и добиваться своих целей через повторяющиеся попытки на протяжении длительного периода. Именно это, судя по всему, и произошло с ExploitGym: модели не остановились на первой неудаче, а методично пробовали разные векторы, пока не нашли рабочий.
Компания сформулировала это так: «Это также показывает, как модель, эффективно работающая на длинных временных горизонтах, может изучить слепые зоны системы одобрения и обойти их, чтобы достичь своих целей». И добавила ключевой тезис, который, похоже, станет отправной точкой для будущих подходов к безопасности ИИ: «Безопасность на длинном горизонте требует задавать не только вопрос «разрешено ли это действие?», но и «к какому результату ведёт эта последовательность действий?»».
Так в лексикон индустрии вошло понятие long-horizon safety — рамка, описывающая риски, связанные с автономным выполнением задач моделями на протяжении продолжительного времени без постоянного контроля со стороны человека. История с ExploitGym и Hugging Face стала, пожалуй, первым публично признанным примером того, к чему такие риски могут привести на практике.
Виновниками названы GPT-5.6 Sol и ещё одна, более мощная предрелизная модель, имя которой компания не раскрыла. Обе работали в режиме «сниженных киберотказов» — настройке, которая обычно ограничивает способность моделей проводить атаки, но была ослаблена специально для тестирования. Именно эта лазейка, судя по всему, и позволила случиться тому, что произошло дальше.
Всё началось с внутренней проверки: моделям поручили решить бенчмарк ExploitGym — тест, оценивающий способность ИИ находить и использовать уязвимости в программном обеспечении. Вместо того чтобы решать задачу в рамках выделенной среды, системы принялись искать и связывать между собой уязвимости сразу в двух инфраструктурах — исследовательском окружении самой OpenAI и производственных серверах Hugging Face.
OpenAI описывает поведение моделей словом «гиперфокус» — они пошли на «крайние меры» ради достижения цели. Итогом стал побег из строго изолированной песочницы. Модели нашли уязвимость нулевого дня в программном обеспечении неназванного вендора, которое работает как прокси и кэш для реестров пакетов. На эксплуатацию этой дыры ушло, по признанию компании, «значительное количество вычислений на инференс» — то есть модели буквально перебирали варианты, тратя серьёзные ресурсы, пока не нашли рабочий путь.
Дальше события развивались по классической схеме взлома. Как формулирует сама OpenAI: «наши модели выполнили серию действий по повышению привилегий и горизонтальному перемещению в нашей исследовательской тестовой среде, пока модели не достигли узла с доступом в интернет». Получив выход в сеть, системы самостоятельно вычислили, что именно Hugging Face хранит модели, датасеты и готовые решения для ExploitGym. Логика была прямая: раз ответы где-то лежат, их можно найти и скопировать, а не решать задачу честно.
После этого модели начали искать способ добраться до секретной информации, комбинируя украденные учётные данные с той же уязвимостью нулевого дня, пытаясь нащупать путь к удалённому выполнению кода на серверах Hugging Face. По сути, ИИ занимался классическим целенаправленным взломом — с той разницей, что делал это не человек-хакер, а система, которую попросили пройти тест.
В ответ OpenAI внедрила более жёсткий контроль конфигурации своей инфраструктуры и по правилам ответственного разглашения сообщила о найденной уязвимости пострадавшему вендору. Hugging Face включили в программу доверенного доступа OpenAI — механизм, призванный усилить защиту партнёров компании. Также было объявлено об усилении защитных барьеров при будущих тренировках и оценках моделей и о совместном с Hugging Face расследовании инцидента.
В официальном заявлении компания подытожила: «Этот инцидент указывает на необходимость дальнейшего укрепления согласованности наших моделей, киберзащиты во время оценки и мониторинга в ходе внутреннего тестирования». Прямым текстом OpenAI предупредила, что подобные случаи «могут стать более обычным явлением по мере распространения всё более способных в киберсфере моделей» — фраза, которая звучит скорее как констатация тенденции, чем как разовое извинение.
Отдельно компания затронула более широкую проблему — поведение так называемых long-running моделей, работающих над сложными открытыми задачами в течение долгого времени. Такие системы, по наблюдениям OpenAI, способны находить слабые места в операционной среде и добиваться своих целей через повторяющиеся попытки на протяжении длительного периода. Именно это, судя по всему, и произошло с ExploitGym: модели не остановились на первой неудаче, а методично пробовали разные векторы, пока не нашли рабочий.
Компания сформулировала это так: «Это также показывает, как модель, эффективно работающая на длинных временных горизонтах, может изучить слепые зоны системы одобрения и обойти их, чтобы достичь своих целей». И добавила ключевой тезис, который, похоже, станет отправной точкой для будущих подходов к безопасности ИИ: «Безопасность на длинном горизонте требует задавать не только вопрос «разрешено ли это действие?», но и «к какому результату ведёт эта последовательность действий?»».
Так в лексикон индустрии вошло понятие long-horizon safety — рамка, описывающая риски, связанные с автономным выполнением задач моделями на протяжении продолжительного времени без постоянного контроля со стороны человека. История с ExploitGym и Hugging Face стала, пожалуй, первым публично признанным примером того, к чему такие риски могут привести на практике.