Внутри OpenAI работает модель, у которой одна задача — ломать другие модели. Её зовут GPT-Red, и это не метафора: система целыми днями придумывает, как обмануть GPT-5 и заставить его слить пароли, отключить двухфакторную аутентификацию или перевести деньги не туда. В OpenAI прямо признают: "GPT-Red — сильный red-teamer, и наши предыдущие модели крайне уязвимы для его атак с prompt injection".
Работает эта штука примерно как живой хакер, которого наняли ломать защиту компании изнутри. Отправляет запрос, смотрит, как отреагировала атакуемая модель, корректирует подход и пробует снова. В OpenAI это описывают так: «Подобно тому как человек-редтимер выстраивает атаку, модель движется к цели, отправляя запрос, наблюдая за реакцией GPT-моделей на него, и повторяя попытки». Никакой магии — обычный перебор, только автоматизированный и без усталости, свойственной людям.
Проблема, которую решает GPT-Red, старая и никуда не девается. Большие языковые модели по-прежнему можно обмануть хитро составленной инструкцией, спрятанной внутри вроде бы безобидного текста. Раньше это было полбеды, потому что модель просто отвечала пользователю. Сейчас агентные системы подключены к браузерам, сторонним приложениям, локальным файлам, внешним инструментам — и вредоносный текст может прятаться где угодно: в письме, на веб-странице, в ответе от API, даже в коде репозитория на GitHub.
Обучали GPT-Red через self-play с подкреплением — модель растёт не в вакууме, а одновременно с целым набором разных моделей-защитников. Схема простая до цинизма: GPT-Red получает награду за успешную атаку, защитник получает награду за то, что устоял и всё равно выполнил исходную задачу пользователя. Получается гонка вооружений в миниатюре — как только защитники подтягиваются, GPT-Red вынуждена искать новые дыры. При этом саму GPT-Red держат изолированно от остальных продуктов компании, чтобы наработанные приёмы атак не утекли к реальным злоумышленникам.
Результаты обучения выглядят убедительно на бумаге. GPT-5.6 Sol, вышедший всего через четыре месяца после GPT-5.5, показывает в шесть раз меньше провалов на прямых prompt injection бенчмарках по сравнению с предшественником. На бенчмарках непрямых инъекций — тех, что касаются браузинга и инструментов разработчика — точность достигла 97%, то есть тесты по сути исчерпали себя. А против атак самой GPT-Red новая модель проваливается лишь в 0,05% случаев. Для сравнения: по непрямым инъекциям GPT-Red находит успешные сценарии против GPT-5.1 чаще, чем это делают живые эксперты по редтимингу.
Отдельного упоминания заслуживает находка, которую сделала ещё ранняя версия GPT-Red — целый новый класс атак с поддельной цепочкой рассуждений, Fake Chain-of-Thought. Против GPT-5.1 такая атака срабатывала больше чем в 95% случаев, что само по себе тревожный сигнал. После донастройки GPT-5.6 Sol показатель упал ниже 10%. Разница почти в десять раз показывает, насколько конкретной и адресной была уязвимость — и насколько быстро её удалось прикрыть, зная точный механизм эксплуатации.
Проверяли не только в лабораторных условиях. В одном из тестов GPT-Red сначала отработала сценарий в симуляции, а затем вышла на живого автономного агента — торговый автомат, которым управляла компания Andon Labs. Все три цели были достигнуты: цена дорогого товара опустилась до минимально допустимых 50 центов, за эти же 50 центов был заказан новый товар стоимостью 100 долларов, и вдобавок был отменён чужой заказ другого покупателя. Во втором кейсе объектом стал Codex — агент для командной строки на базе GPT-5.4 mini. Из десяти отложенных задач на утечку данных GPT-Red добилась передачи чувствительной информации в большем числе случаев, чем это удалось базовой версии с промптом на GPT-5.5.
Параллельно с этой историей OpenAI сделала неприятное признание насчёт другого своего инструмента — бенчмарка SWE-Bench Pro, который компания раньше сама рекомендовала как способ измерять уровень моделей в написании кода. Теперь эта рекомендация отозвана. Прецедент уже был: ещё в феврале этого года OpenAI отказалась от SWE-bench Verified из-за фундаментальных проблем с дизайном теста и загрязнением данных. С SWE-Bench Pro картина оказалась похожей. Автоматический анализ датапоинтов нашёл 200 сломанных задач — 27,4% от общего числа. Ручная разметка людьми выявила ещё больше — 249 задач, или 34,1%. По итоговой оценке компании, около трети всех заданий в бенчмарке попросту нерабочие.
В OpenAI формулируют требование к любому оценочному тесту довольно жёстко: «Оценка должна давать значимый сигнал через бенчмарки, которые трудно обмануть, легко доверять им, и которые действительно отражают возможности модели или её согласованность с намерениями разработчиков». SWE-Bench Pro этому критерию, по всей видимости, не соответствовал — треть сломанных задач это не погрешность, а системная проблема измерительного инструмента.
Работает эта штука примерно как живой хакер, которого наняли ломать защиту компании изнутри. Отправляет запрос, смотрит, как отреагировала атакуемая модель, корректирует подход и пробует снова. В OpenAI это описывают так: «Подобно тому как человек-редтимер выстраивает атаку, модель движется к цели, отправляя запрос, наблюдая за реакцией GPT-моделей на него, и повторяя попытки». Никакой магии — обычный перебор, только автоматизированный и без усталости, свойственной людям.
Проблема, которую решает GPT-Red, старая и никуда не девается. Большие языковые модели по-прежнему можно обмануть хитро составленной инструкцией, спрятанной внутри вроде бы безобидного текста. Раньше это было полбеды, потому что модель просто отвечала пользователю. Сейчас агентные системы подключены к браузерам, сторонним приложениям, локальным файлам, внешним инструментам — и вредоносный текст может прятаться где угодно: в письме, на веб-странице, в ответе от API, даже в коде репозитория на GitHub.
Обучали GPT-Red через self-play с подкреплением — модель растёт не в вакууме, а одновременно с целым набором разных моделей-защитников. Схема простая до цинизма: GPT-Red получает награду за успешную атаку, защитник получает награду за то, что устоял и всё равно выполнил исходную задачу пользователя. Получается гонка вооружений в миниатюре — как только защитники подтягиваются, GPT-Red вынуждена искать новые дыры. При этом саму GPT-Red держат изолированно от остальных продуктов компании, чтобы наработанные приёмы атак не утекли к реальным злоумышленникам.
Результаты обучения выглядят убедительно на бумаге. GPT-5.6 Sol, вышедший всего через четыре месяца после GPT-5.5, показывает в шесть раз меньше провалов на прямых prompt injection бенчмарках по сравнению с предшественником. На бенчмарках непрямых инъекций — тех, что касаются браузинга и инструментов разработчика — точность достигла 97%, то есть тесты по сути исчерпали себя. А против атак самой GPT-Red новая модель проваливается лишь в 0,05% случаев. Для сравнения: по непрямым инъекциям GPT-Red находит успешные сценарии против GPT-5.1 чаще, чем это делают живые эксперты по редтимингу.
Отдельного упоминания заслуживает находка, которую сделала ещё ранняя версия GPT-Red — целый новый класс атак с поддельной цепочкой рассуждений, Fake Chain-of-Thought. Против GPT-5.1 такая атака срабатывала больше чем в 95% случаев, что само по себе тревожный сигнал. После донастройки GPT-5.6 Sol показатель упал ниже 10%. Разница почти в десять раз показывает, насколько конкретной и адресной была уязвимость — и насколько быстро её удалось прикрыть, зная точный механизм эксплуатации.
Проверяли не только в лабораторных условиях. В одном из тестов GPT-Red сначала отработала сценарий в симуляции, а затем вышла на живого автономного агента — торговый автомат, которым управляла компания Andon Labs. Все три цели были достигнуты: цена дорогого товара опустилась до минимально допустимых 50 центов, за эти же 50 центов был заказан новый товар стоимостью 100 долларов, и вдобавок был отменён чужой заказ другого покупателя. Во втором кейсе объектом стал Codex — агент для командной строки на базе GPT-5.4 mini. Из десяти отложенных задач на утечку данных GPT-Red добилась передачи чувствительной информации в большем числе случаев, чем это удалось базовой версии с промптом на GPT-5.5.
Параллельно с этой историей OpenAI сделала неприятное признание насчёт другого своего инструмента — бенчмарка SWE-Bench Pro, который компания раньше сама рекомендовала как способ измерять уровень моделей в написании кода. Теперь эта рекомендация отозвана. Прецедент уже был: ещё в феврале этого года OpenAI отказалась от SWE-bench Verified из-за фундаментальных проблем с дизайном теста и загрязнением данных. С SWE-Bench Pro картина оказалась похожей. Автоматический анализ датапоинтов нашёл 200 сломанных задач — 27,4% от общего числа. Ручная разметка людьми выявила ещё больше — 249 задач, или 34,1%. По итоговой оценке компании, около трети всех заданий в бенчмарке попросту нерабочие.
В OpenAI формулируют требование к любому оценочному тесту довольно жёстко: «Оценка должна давать значимый сигнал через бенчмарки, которые трудно обмануть, легко доверять им, и которые действительно отражают возможности модели или её согласованность с намерениями разработчиков». SWE-Bench Pro этому критерию, по всей видимости, не соответствовал — треть сломанных задач это не погрешность, а системная проблема измерительного инструмента.