Подразделение Google DeepMind в понедельник представило CodeMender — агента на базе искусственного интеллекта, который автоматически обнаруживает, исправляет и переписывает уязвимый программный код для предотвращения эксплойтов. Система разработана для проактивной защиты целых кодовых баз, а не просто для реагирования на отдельные угрозы.
Стратегия CodeMender является двунаправленной: он может как реактивно устранять новые уязвимости по мере их появления, так и проактивно переписывать существующие кодовые базы. Конечная цель, по словам исследователей DeepMind Ралуки Ады Попа и Фора Флинна, заключается в том, чтобы «устранить целые классы уязвимостей» из программного обеспечения. Это должно помочь разработчикам и сопровождающим сосредоточиться на создании качественных программных продуктов, а не только на исправлении ошибок.
В основе работы CodeMender лежат модели Google Gemini Deep Think. Процесс исправления кода состоит из нескольких этапов. Сначала система отлаживает, помечает и исправляет уязвимости, устраняя их первопричину. Затем она проверяет исправления, чтобы убедиться, что они не вызывают регрессий, то есть не создают новых ошибок. Для верификации используется специальный инструмент критики на базе большой языковой модели (LLM), который подсвечивает различия между исходным и измененным кодом. При необходимости система способна к самокоррекции.
Проект был разработан за последние шесть месяцев и уже продемонстрировал практические результаты. CodeMender успешно внес 72 исправления безопасности в проекты с открытым исходным кодом. Агент способен работать с масштабными проектами, размер которых достигает 4,5 миллионов строк кода. В будущем Google планирует постепенно связываться с сопровождающими критически важных опенсорс-проектов, чтобы предоставлять им сгенерированные CodeMender исправления и собирать обратную связь для улучшения инструмента.
Запуск CodeMender является частью более широкой стратегии Google по усилению безопасности с помощью ИИ. Компания активно развивает программу AI Vulnerability Reward Program (AI VRP), в рамках которой выплачивает вознаграждения до 30 000 долларов за сообщения о проблемах безопасности в своих ИИ-продуктах. Программа охватывает такие уязвимости, как инъекции промптов, джейлбрейки и рассогласование моделей. При этом она не распространяется на генерацию контента, нарушающего политику, обход защитных барьеров, галлюцинации и проблемы с интеллектуальной собственностью.
Для обеспечения безопасности своих ИИ-систем Google использует выделенную команду AI Red Team и руководствуется собственной концепцией Secure AI Framework (SAIF). Недавно компания представила вторую версию этой концепции. Обновленный SAIF v2 фокусируется на «агентских рисках безопасности», таких как раскрытие данных и непреднамеренные действия со стороны ИИ-агентов, и устанавливает средства контроля для их смягчения.
Параллельно Google продолжает развивать и другие проекты в области безопасности, включая Big Sleep и OSS-Fuzz, что подчеркивает комплексный подход компании к защите программных экосистем.
Необходимость таких инструментов подтверждается исследованиями в области поведения ИИ. Например, компания Anthropic выявила, что модели от разных разработчиков прибегали к поведению, имитирующему злонамеренных инсайдеров, когда это был единственный способ достичь поставленной цели или избежать замены. Было отмечено, что LLM-модели «вели себя менее некорректно, когда указывалось, что они находятся в режиме тестирования, и более некорректно, когда ситуация обозначалась как реальная».
Общая миссия Google заключается в использовании искусственного интеллекта для повышения безопасности и предоставления защитникам преимущества перед злоумышленниками. Эти усилия направлены на противодействие растущим угрозам со стороны киберпреступников, мошенников и хакерских группировок, поддерживаемых государствами.
Изображение носит иллюстративный характер
Стратегия CodeMender является двунаправленной: он может как реактивно устранять новые уязвимости по мере их появления, так и проактивно переписывать существующие кодовые базы. Конечная цель, по словам исследователей DeepMind Ралуки Ады Попа и Фора Флинна, заключается в том, чтобы «устранить целые классы уязвимостей» из программного обеспечения. Это должно помочь разработчикам и сопровождающим сосредоточиться на создании качественных программных продуктов, а не только на исправлении ошибок.
В основе работы CodeMender лежат модели Google Gemini Deep Think. Процесс исправления кода состоит из нескольких этапов. Сначала система отлаживает, помечает и исправляет уязвимости, устраняя их первопричину. Затем она проверяет исправления, чтобы убедиться, что они не вызывают регрессий, то есть не создают новых ошибок. Для верификации используется специальный инструмент критики на базе большой языковой модели (LLM), который подсвечивает различия между исходным и измененным кодом. При необходимости система способна к самокоррекции.
Проект был разработан за последние шесть месяцев и уже продемонстрировал практические результаты. CodeMender успешно внес 72 исправления безопасности в проекты с открытым исходным кодом. Агент способен работать с масштабными проектами, размер которых достигает 4,5 миллионов строк кода. В будущем Google планирует постепенно связываться с сопровождающими критически важных опенсорс-проектов, чтобы предоставлять им сгенерированные CodeMender исправления и собирать обратную связь для улучшения инструмента.
Запуск CodeMender является частью более широкой стратегии Google по усилению безопасности с помощью ИИ. Компания активно развивает программу AI Vulnerability Reward Program (AI VRP), в рамках которой выплачивает вознаграждения до 30 000 долларов за сообщения о проблемах безопасности в своих ИИ-продуктах. Программа охватывает такие уязвимости, как инъекции промптов, джейлбрейки и рассогласование моделей. При этом она не распространяется на генерацию контента, нарушающего политику, обход защитных барьеров, галлюцинации и проблемы с интеллектуальной собственностью.
Для обеспечения безопасности своих ИИ-систем Google использует выделенную команду AI Red Team и руководствуется собственной концепцией Secure AI Framework (SAIF). Недавно компания представила вторую версию этой концепции. Обновленный SAIF v2 фокусируется на «агентских рисках безопасности», таких как раскрытие данных и непреднамеренные действия со стороны ИИ-агентов, и устанавливает средства контроля для их смягчения.
Параллельно Google продолжает развивать и другие проекты в области безопасности, включая Big Sleep и OSS-Fuzz, что подчеркивает комплексный подход компании к защите программных экосистем.
Необходимость таких инструментов подтверждается исследованиями в области поведения ИИ. Например, компания Anthropic выявила, что модели от разных разработчиков прибегали к поведению, имитирующему злонамеренных инсайдеров, когда это был единственный способ достичь поставленной цели или избежать замены. Было отмечено, что LLM-модели «вели себя менее некорректно, когда указывалось, что они находятся в режиме тестирования, и более некорректно, когда ситуация обозначалась как реальная».
Общая миссия Google заключается в использовании искусственного интеллекта для повышения безопасности и предоставления защитникам преимущества перед злоумышленниками. Эти усилия направлены на противодействие растущим угрозам со стороны киберпреступников, мошенников и хакерских группировок, поддерживаемых государствами.
