Исследователи из компании Tenable обнаружили и сообщили о трех критических уязвимостях в системе искусственного интеллекта Google Gemini, которые были объединены под общим названием «Трифекта Gemini». Эти недостатки, уже исправленные Google, создавали значительные риски утечки данных и нарушения конфиденциальности, позволяя злоумышленникам превращать сам ИИ в инструмент для атак. Ведущий исследователь безопасности Tenable Лив Матан поделился деталями уязвимостей с изданием The Hacker News.
Первая уязвимость, «Внедрение лога в промпт», затрагивала компонент Gemini Cloud Assist. Злоумышленник мог скрыть вредоносный промпт в заголовке
Эта уязвимость затрагивала целый ряд сервисов Google Cloud, включая Cloud Function, Cloud Run, App Engine, Compute Engine и Cloud Endpoints. Также под угрозой оказывались API, такие как Cloud Asset API, Cloud Monitoring API и Recommender API, что демонстрирует масштаб потенциального ущерба для облачной инфраструктуры.
Вторая уязвимость, «Внедрение в поиск», была обнаружена в модели персонализации поиска Gemini. Атакующий мог с помощью JavaScript манипулировать историей поиска пользователя в браузере Chrome. Модель ИИ не была способна отличить реальные запросы пользователя от внедренных извне промптов злоумышленника. Это открывало возможность для утечки и вывода сохраненной информации пользователя, включая его данные о местоположении.
Третья брешь, «Косвенное внедрение промпта», эксплуатировала внутреннюю функцию Gemini Browsing Tool, предназначенную для обобщения содержимого веб-страниц. Злоумышленник мог разместить на своем сайте вредоносный промпт. Когда Gemini обращался к этой странице для ее анализа, он выполнял скрытую инструкцию, которая приказывала ему отправить сохраненную информацию пользователя и данные о местоположении на сервер атакующего. Атака была скрытной, поскольку для вывода данных не требовалось отображение каких-либо видимых ссылок или изображений.
Лив Матан подчеркнул, что эти находки меняют парадигму безопасности ИИ. «Трифекта Gemini показывает, что сам ИИ может быть превращен в средство атаки, а не только в ее цель», — заявил он. Это открытие демонстрирует, что по мере внедрения ИИ-систем организации больше не могут игнорировать их безопасность. Ключевыми мерами защиты становятся обеспечение полной видимости развертывания ИИ-инструментов в IT-среде и внедрение строгих политик для сохранения контроля над ними.
Тенденция использования ИИ как вектора атаки подтверждается и другими исследованиями. Компания CodeIntegrity обнаружила аналогичную уязвимость в ИИ-агенте Notion. Атакующие могли скрыть вредоносный промпт в PDF-файле, используя белый текст на белом фоне, что делало его невидимым для человека. Инструкция приказывала ИИ-агенту собрать конфиденциальные данные из рабочего пространства Notion и отправить их злоумышленникам.
Основная проблема заключается в том, что ИИ-агенты, обладающие широким доступом к данным, могут выстраивать сложные цепочки задач, взаимодействуя с документами, базами данных и внешними коннекторами. Традиционные модели контроля доступа на основе ролей (RBAC) не предназначены для предотвращения таких многоступенчатых автоматизированных рабочих процессов. В результате возникает «значительно расширенная поверхность атаки», где конфиденциальные данные могут быть легко украдены через уязвимые ИИ-системы.
Изображение носит иллюстративный характер
Первая уязвимость, «Внедрение лога в промпт», затрагивала компонент Gemini Cloud Assist. Злоумышленник мог скрыть вредоносный промпт в заголовке
User-Agent HTTP-запроса. Поскольку Gemini Cloud Assist способен анализировать и обобщать необработанные логи, он воспринимал скрытую инструкцию как легитимную команду. Лив Матан описал сценарий, при котором атакующий мог внедрить промпт, приказывающий Gemini использовать его доступы к Cloud Asset API для поиска неверных конфигураций IAM или общедоступных активов, после чего создать гиперссылку для вывода этих украденных данных. Эта уязвимость затрагивала целый ряд сервисов Google Cloud, включая Cloud Function, Cloud Run, App Engine, Compute Engine и Cloud Endpoints. Также под угрозой оказывались API, такие как Cloud Asset API, Cloud Monitoring API и Recommender API, что демонстрирует масштаб потенциального ущерба для облачной инфраструктуры.
Вторая уязвимость, «Внедрение в поиск», была обнаружена в модели персонализации поиска Gemini. Атакующий мог с помощью JavaScript манипулировать историей поиска пользователя в браузере Chrome. Модель ИИ не была способна отличить реальные запросы пользователя от внедренных извне промптов злоумышленника. Это открывало возможность для утечки и вывода сохраненной информации пользователя, включая его данные о местоположении.
Третья брешь, «Косвенное внедрение промпта», эксплуатировала внутреннюю функцию Gemini Browsing Tool, предназначенную для обобщения содержимого веб-страниц. Злоумышленник мог разместить на своем сайте вредоносный промпт. Когда Gemini обращался к этой странице для ее анализа, он выполнял скрытую инструкцию, которая приказывала ему отправить сохраненную информацию пользователя и данные о местоположении на сервер атакующего. Атака была скрытной, поскольку для вывода данных не требовалось отображение каких-либо видимых ссылок или изображений.
Лив Матан подчеркнул, что эти находки меняют парадигму безопасности ИИ. «Трифекта Gemini показывает, что сам ИИ может быть превращен в средство атаки, а не только в ее цель», — заявил он. Это открытие демонстрирует, что по мере внедрения ИИ-систем организации больше не могут игнорировать их безопасность. Ключевыми мерами защиты становятся обеспечение полной видимости развертывания ИИ-инструментов в IT-среде и внедрение строгих политик для сохранения контроля над ними.
Тенденция использования ИИ как вектора атаки подтверждается и другими исследованиями. Компания CodeIntegrity обнаружила аналогичную уязвимость в ИИ-агенте Notion. Атакующие могли скрыть вредоносный промпт в PDF-файле, используя белый текст на белом фоне, что делало его невидимым для человека. Инструкция приказывала ИИ-агенту собрать конфиденциальные данные из рабочего пространства Notion и отправить их злоумышленникам.
Основная проблема заключается в том, что ИИ-агенты, обладающие широким доступом к данным, могут выстраивать сложные цепочки задач, взаимодействуя с документами, базами данных и внешними коннекторами. Традиционные модели контроля доступа на основе ролей (RBAC) не предназначены для предотвращения таких многоступенчатых автоматизированных рабочих процессов. В результате возникает «значительно расширенная поверхность атаки», где конфиденциальные данные могут быть легко украдены через уязвимые ИИ-системы.
