Gemini Trifecta: превращение искусственного интеллекта в оружие

Исследователи из компании Tenable обнаружили и сообщили о трех критических уязвимостях в системе искусственного интеллекта Google Gemini, которые были объединены под общим названием «Трифекта Gemini». Эти недостатки, уже исправленные Google, создавали значительные риски утечки данных и нарушения конфиденциальности, позволяя злоумышленникам превращать сам ИИ в инструмент для атак. Ведущий исследователь безопасности Tenable Лив Матан поделился деталями уязвимостей с изданием The Hacker News.
Gemini Trifecta: превращение искусственного интеллекта в оружие
Изображение носит иллюстративный характер

Первая уязвимость, «Внедрение лога в промпт», затрагивала компонент Gemini Cloud Assist. Злоумышленник мог скрыть вредоносный промпт в заголовке User-Agent HTTP-запроса. Поскольку Gemini Cloud Assist способен анализировать и обобщать необработанные логи, он воспринимал скрытую инструкцию как легитимную команду. Лив Матан описал сценарий, при котором атакующий мог внедрить промпт, приказывающий Gemini использовать его доступы к Cloud Asset API для поиска неверных конфигураций IAM или общедоступных активов, после чего создать гиперссылку для вывода этих украденных данных.

Эта уязвимость затрагивала целый ряд сервисов Google Cloud, включая Cloud Function, Cloud Run, App Engine, Compute Engine и Cloud Endpoints. Также под угрозой оказывались API, такие как Cloud Asset API, Cloud Monitoring API и Recommender API, что демонстрирует масштаб потенциального ущерба для облачной инфраструктуры.

Вторая уязвимость, «Внедрение в поиск», была обнаружена в модели персонализации поиска Gemini. Атакующий мог с помощью JavaScript манипулировать историей поиска пользователя в браузере Chrome. Модель ИИ не была способна отличить реальные запросы пользователя от внедренных извне промптов злоумышленника. Это открывало возможность для утечки и вывода сохраненной информации пользователя, включая его данные о местоположении.

Третья брешь, «Косвенное внедрение промпта», эксплуатировала внутреннюю функцию Gemini Browsing Tool, предназначенную для обобщения содержимого веб-страниц. Злоумышленник мог разместить на своем сайте вредоносный промпт. Когда Gemini обращался к этой странице для ее анализа, он выполнял скрытую инструкцию, которая приказывала ему отправить сохраненную информацию пользователя и данные о местоположении на сервер атакующего. Атака была скрытной, поскольку для вывода данных не требовалось отображение каких-либо видимых ссылок или изображений.

Лив Матан подчеркнул, что эти находки меняют парадигму безопасности ИИ. «Трифекта Gemini показывает, что сам ИИ может быть превращен в средство атаки, а не только в ее цель», — заявил он. Это открытие демонстрирует, что по мере внедрения ИИ-систем организации больше не могут игнорировать их безопасность. Ключевыми мерами защиты становятся обеспечение полной видимости развертывания ИИ-инструментов в IT-среде и внедрение строгих политик для сохранения контроля над ними.

Тенденция использования ИИ как вектора атаки подтверждается и другими исследованиями. Компания CodeIntegrity обнаружила аналогичную уязвимость в ИИ-агенте Notion. Атакующие могли скрыть вредоносный промпт в PDF-файле, используя белый текст на белом фоне, что делало его невидимым для человека. Инструкция приказывала ИИ-агенту собрать конфиденциальные данные из рабочего пространства Notion и отправить их злоумышленникам.

Основная проблема заключается в том, что ИИ-агенты, обладающие широким доступом к данным, могут выстраивать сложные цепочки задач, взаимодействуя с документами, базами данных и внешними коннекторами. Традиционные модели контроля доступа на основе ролей (RBAC) не предназначены для предотвращения таких многоступенчатых автоматизированных рабочих процессов. В результате возникает «значительно расширенная поверхность атаки», где конфиденциальные данные могут быть легко украдены через уязвимые ИИ-системы.


Новое на сайте

21016Как уязвимость SGLang раскрыла данные 18 агентов и около 100 пользователей NEAR AI? 21015Ошибка в типах PostgreSQL открывает путь к выполнению кода на сервере 21014Майнер с root-доступом: атака на 21 сервер N-central 21013Почему уязвимость UnrealIRCd позволяет обычному пользователю получить права сервера? 21012Как утечка ключа Fireworks AI привела к заражённому расширению Claude Code? 21011Почему Meta оштрафовали в Италии на €805 млн? 21010Операция Endgame: удар по вредоносным сетям и что делать пострадавшим 21009Как скрытый модуль в кошельках Trezor мог похитить фразы восстановления? 21008ИИ-агент в чужой сессии: кто отвечает за его действия 21007Какие версии Zoom Workplace для Windows уязвимы для удалённого повышения привилегий? 21006Как две уязвимости в Xen Orchestra открыли путь к захвату XCP-ng? 21005Поддельные сайты ИИ превращают опечатки в ловушки 21004Как обновление Node.js закрывает уязвимости HTTP/2 и TLS? 21003Почему Claude Fable5.2 обошёл GPT-6 Cyber в испытании многоэтапных кибератак? 21002Две уязвимости Red Hat Quay открыли доступ к чужим образам
Ссылка