Новый веб-браузер OpenAI Atlas уязвим для ранее неизвестного типа атак с использованием инъекции запросов. Злоумышленники могут замаскировать вредоносную команду под URL в универсальной адресной строке браузера (омнибоксе), заставляя встроенного ИИ-агента выполнять опасные действия, такие как перенаправление на фишинговые сайты или удаление файлов из подключенных сервисов.
Проблема была обнаружена компанией по безопасности в сфере ИИ NeuralTrust и подробно описана в отчете, опубликованном в пятницу. Атака эксплуатирует двойную функцию омнибокса, который обрабатывает как URL-адреса, так и команды на естественном языке для ИИ-агента на базе ChatGPT. Злоумышленник создает вредоносный запрос, который выглядит как веб-адрес, например, начинаясь с
Исследователь безопасности Марти Хорда отмечает, что запросы из омнибокса пользуются высоким уровнем доверия и подвергаются меньшей проверке, чем контент с веб-страниц. В результате скрытая команда может инициировать действия, не связанные с предполагаемым URL-адресом. Последствия для жертвы включают перенаправление на фишинговую страницу, скрытое за кнопкой «Скопировать ссылку», или удаление данных из подключенных приложений, в качестве примера приводится Google Drive. Агент также может быть вынужден выполнять различные инструментальные команды по выбору атакующего.
Исследователи из SquareX Labs описали связанный вектор атаки под названием AI Sidebar Spoofing (Подмена боковой панели ИИ), затрагивающий браузеры Atlas и Perplexity Comet. Атака осуществляется двумя способами: через вредоносное расширение, которое с помощью JavaScript накладывает фальшивую, но идентичную по виду боковую панель ИИ поверх настоящей, или напрямую с вредоносного веб-сайта без необходимости установки расширения.
Механизм подмены боковой панели работает следующим образом: пользователь вводит запрос в поддельную панель, после чего вредоносное расширение или сайт обнаруживает определенные «триггерные запросы». Затем оно перехватывает взаимодействие с настоящим ИИ-движком браузера и вместо полезного ответа возвращает вредоносные инструкции. Это может привести к перенаправлению пользователя на опасные сайты, выполнению команд для кражи данных или установке бэкдоров, предоставляющих злоумышленникам постоянный удаленный доступ ко всему устройству жертвы.
Эти уязвимости являются частью более широкой и нерешенной проблемы инъекции запросов. Суть таких атак заключается в сокрытии вредоносных инструкций внутри веб-контента, чтобы обмануть ИИ-агента и заставить его действовать против интересов пользователя. Злоумышленники используют различные методы маскировки: белый текст на белом фоне, скрытые HTML-комментарии или уловки с использованием CSS. Компания Brave также подробно описала инъекции на основе изображений, когда текст скрывается в картинке (например, светло-голубой текст на желтом фоне), который затем считывается агентом с помощью технологии оптического распознавания символов (OCR).
Директор по информационной безопасности OpenAI Дэйн Стаки в своем посте на платформе X (ранее Twitter) признал инъекцию запросов «возникающим риском». Он отметил, что цели злоумышленников могут варьироваться от простых, таких как навязывание агенту определенного мнения, до серьезных, включая утечку конфиденциальных данных, например, электронных писем или учетных данных.
Для противодействия этим угрозам OpenAI применяет комплекс мер, включая обширный редтиминг (практика имитации атак), методы обучения модели, которые «вознаграждают модель за игнорирование вредоносных инструкций», а также внедрение дополнительных защитных барьеров. Несмотря на все усилия, Стаки признал, что инъекция запросов остается «передовой, нерешенной проблемой безопасности».
Компания Perplexity, создатель ИИ-браузера Comet, также столкнувшаяся с этой проблемой, назвала вредоносные инъекции запросов «передовой проблемой безопасности, с которой борется вся индустрия».
Стратегия Perplexity основана на «многоуровневом подходе» для защиты от различных угроз, включая скрытые инструкции в HTML/CSS, инъекции на основе изображений, атаки с запутыванием контента и перехват целей. Этот подход включает в себя обнаружение в реальном времени, усиление безопасности, предоставление контроля пользователю и прозрачные уведомления.
В Perplexity считают, что «инъекция запросов представляет собой фундаментальный сдвиг в том, как мы должны думать о безопасности». Это подчеркивает, что проблема затрагивает не отдельные продукты, такие как Atlas, Perplexity Comet или Opera Neon, а всю экосистему инструментов на базе искусственного интеллекта.
Изображение носит иллюстративный характер
Проблема была обнаружена компанией по безопасности в сфере ИИ NeuralTrust и подробно описана в отчете, опубликованном в пятницу. Атака эксплуатирует двойную функцию омнибокса, который обрабатывает как URL-адреса, так и команды на естественном языке для ИИ-агента на базе ChatGPT. Злоумышленник создает вредоносный запрос, который выглядит как веб-адрес, например, начинаясь с
https и доменной строки my-wesite.. Браузер Atlas ошибочно классифицирует эту строку как доверенное намерение пользователя, а не как обычный URL, что позволяет обойти стандартные проверки безопасности. Исследователь безопасности Марти Хорда отмечает, что запросы из омнибокса пользуются высоким уровнем доверия и подвергаются меньшей проверке, чем контент с веб-страниц. В результате скрытая команда может инициировать действия, не связанные с предполагаемым URL-адресом. Последствия для жертвы включают перенаправление на фишинговую страницу, скрытое за кнопкой «Скопировать ссылку», или удаление данных из подключенных приложений, в качестве примера приводится Google Drive. Агент также может быть вынужден выполнять различные инструментальные команды по выбору атакующего.
Исследователи из SquareX Labs описали связанный вектор атаки под названием AI Sidebar Spoofing (Подмена боковой панели ИИ), затрагивающий браузеры Atlas и Perplexity Comet. Атака осуществляется двумя способами: через вредоносное расширение, которое с помощью JavaScript накладывает фальшивую, но идентичную по виду боковую панель ИИ поверх настоящей, или напрямую с вредоносного веб-сайта без необходимости установки расширения.
Механизм подмены боковой панели работает следующим образом: пользователь вводит запрос в поддельную панель, после чего вредоносное расширение или сайт обнаруживает определенные «триггерные запросы». Затем оно перехватывает взаимодействие с настоящим ИИ-движком браузера и вместо полезного ответа возвращает вредоносные инструкции. Это может привести к перенаправлению пользователя на опасные сайты, выполнению команд для кражи данных или установке бэкдоров, предоставляющих злоумышленникам постоянный удаленный доступ ко всему устройству жертвы.
Эти уязвимости являются частью более широкой и нерешенной проблемы инъекции запросов. Суть таких атак заключается в сокрытии вредоносных инструкций внутри веб-контента, чтобы обмануть ИИ-агента и заставить его действовать против интересов пользователя. Злоумышленники используют различные методы маскировки: белый текст на белом фоне, скрытые HTML-комментарии или уловки с использованием CSS. Компания Brave также подробно описала инъекции на основе изображений, когда текст скрывается в картинке (например, светло-голубой текст на желтом фоне), который затем считывается агентом с помощью технологии оптического распознавания символов (OCR).
Директор по информационной безопасности OpenAI Дэйн Стаки в своем посте на платформе X (ранее Twitter) признал инъекцию запросов «возникающим риском». Он отметил, что цели злоумышленников могут варьироваться от простых, таких как навязывание агенту определенного мнения, до серьезных, включая утечку конфиденциальных данных, например, электронных писем или учетных данных.
Для противодействия этим угрозам OpenAI применяет комплекс мер, включая обширный редтиминг (практика имитации атак), методы обучения модели, которые «вознаграждают модель за игнорирование вредоносных инструкций», а также внедрение дополнительных защитных барьеров. Несмотря на все усилия, Стаки признал, что инъекция запросов остается «передовой, нерешенной проблемой безопасности».
Компания Perplexity, создатель ИИ-браузера Comet, также столкнувшаяся с этой проблемой, назвала вредоносные инъекции запросов «передовой проблемой безопасности, с которой борется вся индустрия».
Стратегия Perplexity основана на «многоуровневом подходе» для защиты от различных угроз, включая скрытые инструкции в HTML/CSS, инъекции на основе изображений, атаки с запутыванием контента и перехват целей. Этот подход включает в себя обнаружение в реальном времени, усиление безопасности, предоставление контроля пользователю и прозрачные уведомления.
В Perplexity считают, что «инъекция запросов представляет собой фундаментальный сдвиг в том, как мы должны думать о безопасности». Это подчеркивает, что проблема затрагивает не отдельные продукты, такие как Atlas, Perplexity Comet или Opera Neon, а всю экосистему инструментов на базе искусственного интеллекта.
