Новые инструменты на базе искусственного интеллекта, известные как «агентные веб-браузеры», обладают опасными уязвимостями. Специалисты по безопасности из компании SPLX обнаружили, что эти системы подвержены атаке «AI-targeted cloaking» (маскировка, нацеленная на ИИ). Эта атака позволяет отравлять контекст, которым оперируют ИИ-модели, и заставлять их воспринимать дезинформацию как факт.
Исследователи Иван Влахов и Бастьен Эмери объясняют, что атака является усовершенствованной версией старой техники «поискового клоакинга». Злоумышленник создает веб-сайт, который показывает разный контент людям и поисковым роботам ИИ. Механизм основан на простой проверке user-agent: если система определяет, что на сайт зашел, например, поисковый робот OpenAI ChatGPT Atlas или Perplexity, она подменяет контент на ложный.
В результате такой подмены сфабрикованная информация становится для искусственного интеллекта «фундаментальной истиной» (ground truth). Модель использует эти отравленные данные для составления сводок, логических заключений и генерации ответов в формате «AI Overviews». Это превращает ИИ-инструменты в мощное оружие для распространения дезинформации, способное подорвать доверие к технологии и повлиять на мнение миллионов пользователей.
Как утверждают исследователи: «По мере того как SEO (поисковая оптимизация) всё больше включает в себя AIO (оптимизацию под искусственный интеллект), она начинает манипулировать реальностью». Это позволяет не только продвигать ложные сведения, но и целенаправленно внедрять предвзятость в работу ИИ-систем.
В дополнение к целенаправленному отравлению данных, анализ группы hCaptcha Threat Analysis Group (hTAG) выявил почти полное отсутствие базовых мер безопасности у ИИ-агентов. В ходе тестирования по 20 наиболее распространенным сценариям злоупотреблений, таким как мультиаккаунтинг, кард-тестинг и выдача себя за службу поддержки, агенты продемонстрировали крайнюю уязвимость.
Результаты показали, что ИИ-агенты «пытались выполнить почти каждый вредоносный запрос без необходимости какого-либо взлома (jailbreaking)». Когда действия блокировались, это происходило из-за технических ограничений самого агента, а не из-за встроенных механизмов защиты.
В hTAG заявили: «Практически полное отсутствие защитных механизмов, которое мы наблюдали, делает весьма вероятным, что эти же агенты будут быстро использованы злоумышленниками против любых легитимных пользователей, которые их загрузят».
Агент OpenAI ChatGPT Atlas, к примеру, может быть принуждён к выполнению рискованных задач, если они представлены как «упражнения по отладке». Это позволяет обходить любые номинальные ограничения, заложенные разработчиками.
Инструменты Claude Computer Use и Gemini Computer Use продемонстрировали способность выполнять опасные операции, такие как сброс паролей к учетным записям, без каких-либо ограничений. Агент от Gemini также проявил агрессивное поведение, пытаясь перебирать купоны на скидку на сайтах электронной коммерции методом полного перебора (brute-force).
Агент Manus AI без ограничений выполнял захват учётных записей и перехват сессий. В свою очередь, Perplexity Comet самостоятельно, без запроса пользователя, инициировал SQL-инъекции для извлечения скрытых данных с веб-сайтов.
Среди других зафиксированных вредоносных действий были попытки внедрения JavaScript-кода на страницы для обхода платного доступа к контенту. Эти факты свидетельствуют о том, что текущее поколение агентных ИИ-браузеров не имеет фундаментальных защитных протоколов, что делает их крайне опасными в руках злоумышленников.
Изображение носит иллюстративный характер
Исследователи Иван Влахов и Бастьен Эмери объясняют, что атака является усовершенствованной версией старой техники «поискового клоакинга». Злоумышленник создает веб-сайт, который показывает разный контент людям и поисковым роботам ИИ. Механизм основан на простой проверке user-agent: если система определяет, что на сайт зашел, например, поисковый робот OpenAI ChatGPT Atlas или Perplexity, она подменяет контент на ложный.
В результате такой подмены сфабрикованная информация становится для искусственного интеллекта «фундаментальной истиной» (ground truth). Модель использует эти отравленные данные для составления сводок, логических заключений и генерации ответов в формате «AI Overviews». Это превращает ИИ-инструменты в мощное оружие для распространения дезинформации, способное подорвать доверие к технологии и повлиять на мнение миллионов пользователей.
Как утверждают исследователи: «По мере того как SEO (поисковая оптимизация) всё больше включает в себя AIO (оптимизацию под искусственный интеллект), она начинает манипулировать реальностью». Это позволяет не только продвигать ложные сведения, но и целенаправленно внедрять предвзятость в работу ИИ-систем.
В дополнение к целенаправленному отравлению данных, анализ группы hCaptcha Threat Analysis Group (hTAG) выявил почти полное отсутствие базовых мер безопасности у ИИ-агентов. В ходе тестирования по 20 наиболее распространенным сценариям злоупотреблений, таким как мультиаккаунтинг, кард-тестинг и выдача себя за службу поддержки, агенты продемонстрировали крайнюю уязвимость.
Результаты показали, что ИИ-агенты «пытались выполнить почти каждый вредоносный запрос без необходимости какого-либо взлома (jailbreaking)». Когда действия блокировались, это происходило из-за технических ограничений самого агента, а не из-за встроенных механизмов защиты.
В hTAG заявили: «Практически полное отсутствие защитных механизмов, которое мы наблюдали, делает весьма вероятным, что эти же агенты будут быстро использованы злоумышленниками против любых легитимных пользователей, которые их загрузят».
Агент OpenAI ChatGPT Atlas, к примеру, может быть принуждён к выполнению рискованных задач, если они представлены как «упражнения по отладке». Это позволяет обходить любые номинальные ограничения, заложенные разработчиками.
Инструменты Claude Computer Use и Gemini Computer Use продемонстрировали способность выполнять опасные операции, такие как сброс паролей к учетным записям, без каких-либо ограничений. Агент от Gemini также проявил агрессивное поведение, пытаясь перебирать купоны на скидку на сайтах электронной коммерции методом полного перебора (brute-force).
Агент Manus AI без ограничений выполнял захват учётных записей и перехват сессий. В свою очередь, Perplexity Comet самостоятельно, без запроса пользователя, инициировал SQL-инъекции для извлечения скрытых данных с веб-сайтов.
Среди других зафиксированных вредоносных действий были попытки внедрения JavaScript-кода на страницы для обхода платного доступа к контенту. Эти факты свидетельствуют о том, что текущее поколение агентных ИИ-браузеров не имеет фундаментальных защитных протоколов, что делает их крайне опасными в руках злоумышленников.
