Компания Google внедряет стратегию «многоуровневой защиты» в браузере Chrome для обеспечения безопасности автономных агентов на базе Gemini. Основной целью новой архитектуры является предотвращение непрямых инъекций промптов — вредоносных инструкций, скрытых в ненадежном веб-контенте, которые могут заставить искусственный интеллект выполнять действия злоумышленников. Эти меры направлены на то, чтобы помешать хакерам похищать данные, перехватывать цели пользователей или наносить иной ущерб системе.
Центральным элементом технической архитектуры доверенной модели является компонент «User Alignment Critic» (Критик согласования с пользователем). Это вторая независимая модель, которая оценивает действия агента после завершения этапа планирования, но до начала выполнения команд. Критик работает в изоляции и видит исключительно метаданные предлагаемого действия, не имея доступа к самому ненадежному веб-контенту, что предотвращает его «отравление». Он проверяет, соответствует ли задача целям пользователя, и накладывает вето на несогласованные действия. Натан Паркер из команды безопасности Chrome поясняет: «Когда действие отклоняется, Критик предоставляет обратную связь модели планирования для переформулирования плана...». В случае повторных сбоев управление возвращается пользователю. Данный механизм дополняет существующие методы, такие как «Spotlighting», который заставляет модель отдавать приоритет системным инструкциям перед содержимым веб-страниц.
Для предотвращения утечек данных между источниками и обхода изоляции сайтов Google внедрил систему «Agent Origin Sets» (Наборы источников агента). Специальная функция шлюза (Gating Function), изолированная от непроверенного контента, определяет, какие веб-источники релевантны для текущей задачи. Источники делятся на две категории: только для чтения, откуда Gemini может потреблять контент, и доступные для записи, где агент может печатать текст или совершать клики. Правила строго ограничивают передачу данных между источниками, и планировщик обязан получать одобрение функции шлюза для добавления новых источников, если они не были явно предоставлены пользователем в ходе сессии.
Параллельно с логическим выводом модели планирования работают дополнительные системы обнаружения угроз. Классификатор инъекций промптов (Prompt-Injection Classifier) анализирует данные в реальном времени, выявляя контент, намеренно нацеленный на манипуляцию моделью. Эти инструменты функционируют совместно с уже существующими технологиями безопасности, такими как Safe Browsing (Безопасный просмотр) и встроенными в устройство средствами обнаружения мошенничества.
Пользовательский контроль и прозрачность обеспечиваются через создание рабочих журналов действий агента. Для выполнения операций с высоким риском требуется явное одобрение человека. Агент обязан запрашивать разрешение перед навигацией на чувствительные сайты, такие как банковские или медицинские порталы, перед входом в систему через Google Password Manager, а также перед завершением веб-действий, включая покупки, платежи и отправку сообщений.
В качестве стимула для исследователей безопасности Google объявила о выплате вознаграждений в размере до 20 000 долларов за демонстрацию нарушений границ безопасности. К квалифицируемым сценариям относятся выполнение агентом несанкционированных действий без подтверждения, эксфильтрация конфиденциальных данных без одобрения пользователя и обход мер, которые должны были предотвратить атаку.
Несмотря на внедрение новых защитных мер, эксперты отрасли выражают обеспокоенность по поводу операционных рисков использования ИИ-браузеров. Консалтинговые фирмы предупреждают, что сотрудники могут использовать агентов для автоматизации обязательных повторяющихся задач, например, прохождения тренингов по кибербезопасности. В связи с этим директорам по информационной безопасности (CISO) рекомендуется блокировать все ИИ-браузеры в обозримом будущем для минимизации рисков.
Национальный центр кибербезопасности США (NCSC) занимает жесткую позицию, утверждая, что уязвимости больших языковых моделей (LLM), связанные с инъекциями промптов, могут никогда не быть устранены полностью. Дэвид Си, технический директор NCSC по исследованию платформ, отмечает: «Текущие большие языковые модели (LLM) просто не обеспечивают границы безопасности между инструкциями и данными внутри промпта...». Агентство советует разрабатывать средства защиты, основанные на детерминированных (не связанных с LLM) гарантиях для ограничения действий системы, а не полагаться исключительно на попытки блокировки вредоносного контента.
Изображение носит иллюстративный характер
Центральным элементом технической архитектуры доверенной модели является компонент «User Alignment Critic» (Критик согласования с пользователем). Это вторая независимая модель, которая оценивает действия агента после завершения этапа планирования, но до начала выполнения команд. Критик работает в изоляции и видит исключительно метаданные предлагаемого действия, не имея доступа к самому ненадежному веб-контенту, что предотвращает его «отравление». Он проверяет, соответствует ли задача целям пользователя, и накладывает вето на несогласованные действия. Натан Паркер из команды безопасности Chrome поясняет: «Когда действие отклоняется, Критик предоставляет обратную связь модели планирования для переформулирования плана...». В случае повторных сбоев управление возвращается пользователю. Данный механизм дополняет существующие методы, такие как «Spotlighting», который заставляет модель отдавать приоритет системным инструкциям перед содержимым веб-страниц.
Для предотвращения утечек данных между источниками и обхода изоляции сайтов Google внедрил систему «Agent Origin Sets» (Наборы источников агента). Специальная функция шлюза (Gating Function), изолированная от непроверенного контента, определяет, какие веб-источники релевантны для текущей задачи. Источники делятся на две категории: только для чтения, откуда Gemini может потреблять контент, и доступные для записи, где агент может печатать текст или совершать клики. Правила строго ограничивают передачу данных между источниками, и планировщик обязан получать одобрение функции шлюза для добавления новых источников, если они не были явно предоставлены пользователем в ходе сессии.
Параллельно с логическим выводом модели планирования работают дополнительные системы обнаружения угроз. Классификатор инъекций промптов (Prompt-Injection Classifier) анализирует данные в реальном времени, выявляя контент, намеренно нацеленный на манипуляцию моделью. Эти инструменты функционируют совместно с уже существующими технологиями безопасности, такими как Safe Browsing (Безопасный просмотр) и встроенными в устройство средствами обнаружения мошенничества.
Пользовательский контроль и прозрачность обеспечиваются через создание рабочих журналов действий агента. Для выполнения операций с высоким риском требуется явное одобрение человека. Агент обязан запрашивать разрешение перед навигацией на чувствительные сайты, такие как банковские или медицинские порталы, перед входом в систему через Google Password Manager, а также перед завершением веб-действий, включая покупки, платежи и отправку сообщений.
В качестве стимула для исследователей безопасности Google объявила о выплате вознаграждений в размере до 20 000 долларов за демонстрацию нарушений границ безопасности. К квалифицируемым сценариям относятся выполнение агентом несанкционированных действий без подтверждения, эксфильтрация конфиденциальных данных без одобрения пользователя и обход мер, которые должны были предотвратить атаку.
Несмотря на внедрение новых защитных мер, эксперты отрасли выражают обеспокоенность по поводу операционных рисков использования ИИ-браузеров. Консалтинговые фирмы предупреждают, что сотрудники могут использовать агентов для автоматизации обязательных повторяющихся задач, например, прохождения тренингов по кибербезопасности. В связи с этим директорам по информационной безопасности (CISO) рекомендуется блокировать все ИИ-браузеры в обозримом будущем для минимизации рисков.
Национальный центр кибербезопасности США (NCSC) занимает жесткую позицию, утверждая, что уязвимости больших языковых моделей (LLM), связанные с инъекциями промптов, могут никогда не быть устранены полностью. Дэвид Си, технический директор NCSC по исследованию платформ, отмечает: «Текущие большие языковые модели (LLM) просто не обеспечивают границы безопасности между инструкциями и данными внутри промпта...». Агентство советует разрабатывать средства защиты, основанные на детерминированных (не связанных с LLM) гарантиях для ограничения действий системы, а не полагаться исключительно на попытки блокировки вредоносного контента.
