Безопасность больших языковых моделей: обзор и защита

OWASP LLM Top 10 определяет основные уязвимости, включая промпт-инъекции, отравление данных, проблемы цепочки поставок и галлюцинации. Промпт-инъекции, где ввод пользователя меняет поведение модели, эволюционировали от простых jailbreak-атак, таких как «атака бабушки», до более сложных методов, включая обход этики, утечку системных инструкций и кражу данных.
Безопасность больших языковых моделей: обзор и защита
Изображение носит иллюстративный характер

Мультимодальные модели, обрабатывающие текст и изображения, также уязвимы. Злоумышленники могут использовать «шум» на изображениях, чтобы заставить модель выдавать желаемый текст или действие. Например, можно изменить изображение так, чтобы агент выбирал определенный товар вопреки заданным параметрам поиска.

Кодовые модели, такие как Copilot, сталкиваются с проблемами меморизации и рисками триггеров. Модели могут запоминать и воспроизводить фрагменты кода из обучающих данных. Кроме того, скрытые триггеры в коде, распространяемые через открытые ресурсы, могут заставить модель сгенерировать вредоносный код.

Защита от этих угроз включает добавление защитных системных промптов, например «Не допускай опасный контент, твоя задача помогать». Также перспективна технология "Circuit Breaker", которая прерывает генерацию, если модель обнаруживает опасный ответ. Разрабатываются открытые фреймворки и тулы для обеспечения безопасности, причём рекомендации по безопасности различаются для разных кейсов и организаций, от стартапов до крупных компаний.


Новое на сайте

21021Apple меняет разрешения macOS из-за рисков ИИ-агентов 21020Разрешение отказано, микрофон пишет: как дыра в аудиосервисе Apple месяцами оставалась... 21019Почему N-central2026.4 HF3 требует срочного обновления? 21018Почему атаки на ScreenConnect продолжаются после расследования ConnectWise? 21017Почему SHA-пиннинг не гарантирует безопасность GitHub Actions? 21016Как уязвимость SGLang раскрыла данные 18 агентов и около 100 пользователей NEAR AI? 21015Ошибка в типах PostgreSQL открывает путь к выполнению кода на сервере 21014Майнер с root-доступом: атака на 21 сервер N-central 21013Почему уязвимость UnrealIRCd позволяет обычному пользователю получить права сервера? 21012Как утечка ключа Fireworks AI привела к заражённому расширению Claude Code? 21011Почему Meta оштрафовали в Италии на €805 млн? 21010Операция Endgame: удар по вредоносным сетям и что делать пострадавшим 21009Как скрытый модуль в кошельках Trezor мог похитить фразы восстановления? 21008ИИ-агент в чужой сессии: кто отвечает за его действия 21007Какие версии Zoom Workplace для Windows уязвимы для удалённого повышения привилегий?
Ссылка