Угрозы безопасности больших языковых моделей: дипфейки и манипуляции с данными

Дипфейки, включая подмену голоса и генерацию фейковых научных статей, и манипуляции с данными, такие как создание несуществующих спикеров на конференциях, являются основными угрозами в области безопасности больших языковых моделей.
Угрозы безопасности больших языковых моделей: дипфейки и манипуляции с данными
Изображение носит иллюстративный характер

Безопасность ИИ разделяется на AI Safety и AI Security. AI Safety нацелен на предотвращение вредоносных или непредсказуемых действий ИИ, включая вопросы дискриминации и цензуры. Модели обучают на refusal training, чтобы они не давали вредные советы и генерировали опасный контент. Но если модель дообучить, она может начать давать неверные ответы и генерировать вредный контент. AI Security сосредоточен на защите ИИ-систем, данных и инфраструктуры от злоумышленников, включая использование ИИ для фишинга или утечку данных из-за использования ИИ-моделей сотрудниками.

Существуют различные бенчмарки и фреймворки безопасности для ИИ, включая корпоративные классификаторы, отчеты о безопасности от вендоров, академические бенчмарки, государственные фреймворки и списки сообщества. Неправильно экранированные ассистенты, интегрированные с электронной почтой, могут быть уязвимы для инъекций, которые позволяют злоумышленникам манипулировать данными, что приводит к утечке конфиденциальной информации. Проблема безопасности в применении и интеграции ИИ является актуальной, для ее решения требуется поиск эффективных защитных мер.


Новое на сайте

21021Apple меняет разрешения macOS из-за рисков ИИ-агентов 21020Разрешение отказано, микрофон пишет: как дыра в аудиосервисе Apple месяцами оставалась... 21019Почему N-central2026.4 HF3 требует срочного обновления? 21018Почему атаки на ScreenConnect продолжаются после расследования ConnectWise? 21017Почему SHA-пиннинг не гарантирует безопасность GitHub Actions? 21016Как уязвимость SGLang раскрыла данные 18 агентов и около 100 пользователей NEAR AI? 21015Ошибка в типах PostgreSQL открывает путь к выполнению кода на сервере 21014Майнер с root-доступом: атака на 21 сервер N-central 21013Почему уязвимость UnrealIRCd позволяет обычному пользователю получить права сервера? 21012Как утечка ключа Fireworks AI привела к заражённому расширению Claude Code? 21011Почему Meta оштрафовали в Италии на €805 млн? 21010Операция Endgame: удар по вредоносным сетям и что делать пострадавшим 21009Как скрытый модуль в кошельках Trezor мог похитить фразы восстановления? 21008ИИ-агент в чужой сессии: кто отвечает за его действия 21007Какие версии Zoom Workplace для Windows уязвимы для удалённого повышения привилегий?
Ссылка