Галлюцинации LLM: причины и механизмы возникновения

Галлюцинации в LLM, то есть, генерация неточной или выдуманной информации, разделяются на внутренние (противоречие контексту) и внешние (непроверяемые). Они проявляются в фактических ошибках: искажениях сущностей, отношений и выдуманных фактах. Также встречаются нарушения верности: несоответствия инструкциям, контексту и логические противоречия.
Галлюцинации LLM: причины и механизмы возникновения
Изображение носит иллюстративный характер

Источники галлюцинаций кроются в данных, обучении и выводе. Данные могут содержать дезинформацию, предвзятость или иметь ограниченные знания по некоторым темам. В процессе обучения модели склонны к запоминанию, что может приводить к ошибочной генерации. Также, существует смещение экспозиции, когда модель сталкивается с ошибками, которые усугубляются при генерации.

На этапе вывода, случайность выборки и избыточная уверенность влияют на возникновение галлюцинаций. Высокая температура выборки увеличивает разнообразие, но и риск ошибок, а избыточная уверенность приводит к приоритету плавности текста в ущерб точности. Ограничения softmax также могут влиять на результат.

Наконец, логические ошибки при обработке взаимосвязей, усугубляют проблему. Модели могут демонстрировать непоследовательность и неправильно применять логику к запросам. В результате, LLM генерируют недостоверные и противоречивые ответы.


Новое на сайте

21021Apple меняет разрешения macOS из-за рисков ИИ-агентов 21020Разрешение отказано, микрофон пишет: как дыра в аудиосервисе Apple месяцами оставалась... 21019Почему N-central2026.4 HF3 требует срочного обновления? 21018Почему атаки на ScreenConnect продолжаются после расследования ConnectWise? 21017Почему SHA-пиннинг не гарантирует безопасность GitHub Actions? 21016Как уязвимость SGLang раскрыла данные 18 агентов и около 100 пользователей NEAR AI? 21015Ошибка в типах PostgreSQL открывает путь к выполнению кода на сервере 21014Майнер с root-доступом: атака на 21 сервер N-central 21013Почему уязвимость UnrealIRCd позволяет обычному пользователю получить права сервера? 21012Как утечка ключа Fireworks AI привела к заражённому расширению Claude Code? 21011Почему Meta оштрафовали в Италии на €805 млн? 21010Операция Endgame: удар по вредоносным сетям и что делать пострадавшим 21009Как скрытый модуль в кошельках Trezor мог похитить фразы восстановления? 21008ИИ-агент в чужой сессии: кто отвечает за его действия 21007Какие версии Zoom Workplace для Windows уязвимы для удалённого повышения привилегий?
Ссылка