Галлюцинации LLM: причины и механизмы возникновения

Галлюцинации в LLM, то есть, генерация неточной или выдуманной информации, разделяются на внутренние (противоречие контексту) и внешние (непроверяемые). Они проявляются в фактических ошибках: искажениях сущностей, отношений и выдуманных фактах. Также встречаются нарушения верности: несоответствия инструкциям, контексту и логические противоречия.
Галлюцинации LLM: причины и механизмы возникновения
Изображение носит иллюстративный характер

Источники галлюцинаций кроются в данных, обучении и выводе. Данные могут содержать дезинформацию, предвзятость или иметь ограниченные знания по некоторым темам. В процессе обучения модели склонны к запоминанию, что может приводить к ошибочной генерации. Также, существует смещение экспозиции, когда модель сталкивается с ошибками, которые усугубляются при генерации.

На этапе вывода, случайность выборки и избыточная уверенность влияют на возникновение галлюцинаций. Высокая температура выборки увеличивает разнообразие, но и риск ошибок, а избыточная уверенность приводит к приоритету плавности текста в ущерб точности. Ограничения softmax также могут влиять на результат.

Наконец, логические ошибки при обработке взаимосвязей, усугубляют проблему. Модели могут демонстрировать непоследовательность и неправильно применять логику к запросам. В результате, LLM генерируют недостоверные и противоречивые ответы.


Новое на сайте

21025Что произошло с облачной защитой почты N-able в трёх регионах? 21024Хакеры ускоряют создание эксплойтов с помощью ИИ 21023Почему Apache Roller оказался под угрозой удалённого захвата? 21022Что изменится для PHP после критических уязвимостей 2026 года? 21021Apple меняет разрешения macOS из-за рисков ИИ-агентов 21020Разрешение отказано, микрофон пишет: как дыра в аудиосервисе Apple месяцами оставалась... 21019Почему N-central2026.4 HF3 требует срочного обновления? 21018Почему атаки на ScreenConnect продолжаются после расследования ConnectWise? 21017Почему SHA-пиннинг не гарантирует безопасность GitHub Actions? 21016Как уязвимость SGLang раскрыла данные 18 агентов и около 100 пользователей NEAR AI? 21015Ошибка в типах PostgreSQL открывает путь к выполнению кода на сервере 21014Майнер с root-доступом: атака на 21 сервер N-central 21013Почему уязвимость UnrealIRCd позволяет обычному пользователю получить права сервера? 21012Как утечка ключа Fireworks AI привела к заражённому расширению Claude Code? 21011Почему Meta оштрафовали в Италии на €805 млн?
Ссылка