Галлюцинации LLM: причины и механизмы возникновения

Галлюцинации в LLM, то есть, генерация неточной или выдуманной информации, разделяются на внутренние (противоречие контексту) и внешние (непроверяемые). Они проявляются в фактических ошибках: искажениях сущностей, отношений и выдуманных фактах. Также встречаются нарушения верности: несоответствия инструкциям, контексту и логические противоречия.
Галлюцинации LLM: причины и механизмы возникновения
Изображение носит иллюстративный характер

Источники галлюцинаций кроются в данных, обучении и выводе. Данные могут содержать дезинформацию, предвзятость или иметь ограниченные знания по некоторым темам. В процессе обучения модели склонны к запоминанию, что может приводить к ошибочной генерации. Также, существует смещение экспозиции, когда модель сталкивается с ошибками, которые усугубляются при генерации.

На этапе вывода, случайность выборки и избыточная уверенность влияют на возникновение галлюцинаций. Высокая температура выборки увеличивает разнообразие, но и риск ошибок, а избыточная уверенность приводит к приоритету плавности текста в ущерб точности. Ограничения softmax также могут влиять на результат.

Наконец, логические ошибки при обработке взаимосвязей, усугубляют проблему. Модели могут демонстрировать непоследовательность и неправильно применять логику к запросам. В результате, LLM генерируют недостоверные и противоречивые ответы.


Новое на сайте

21008ИИ-агент в чужой сессии: кто отвечает за его действия 21007Какие версии Zoom Workplace для Windows уязвимы для удалённого повышения привилегий? 21006Как две уязвимости в Xen Orchestra открыли путь к захвату XCP-ng? 21005Поддельные сайты ИИ превращают опечатки в ловушки 21004Как обновление Node.js закрывает уязвимости HTTP/2 и TLS? 21003Почему Claude Fable5.2 обошёл GPT-6 Cyber в испытании многоэтапных кибератак? 21002Две уязвимости Red Hat Quay открыли доступ к чужим образам 21001После сигнала: почему для расследования нужны подробные сетевые данные 21000Критическая ошибка PTC Windchill и FlexPLM открывает путь к удалённому выполнению кода 20999Слепые зоны идентичности: чего не хватает SOC при расследовании атак 20998Обновления Apple закрыли лазейки в групповых чатах и Bluetooth 20997Уязвимость iPhone может открыть приложениям доступ к чужим файлам 20996Что раскрыла расширенная проверка утечки Fireworks AI? 20995Уязвимость в Apache HTTP/2: удалённое выполнение кода без входа 20994Как защитить виртуальные машины Google Cloud от утечек на AMD Turin?
Ссылка