Галлюцинации в LLM, то есть, генерация неточной или выдуманной информации, разделяются на внутренние (противоречие контексту) и внешние (непроверяемые). Они проявляются в фактических ошибках: искажениях сущностей, отношений и выдуманных фактах. Также встречаются нарушения верности: несоответствия инструкциям, контексту и логические противоречия.
Источники галлюцинаций кроются в данных, обучении и выводе. Данные могут содержать дезинформацию, предвзятость или иметь ограниченные знания по некоторым темам. В процессе обучения модели склонны к запоминанию, что может приводить к ошибочной генерации. Также, существует смещение экспозиции, когда модель сталкивается с ошибками, которые усугубляются при генерации.
На этапе вывода, случайность выборки и избыточная уверенность влияют на возникновение галлюцинаций. Высокая температура выборки увеличивает разнообразие, но и риск ошибок, а избыточная уверенность приводит к приоритету плавности текста в ущерб точности. Ограничения softmax также могут влиять на результат.
Наконец, логические ошибки при обработке взаимосвязей, усугубляют проблему. Модели могут демонстрировать непоследовательность и неправильно применять логику к запросам. В результате, LLM генерируют недостоверные и противоречивые ответы.
Изображение носит иллюстративный характер
Источники галлюцинаций кроются в данных, обучении и выводе. Данные могут содержать дезинформацию, предвзятость или иметь ограниченные знания по некоторым темам. В процессе обучения модели склонны к запоминанию, что может приводить к ошибочной генерации. Также, существует смещение экспозиции, когда модель сталкивается с ошибками, которые усугубляются при генерации.
На этапе вывода, случайность выборки и избыточная уверенность влияют на возникновение галлюцинаций. Высокая температура выборки увеличивает разнообразие, но и риск ошибок, а избыточная уверенность приводит к приоритету плавности текста в ущерб точности. Ограничения softmax также могут влиять на результат.
Наконец, логические ошибки при обработке взаимосвязей, усугубляют проблему. Модели могут демонстрировать непоследовательность и неправильно применять логику к запросам. В результате, LLM генерируют недостоверные и противоречивые ответы.
