Выбор правильных метрик для оценки LLM — важная задача, влияющая на качество работы всей системы. Существуют разные типы метрик, от статистических до основанных на нейросетях, но наиболее эффективными являются те, что используют LLM в качестве «судьи» (например, G-Eval). Они лучше учитывают семантику и способны более точно оценить результат.
Метрики RAG (Retrieval-Augmented Generation) необходимы для оценки систем, генерирующих текст с учетом контекста. Важными показателями являются: достоверность (соответствие фактам), релевантность ответа, контекстная точность (ранжирование релевантных узлов), контекстная полнота (покрытие информации из контекста) и общая контекстная релевантность (соответствие запросу). Для их вычисления часто используется метод QAG (Question Answering Generation), который задаёт закрытые вопросы и анализирует ответы.
Метрики для дообучения LLM, такие как оценка галлюцинаций (вымышленных фактов), токсичности (наличие оскорблений) и предвзятости, оценивают качество самой модели. Обнаружение галлюцинаций можно проводить методом SelfCheckGPT, а токсичность и предвзятость можно измерять, используя LLM как «судью» с помощью G-Eval, задавая соответствующие критерии. Предвзятость – это крайне субъективная категория, она может существенно варьироваться в зависимости от географических, геополитических и геосоциальных условий.
Для оценки специфичных задач можно использовать метрику соответствия инструкциям, которая оценивает, насколько точно LLM выполняет указания, или метрику резюмирования, оценивающую точность и полноту сжатого текста. Для конкретных случаев использования подойдут кастомные метрики с помощью G-Eval, где гибко задаются критерии оценки. Выбор конкретных метрик зависит от задач, стоящих перед LLM, и ее архитектуры.
Изображение носит иллюстративный характер
Метрики RAG (Retrieval-Augmented Generation) необходимы для оценки систем, генерирующих текст с учетом контекста. Важными показателями являются: достоверность (соответствие фактам), релевантность ответа, контекстная точность (ранжирование релевантных узлов), контекстная полнота (покрытие информации из контекста) и общая контекстная релевантность (соответствие запросу). Для их вычисления часто используется метод QAG (Question Answering Generation), который задаёт закрытые вопросы и анализирует ответы.
Метрики для дообучения LLM, такие как оценка галлюцинаций (вымышленных фактов), токсичности (наличие оскорблений) и предвзятости, оценивают качество самой модели. Обнаружение галлюцинаций можно проводить методом SelfCheckGPT, а токсичность и предвзятость можно измерять, используя LLM как «судью» с помощью G-Eval, задавая соответствующие критерии. Предвзятость – это крайне субъективная категория, она может существенно варьироваться в зависимости от географических, геополитических и геосоциальных условий.
Для оценки специфичных задач можно использовать метрику соответствия инструкциям, которая оценивает, насколько точно LLM выполняет указания, или метрику резюмирования, оценивающую точность и полноту сжатого текста. Для конкретных случаев использования подойдут кастомные метрики с помощью G-Eval, где гибко задаются критерии оценки. Выбор конкретных метрик зависит от задач, стоящих перед LLM, и ее архитектуры.
