RAG (Retrieval Augmented Generation) – подход, сочетающий генеративные модели с поисковыми механизмами для предоставления ответов, подкреплённых внешними данными. Стандартная схема включает векторизацию запроса, поиск релевантных документов в базе данных, их переранжирование, интеграцию в промпт и генерацию ответа. RAG необходим, поскольку LLM ограничены данными обучения, что приводит к неточностям. Выбор ретривера – sparse (лексический), dense (векторный) или гибридный – и базы данных (от PostgreSQL до графовых, типа Neo4j) зависит от задачи. Данные предварительно обрабатываются: разбиваются на фрагменты (чанки), векторизуются с помощью эмбеддинговых моделей (например, e5_multilingual).
Улучшить retrieval можно, применяя семантическое чанкирование, мультимодальность, перефразирование запросов, HyDE (генерация гипотетического ответа для поиска), контекстуализацию запросов и чанков, и декомпозицию сложных запросов. Переранжирование выдачи проводится с использованием BM25 или перекрёстных эмбеддеров (cross-encoder) для улучшения релевантности. Перед аугментацией – внедрением документов в промпт – документы фильтруются и суммируются.
На этапе генерации LLM выдаёт ответ с учётом актуализированной информации. Оценка RAG проводится метриками MRR, MAP, BLEU и ROUGE, а также триадой метрик, оцениваемых с помощью LLM: релевантность ответа, верность (соответствие фактам) и релевантность контекста. AutoRAG – автоматизированный фреймворк, который оптимизирует процесс RAG, и заслуживает отдельного внимания.
Изображение носит иллюстративный характер
Улучшить retrieval можно, применяя семантическое чанкирование, мультимодальность, перефразирование запросов, HyDE (генерация гипотетического ответа для поиска), контекстуализацию запросов и чанков, и декомпозицию сложных запросов. Переранжирование выдачи проводится с использованием BM25 или перекрёстных эмбеддеров (cross-encoder) для улучшения релевантности. Перед аугментацией – внедрением документов в промпт – документы фильтруются и суммируются.
На этапе генерации LLM выдаёт ответ с учётом актуализированной информации. Оценка RAG проводится метриками MRR, MAP, BLEU и ROUGE, а также триадой метрик, оцениваемых с помощью LLM: релевантность ответа, верность (соответствие фактам) и релевантность контекста. AutoRAG – автоматизированный фреймворк, который оптимизирует процесс RAG, и заслуживает отдельного внимания.
