Традиционный подход Retrieval Augmented Generation (RAG) с векторными базами данных эффективен, но ограничен в решении сложных запросов, требующих многоаспектного рассуждения или объединения разрозненных данных. GraphRAG преодолевает эти ограничения, интегрируя графы знаний (KG) в процесс извлечения и генерации. В начале текстовые фрагменты анализируются LLM на предмет сущностей, связей и утверждений, образуя начальный граф знаний. Далее применяется иерархическая кластеризация для выделения сообществ – групп плотно связанных сущностей. Для каждого сообщества создаются краткие сводки, включающие ключевые сущности, их отношения и утверждения.
При обработке запросов GraphRAG использует глобальный и локальный поиск. Глобальный поиск, подходящий для комплексных вопросов, анализирует сводки сообществ, ранжируя и фильтруя промежуточные ответы для формирования окончательного ответа. Локальный поиск, применяемый к запросам о конкретных сущностях, идентифицирует семантически связанные сущности в графе знаний. Извлеченные фрагменты текста сопоставляются с сущностями, их отношениями и ковариатами. Таким образом, контекст для LLM обогащается не только семантическим сходством текста, но и структурированными знаниями о связях между сущностями.
Приведенный в статье пример с набором данных VIINA демонстрирует преимущество GraphRAG над базовым RAG в вопросах, требующих агрегации информации. В то время как базовый RAG извлекал несвязный текст, GraphRAG выдал релевантный ответ, определяя основные темы и ссылаясь на исходный материал. Также использование векторной базы данных Milvus позволяет хранить эмбеддинги описаний сущностей для быстрого и точного локального поиска. Этот подход сочетает структурированные данные из графа знаний с неструктурированными данными из документов.
GraphRAG также имеет возможность генерировать вопросы на основе исторических запросов. Это позволяет использовать его в чат-ботах. Система анализирует предыдущие запросы и контекст, генерируя вопросы, связанные с определенными сущностями. Такая способность к генерации вопросов делает GraphRAG более динамичным и интерактивным. Практическая реализация GraphRAG с Milvus показывает, что его можно легко интегрировать в существующие рабочие процессы, предоставляя мощный инструмент для работы со сложными данными.
Изображение носит иллюстративный характер
При обработке запросов GraphRAG использует глобальный и локальный поиск. Глобальный поиск, подходящий для комплексных вопросов, анализирует сводки сообществ, ранжируя и фильтруя промежуточные ответы для формирования окончательного ответа. Локальный поиск, применяемый к запросам о конкретных сущностях, идентифицирует семантически связанные сущности в графе знаний. Извлеченные фрагменты текста сопоставляются с сущностями, их отношениями и ковариатами. Таким образом, контекст для LLM обогащается не только семантическим сходством текста, но и структурированными знаниями о связях между сущностями.
Приведенный в статье пример с набором данных VIINA демонстрирует преимущество GraphRAG над базовым RAG в вопросах, требующих агрегации информации. В то время как базовый RAG извлекал несвязный текст, GraphRAG выдал релевантный ответ, определяя основные темы и ссылаясь на исходный материал. Также использование векторной базы данных Milvus позволяет хранить эмбеддинги описаний сущностей для быстрого и точного локального поиска. Этот подход сочетает структурированные данные из графа знаний с неструктурированными данными из документов.
GraphRAG также имеет возможность генерировать вопросы на основе исторических запросов. Это позволяет использовать его в чат-ботах. Система анализирует предыдущие запросы и контекст, генерируя вопросы, связанные с определенными сущностями. Такая способность к генерации вопросов делает GraphRAG более динамичным и интерактивным. Практическая реализация GraphRAG с Milvus показывает, что его можно легко интегрировать в существующие рабочие процессы, предоставляя мощный инструмент для работы со сложными данными.
