前言

在人工智能領域，處理和理解大量文本數據始終是一個挑戰。隨著大型語言模型（LLMs）的出現，自動化地進行復雜的語義理解和文本摘要變得可能。檢索增強生成（RAG）方法因其能有效結合檢索與生成技術，顯著提升AI系統的回答準確性，備受關注。微軟最新開源的GraphRAG正是此類技術的典型代表，通過圖譜構建與檢索增強生成的有機結合，提供了強大的信息處理與問題解答能力

什么是GraphRAG

使用檢索增強生成（RAG）技術從外部知識源檢索相關信息，使大型語言模型（LLMs）能夠在私有和/或之前未見過的文檔集合上回答問題。然而，RAG在針對整個文本語料庫的全局問題上失敗了，例如“數據集中的主要主題是什么？”，因為這本質上是一個面向查詢的摘要（QFS）任務，而不是一個明確的檢索任務。與此同時，先前的QFS方法未能擴展到典型RAG系統所索引的文本量。為了結合這些對比方法的優勢，微軟公司的研究人員提出了一種圖RAG方法，用于在私有文本語料庫上進行問題回答，該方法隨著用戶問題的普遍性和要索引的源文本量而擴展。

GraphRAG利用大型語言模型（LLMs）構建知識圖譜并回答用戶問題，基于圖的、實現檢索增強生成。與傳統的RAG方法相比，GraphRAG通過創建基于圖的文本索引，增強了對數據的全局理解能力，特別是在處理需要跨文檔或跨領域綜合信息的查詢時。不僅能夠處理大量信息，還能通過連接這些信息提供更深入的見解。

GraphRAG能做什么

GraphRAG具備以下功能：

信息連接與解答：能夠跨越大量文檔，連接信息，回答復雜問題。

主題摘要：能夠對數據集中的主要主題進行總結和提取，適用于抽象或主題性的查詢, 并且不收集用戶數據。

噪音處理與辨別：在處理混雜信息和虛假信息時，能提供可靠的分析支持。

比較GraphRAG和傳統基于向量數據庫的RAG的區別

傳統的基于向量數據庫的RAG方法主要依賴于關鍵詞和向量搜索，存在以下局限：

信息連接能力：傳統方法難以有效連接跨文檔的信息，GraphRAG則通過知識圖譜的構建，實現信息的高效關聯。

答案準確性：GraphRAG通過多重驗證機制，減少了回答中的錯誤和“幻覺”現象，提高了回答的準確性和可信度。

處理復雜問題：GraphRAG擅長處理需要跨越多個文檔的信息整合，適用于解決更為復雜的查詢問題。

相比之下，GraphRAG通過構建知識圖譜，利用社區檢測算法將圖分割成模塊化社區，每個社區包含緊密相關的節點。這種方法不僅能夠提供對數據集全局結構的深入理解，還能夠生成更為全面和多樣化的答案。

親自嘗試GraphRAG

微軟已經將GraphRAG開源，并在GitHub上提供了相關代碼庫。開源的GraphRAG項目包括了一個解決方案加速器，提供了簡單易用的API體驗，并且這些API已經被托管到Azure上，使得開發者可以無需編寫任何代碼，通過幾次點擊即可部署GraphRAG：

GitHub - microsoft/graphrag: A modular graph-based Retrieval-Augmented Generation (RAG) system。

部署指南：

graphrag-accelerator/docs/DEPLOYMENT-GUIDE.md at main · Azure-Samples/graphrag-accelerator · GitHub

開發指南：

graphrag-accelerator/docs/DEVELOPMENT-GUIDE.md at main · Azure-Samples/graphrag-accelerator · GitHub

總結

GraphRAG作為一種先進的檢索增強生成方法，憑借其在信息連接、準確性及處理復雜問題方面的顯著優勢，未來將在多個領域展現廣闊的應用前景。隨著技術的不斷完善和推廣，GraphRAG有望在智能搜索、數據分析及智能問答等方面發揮重要作用，助力實現更為智能和高效的信息處理。

參考文獻

https://www.landiannews.com/archives/104784.html https://github.com/microsoft/graphrag/blob/main/RAI_TRANSPARENCY.md https://arxiv.org/pdf/2404.16130