知識圖引導的檢索增強生成

摘要

????????檢索增強生成（RAG）已經成為一種很有前途的技術，用于解決大型語言模型（LLM）生成的響應中的幻覺問題。現有的RAG研究主要集中在應用基于語義的方法來提取孤立的相關組塊，忽略了它們之間的內在關系。在本文中，我們提出了一種新的知識圖引導的檢索增強生成（KG2RAG）框架，利用知識圖（KG），以提供塊之間的事實級關系，提高檢索結果的多樣性和一致性。具體而言，在執行基于語義的檢索以提供種子塊之后，KG2RAG采用KG引導的塊擴展過程和基于KG的塊組織過程來在組織良好的段落中傳遞相關且重要的知識。在HotpotQA數據集及其變體上進行的大量實驗表明，與現有的基于RAG的方法相比，KG2RAG在響應質量和檢索質量方面都具有優勢。

一、簡介

????????近來，大型語言模型（LLM）（Li等人，2024年; Ren等人，2024年; Touvron等人，2023; Brown等人，2020）已經在包括問題回答在內的廣泛的現實世界任務中取得了顯著的成功（Sen等人，2023），輔助書寫（Calamo等人，2023）、代碼生成（Cheng等人，2024），以及許多其他人（Kaddour等人，2023年; Wu等人，2023年）的報告。然而，幻覺（Xu等人，2024 b; Liu等人，2024 a）成為關鍵的挑戰，這通常是由于包含過時的信息或缺乏特定于域的知識而導致的。檢索增強生成（RAG）（Gao等人，2023年; Fan等人，2024）已經成為一種可行的解決方案，通過從提供的文件中檢索相關知識并將其合并到用于響應生成的LLM的提示中來減輕幻覺。

????????RAG中的現有研究（劉易斯等人，2020年; Yu，2022年; Purwar和Sundar，2023年; Gao等人，二零二三年; Ziletti和D 'Ambrosi，2024），如圖1所示，采用基于關鍵字或基于語義的方法來檢索與用戶查詢具有最高相似性的文檔或組塊。然而，這些檢索到的塊可能是同質的和冗余的，這不能提供這些塊之間的內在關系，不能進一步激活LLM的推理能力。此外，檢索到的塊通常直接按照它們的相似性分數的順序連接，并且作為提示的一部分被饋送到LLM。這種做法可能導致孤立的信息片段，限制了LLM在生成全面和可靠響應方面的效用。

圖1：僅LLM、語義RAG和圖RAG范式之間的比較

????????知識圖（KG）（奧爾等人，2007年; Ji等人，2022），作為現實世界實體及其關系的結構化抽象，可以預期通過整合結構化的事實知識來有效地補充現有的基于語義的RAG方法。KG中的知識以三元組（頭實體、關系、尾實體）的形式表示，通過重疊實體自然地鏈接。在RAG中使用KG的簡化工作流程如圖1所示，其中檢索相關三元組以增加響應生成LLM中，提供組塊之間的事實級關系，并突出顯示基于語義的方法可能遺漏的重要事實。

????????基于此，本文提出了一個新的知識圖引導的檢索增強生成框架KG 2 RAG.具體地說，我們首先在離線處理提供的文檔時進行組塊和KG-組塊關聯，建立組塊和特定KG之間的鏈接，以捕獲這些組塊之間的事實級關系。KG 2 RAG基于組塊和KG，采用KG增強的組塊檢索，包括基于語義的檢索和圖引導的擴展。基于語義的檢索使用嵌入和排序技術來準備若干種子塊（Nussbaum等人，2024年;李和李，2024年）。然后，這些種子塊被用于從關聯KG中提取相關子圖，在該子圖上，我們可以應用圖遍歷算法來包括包含重疊或相關實體和三元組的塊。這樣的圖形引導擴展的設計提供了檢索塊的更大多樣性和全面的知識網絡。

????????然后，我們在KG2RAG中加入了一個名為基于KG的上下文組織的后處理階段。一方面，基于KG的上下文組織用作過濾器以保留子圖中包含的最相關的信息，從而增強檢索的塊的信息性。另一方面，它作為一個排列器，以知識圖為骨架，將塊組織成內部連貫的段落。這些語義一致且組織良好的塊與用戶查詢一起被沿著到LLM中以生成響應。

????????我們對廣泛使用的HotpotQA（Yang et al.，2018）數據集及其新構建的變體進行了一系列實驗，以減輕先驗知識對LLM的影響。我們采用了一個分心和fullwiki設置，比較KG 2 RAG與幾個基于RAG的方法。實驗結果表明，KG 2 RAG始終優于基線的響應質量和檢索質量。此外，我們進行了消融研究，以突出KG 2 RAG中不同模塊的有效性。構建的數據集和源代碼發布于https://github.com//KG 2 RAG，以進一步推動知識庫在RAG中的開發和應用。

二、方法論

????????KG2RAG的工作流程概述如圖2所示。在以下小節中，我們將提供KG2RAG工作流程的更多詳細信息，包括文檔離線處理（第2.1），KG增強的組塊檢索（第2.2），以及基于KG的上下文組織（第第2.3段）。

圖2：提出的KG2RAG的工作流程

2.1文檔脫機處理

????????在RAG的現有研究之后（劉易斯等人，2020; Gao等人，2023年; Fan等人，2024）中，首先基于句子和段落的結構將所有文檔分割成 $n$ 個塊，給定預定義的塊大小，其可以被給定為 $D=\left \{ c_1,c_2,\cdots,c_n \right \}$ 這些組塊可以例如通過添加相關的上下文來進一步處理（Jiang等人，2023年; Eibich等人，2024），提取元信息（Mombaerts等人，2024）（例如，標題，摘要），并產生相應的問題（Ma等人，2023; Wang等人，第2024段b）。由于這些塊增強技術與本文中提出的方法是正交的，因此我們建議參考原始文獻以了解更多細節。在下文中，我們繼續將經處理的塊表示為 $D=\left \{ c_1,c_2,\cdots,c_n \right \}$ .

圖3：三元組提取的提示

?????????為了捕捉這些組塊之間豐富的事實級關系，我們將它們與KG相關聯，KG可以通過以下方法來實現。在KG可用的情況下，例如在WebQSP中（Yih等人，2016）和CWQ（Talmor and Berant，2018），可以通過實體和關系識別以及鏈接算法來執行組塊-KG關聯（Zhao等人，2023年; Tian等人，2024年）的報告。另一種方法涉及直接從塊中提取多個實體和關系以形成子圖，所述子圖可用于聯合收割機成完整圖。在本文中，為了避免依賴現有的KGs，我們采用了后一種方法，通過向LLM提供適當的提示（參見圖3）來實現它。在這個過程之后，我們提供了組塊和特定KG之間的聯系，其可以給出為

????????其中h、r和t分別表示頭實體、關系和尾實體，并且c表示導出三元組的塊。請注意，塊KG關聯過程是獨立于查詢的，這意味著它可以離線執行，只需要為所有文檔構建一次，并支持新文檔的增量更新。因為文檔離線處理與普通RAG的功能一致，KG 2 RAG自然支持高效地向現有知識庫和KG添加新文檔或從現有知識庫和KG中刪除文檔。

2.2 KG增強的組塊檢索

????????給定塊D和相關聯的KG G，所提出的KG2RAG建議兩階段的檢索過程，包括基于語義的檢索和圖引導的擴展。

基于語義的檢索

????????在基于語義的檢索過程中，用戶查詢q和所有塊之間的語義相似性可以被測量為

????????其中相似性函數 $S(\cdot)$ 采用嵌入模型（Nussbaum等人，2024; Li and Li，2024）將查詢和組塊轉換為高維表示，然后計算它們的余弦相似度。與查詢具有前 $k$ 個最高相似性的塊被選擇作為檢索到的塊，由 $D_q$ 表示。這些檢索到的塊可以作為上下文集成到LLM為RAG的提示符中。如第1、單純依靠語義檢索可能會導致孤立的語塊，丟失關鍵的事實知識和語塊之間的內在聯系。為了解決這個問題，我們把檢索到的塊 $D_q$ 作為種子塊，并提出了一個圖形引導的擴展過程。

圖引導擴展 $m-hop$

????????在溝通和思考過程中，人們經常將一個事件與其他事件聯系起來，因為這些事件涉及相同的實體，例如人和地點。例如，華盛頓，華盛頓特區的國會山將我們對巴拉克·奧巴馬、唐納德·特朗普和喬·拜登的印象聯系起來，因為他們都分別在2013年、2017年和2021年在那里發表了總統就職演說。KG2RAG通過這些洞察力，提出了通過重疊或連接的實體將一個組塊與其他組塊鏈接起來，這些實體包含在檢索的組塊擴展中。

????????具體地說，給定檢索塊 $D_q \subseteq D$ 和 $\textbf{KG}\: \textit{G}=\left \{ \left ( h,r,t,c \right )| c \in D \right \}$ ，我們首先得到 $D_q$ 的相關子圖如下：

$G_q^{0} =\left \{ \left ( h,r,t,c \right ) |c \in D_q \right \} \subseteq \textit{G}$

????????然后，我們遍歷 $G_q$ 的m-hop鄰域，得到擴展子圖 $G_q^m$ ，它可以被給定為

$G_q^m =traverse(G,G_q^m,m),\:\:\:\:\:\:\:\:\:(4)$

????????其中transverse（·）可以用廣度優先搜索（BFS）算法來實現，用作捕獲 $G_q^0$ 中的所有實體、對應的 $m$ 跳相鄰實體以及鏈接這些實體以形成擴展子圖的所有邊的函數。

????????給定擴展的子圖 $G_q^m$ ，我們可以讀出與該圖相關聯的所有塊（即包含對應于該圖中的三元組的事實）如下：

???????? $D_q^m = \left \{ c|\left ( h,r,t,c \right ) \in G_m^q \right \} \subseteq D, \: \: \: \: \:(5)$

????????其中 $D_q^m$ 稱為擴展塊。

討論

????????幾種基于語義和上下文的方法也可以實現語塊擴展。例如，可以在上述基于相似性的檢索過程中增加k的值，或者應用上下文窗口擴展（Jiang等人，2023）（即，當檢索塊時，上下文窗口內的塊也一起被重新調用）。與這些方法不同的是，所提出的圖引導的擴展收集包含相同或相關實體或三元組的塊，而不要求這些擴展的塊與查詢具有高語義相似性或位于檢索塊的周圍。這種圖引導擴展的設計有助于防止檢索和擴展的組塊之間的冗余和過度同質性，從而導致更大的多樣性和更全面的知識網絡的發展。我們提供了一些經驗證據，在3.3部分中進一步證實所提出的圖指導擴展的有效性。

2.3基于KG的上下文組織

????????在KG增強的塊檢索之后， $KG^2RAG$ 在LLM的響應生成之前并入了后處理階段，這是出于以下兩個考慮。

????????首先，通過圖引導擴展的擴展塊的數量與擴展子圖中包含的三元組相關聯，其可能太大，可能超過上下文長度并引入可能模糊有用信息的噪聲。其次，受人類閱讀習慣和先前研究的啟發（Li，2023; Liu等人，2024 b），提供語義連貫和組織良好的材料作為語境，對學習記憶的理解和生成產生積極影響。因此，我們在 $KG^2RAG$ 提出了一個基于 $KG$ 的上下文組織模塊，它既作為一個過濾器和調度器，以滿足這些要求。

作為過濾器

????????具體來說，我們首先計算擴展塊與用戶查詢之間的語義相似性，根據等式。（二）.基于這些相似性，擴展子圖 $G_q^m$ 可以被變換為無向加權圖，如下所示：

$U_q^m = \left \{ \left ( h\leftrightarrow t,rel:r,src:c,weight:s(q,c) \right ) |(h,r,t,c)\in G_q^m\right \},\:\:\:\:\:\:(6)$

????????其中， $h\leftrightarrow t$ 表示無向邊，附加有對應關系和源塊作為 $meta$ 信息。我們重復使用在Sec2.2中計算的語義相似性以節省計算資源。

????????由于知識的內聚性質， $U_q^m$ 可以自然地被劃分為 $p$ 個連通分量，用 $B_i$ 表示， $1\leq i\leq p$ ，其中每個連通分量 $B_i$ 內的節點表示 $KG$ 中的實體。由于冗余知識的存在，多條邊可能連接一對節點，這促使我們生成每個連通分支的最大生成樹來用于過濾，這個可以被公式化為

$\tau_i = \mathbf{MST}(B_i)$

????????通過這樣的過濾過程，我們只保留實體之間最相關的鏈接信息，并消除冗余邊緣，從而增強檢索塊的信息量。

作為一個組織者

????????我們的目標是通過基于KG的上下文組織模塊，以KG為骨架，將檢索到的語塊整合成內在相關且自洽的段落。

????????為了實現這一點，我們為每個生成的 $\mathbf{MST} \: \tau_i$ 提供兩種表示，包括文本表示和三元組表示。對于文本表示，我們選擇具有最高權重的邊作為根，并使用深度優先搜索（DFS）算法連接鏈接到邊緣的所有塊以形成連貫的段落。對于三元組表示，我們在 $\mathbf{MST}$ 內以 $\left \langle h,r,t \right \rangle$ 的形式連接所有邊。

????????我們使用交叉編碼器重排序函數基于 $\mathbf{MST}$ 和用戶查詢的三元組表示來計算他們之間的相關性得分（Xiao等人，2023年）：

???????? $R\left ( q, \tau_i \right ) = C(q,conc(\tau_i)),\:\:\:\:\:\:\:\:\:\:\:(8)$

????????其中 $C(\cdot)$ 是交叉編碼器重新排序函數，并且 $conc(\tau_i)$ 用于獲得三元組表示。我們使用三元組表示而不是文本表示，因為三元組提供了與相應塊相關聯的關鍵信息的簡潔和結構化的細化，從而允許相關性匹配聚焦于關鍵信息。在計算了相關性得分之后，我們對 $\mathbf{MSTs} \left \{ \tau_i | 1\leq i\leq p\right \}$ ，根據它們與用戶查詢 $q$ 的相關性 $\left \{ R\left ( q, \tau_i \right ) \right \}$ ，以降序排列。然后，我們按順序包含它們的文本表示，直到達到對塊數量的 $top-k$ 約束。最后，將這些選定的塊與用戶查詢一起沿著到LLM中，以生成響應。

三、實驗

3.1 實驗設置

數據集

????????我們在基準數據集HotpotQA上進行實驗（Yang等人，2018），其中每個查詢可以與若干材料相關聯（例如，維基百科中的相關內容）以幫助生成響應。HotpotQA數據集由兩個設置組成，分別名為HotpotQA-Dist和HotpotQA-Full。在干擾物設置中，總共提供了十個文檔作為支持材料，包括所有有用的知識以及一些無關的內容。在fullwiki環境中，需要從維基百科提取的全部66，581個文檔中識別出有用的知識。

????????對于KG-組塊關聯，我們向Llama-3提供手動提示（Dubey等人，2024），用于從HotpotQA的66，581個文檔中提取實體和關系，從而得到總共211，356個三元組，其中包括98，226個實體和19，813個關系。所構建的KG中的每個三元組都鏈接到其源塊。我們記錄了從每個組塊和文檔中提取的三元組的數量，并在圖4中繪制了相應的組塊和文檔的分布，圖4顯示了長尾現象。

(a)根據三元組數的文檔分布

(b)根據三元組數的組塊分布

圖4：三元組的統計

????????此外，為了減輕在生成過程期間對現有知識的依賴（即，LLM的訓練語料庫可能包含Wikipedia內容），并且為了更好地演示RAG的效果，我們構建了HotpotQA的變體。具體地說，對于每個實體，我們隨機地將其替換為同一類別中的另一個實體，然后相應地更新查詢、三元組和文檔。例如，實體Family Guy可以替換為Rick和Morty，并且查詢、三元組和文檔中包含的Family Guy的所有實例都將更新為Rick和Morty。因此，LLM必須從文檔中識別和提取相關內容，而不是依賴于來自訓練數據的關于Family Guy的先驗知識來正確地回答查詢。請注意，可能會生成許多新的三元組，如（Rick and Morty，language，French），因為原始的尾部實體也可以從英語轉換為法語。產生的變體數據集分別由Shuffle-HotpotQA-Dist和ShuffleHotpotQA-Full表示。

評估指標

????????我們比較 $KG^2RAG$ 與現有的基于 $RAG$ 的方法的響應質量和檢索質量，這可能會受到檢索到的組塊和上下文組織。對于檢索質量，我們使用HotpotQA提供的評估腳本來衡量檢索到的組塊和引用的事實之間的F1分數，精度和召回率。對于響應質量，我們采用F1分數，精度和召回率作為度量標準，將生成的響應與地面真實答案進行比較。

基線

????????在實驗中，我們將 $KG^2RAG$ 與以下基線方法進行了比較：

LLM-only，它直接指示LLM生成對用戶查詢的響應，而無需任何額外的檢索機制。
語義RAG（Jiang等人，2023），其采用基于語義的方法來檢索相關塊。這些塊被連接到提示符中，并輸入到LLM中以生成響應。更多詳情，請參閱第二節2.2。
混合RAG（Gao等人，2021），其將基于語義的檢索方法與基于關鍵字的檢索方法（例如，BM 25（Askari等人，2023））進行塊檢索。檢索到的塊隨后通過交叉編碼器重新排序器合并。
GraphRAG（Edge等人，2024），它使用LLM構建基于圖的索引。GraphRAG從源文檔中導出知識圖，并為聚類實體預生成社區摘要。給定一個查詢，它會生成每個相關社區摘要的部分響應，并將它們聚合到最終答案中。
LightRAG（Guo等人，2024），它充當GraphRAG的輕量級版本。LightRAG從源文檔中提取實體和關系，并生成每個實體的簡短描述以供檢索。檢索到的信息與查詢統一，并輸入LLM進行生成。

????????對于 $KG^2RAG$ 和所有基線方法，我們使用LLaMA 3 -8B（Dubey等人，2024）作為KG構造和響應生成的LLM，mxbaiembed-large（Li和Li，2024）作為嵌入模型，以及bge-reranker-large（Xiao等人，2023）作為混合RAG和 $KG^2RAG$ 的交叉編碼器重排器。除非另有說明，否則k的值被設置為10。

3.2 對比與分析

響應質量

????????KG2RAG與基線之間的相應質量的比較展示在表1中。從表中，我們可以觀察到，與僅使用LLM的方法相比，使用RAG的所有方法都實現了顯著的改進，在原始HotpotQA上的F1分數提高了29.1%，在ShuffleHotpotQA上的F1分數提高了26.4%。在這些基于RAG的方法中，KG2RAG實現了一致的優異性能，特別是在fullwiki設置和ShuffleHotpotQA數據集上。

表1：KG2RAG和基線之間的響應質量比較。

????????在fullwiki設置中，向LLM提供了大量的候選文檔（比干擾項設置多數千倍），需要高質量的檢索結果和有效的上下文組織。在這樣一個具有挑戰性的設置，我們提出的方法KG 2 RAG實現了至少8%的改進相比，基線，表明KG 2 RAG增強塊檢索通過KG引導的方法，超越基于語義和基于關鍵字的方法。此外，在Shuffle-HotpotQA數據集上，LLM應該更多地依賴于RAG而不是先驗知識，我們提出的方法在干擾器和fullwiki設置中分別實現了至少2.5%和6.4%的改進。

檢索質量

????????實驗結果如表2所示，表明KG 2 RAG在檢索精度和召回率之間取得了良好的平衡，突出了KG引導的擴展和上下文組織的有效性。在干擾項設置中，不相關的塊是有限的，我們提出的方法在召回率上達到了類似的性能，但在準確率上有明顯的提高（在HotpotQA和Shuffle-HotpotQA上分別超過7.9%和6.9%）。在全維基環境中，識別相關組塊更具挑戰性，與其他基于RAG的方法相比，本文提出的方法在準確率和召回率方面都有了一致的提高.這些結果進一步證實了KG2RAG在KG的幫助下提供高質量檢索結果的有效性。

表2：KG2RAG和基線之間檢索質量的比較

3.3進一步討論

消融研究

????????我們進行了消融研究，以證明KG 2 RAG中不同模塊的貢獻，包括KG引導的擴展和基于KG的上下文組織。表3和表4顯示了在分心設置中HotpotQA和Shuffle-HotpotQA數據集上的實驗結果，其中我們還報告了檢索到的塊的平均數量。

表3：在牽引裝置中對HotpotQA進行的消融研究的實驗結果

表4：在牽引器設置中對Shuffle-HotpotQA進行的消融研究的實驗結果

????????從這些結果中，我們可以觀察到，僅使用KG引導的擴展而不使用基于KG的上下文組織（在表中由“w/o組織”表示），KG 2 RAG在答案質量方面實現了類似的性能，但檢索質量明顯較差。原因是，如果沒有基于KG的上下文組織模塊，檢索到的塊的數量可能會明顯更大，可能包含不相關的塊，這些塊對性能沒有積極貢獻，但會消耗額外的令牌。這些發現證實了基于知識生成的上下文組織模塊在有效地選擇和組織檢索到的語塊以保存相關信息方面的貢獻。

????????僅使用基于KG的上下文組織模塊（在表中由“w/o expansion”表示），KG 2 RAG以顯著更少的組塊數量實現了高檢索精度和F1得分，但未能提供更好的響應，因為僅使用基于語義的方法可能無法檢索某些必要的塊。這些結果證實了KG引導的擴展模塊在成功利用KG捕獲塊之間的事實級關系和檢索基于語義的方法可能會錯過的關鍵信息方面的重要性。

性能相對于改變k

????????我們在HotpotQA上在分心設置中使用不同的top-k值進行實驗。實驗結果如圖5所示。從這些圖中，我們可以觀察到，與具有不同k的基線相比，KG 2 RAG保持了上級性能。當k被設置為合適的值（例如，5或10），KG 2 RAG確保高質量塊的有效檢索，從而提供連貫和上下文一致的上下文，以生成高質量的響應。

(a)響應質量

(b)檢索質量

圖5：在分心設置中HotpotQA上改變top-k的實驗結果。

????????然而，當k被設置為太大的值（例如，15），雖然檢索召回率顯著提高，生成的響應的質量并沒有成比例地增加，這表明簡單地增加塊的數量并不總是導致更好的檢索召回率和響應質量。與基線相比，KG 2 RAG對超參數k的敏感性最低，這使得RAG過程具有魯棒性。

性能相對于改變m

????????KG 2 RAG中，m作為圖擴展的超參數，平衡檢索精度和召回率之間的權衡。在前面的實驗中，我們將m-hop值設置為1。為了進一步探索m的影響，我們在HotpotQA數據集上進行了不同m的實驗。結果示于表5中。這些結果表明，設置m = 1對于實驗是合適的，并且KG 2 RAG對超參數m表現出低靈敏度。

表5：在具有不同m的分心物設置中HotpotQA的實驗結果

穩健性分析

????????為了進一步確認KG2RAG對質量受限KG的穩健性，我們從構建的KG中隨機丟棄5%或10%的三聯體，并在表6中顯示實驗結果。結果表明，KG2RAG保持穩健的性能，即使有質量限制，并優于基線。

表6：在三元組掉落的干擾器設置中HotpotQA的實驗結果

四、相關工作

檢索增強生成

????????為了解決幻覺的問題（Xu等人，2024 b; Liu等人，2024 a）由于缺乏相應的知識或包含過時的知識，檢索增強生成（RAG）（Gao et al.，2023年; Fan等人，2024）已經被提出用于從候選文檔池中檢索相關塊以輔助LLM生成。

????????在典型的RAG系統中（劉易斯等人，2020）中，首先基于長度和結構將文檔分割成塊，然后利用嵌入模型（Nussbaum等人，2024; Li和Li，2024），并進行索引以進行有效檢索。受滑動窗口思想的啟發（Jiao，2006），句子窗口檢索（Jiang等人，2023年; Eibich等人，2024）獲取所檢索的塊周圍的相鄰塊并將它們連接成單個較大塊以用于上下文豐富。然而，句子窗口檢索僅考慮同一文檔內文本塊的物理鄰近性。與現有研究不同，KG 2 RAG基于跨多個文檔的組塊之間的事實關聯進行檢索擴展。

????????重新排序（Ampazis，2024年; Glass等人，2022）是信息檢索中的關鍵技術（Grems，1962; Kuo等人，2024年）的報告。在RAG系統中，將檢索到的組塊與查詢沿著饋送到基于深度學習的交叉編碼器（Xiao等人，2023）可以更精確地度量語義相關性，從而提高檢索和生成的質量。KG 2 RAG將檢索到的組塊組織成段落，以KG作為骨架，從而允許對查詢的段落級相關性進行細粒度測量。

具有知識圖的LLM

? ? ? ? LLM（Li等人，2024年; Ren等人，2024）是當代人工智能（AI）最具代表性的成果之一。KGs（Ji等人，2022）作為圖結構化的關系數據庫，為AI應用提供了至關重要的數據基礎設施。研究表明，LLM具有解決與KG相關的任務的潛力，例如知識圖完成（Liu等人，2024 c）和知識圖問答（Sen等人，2023年）的報告。

????????最近，研究團體開始探索如何使用KGs來增強LLM的生成能力（Wang等人，2024 a; Edge等人，2024年; Xu等人，第2024條a款）。例如，KGP（Wang等人，2024 a）構造由頁面和段落節點組成的文檔KG，并將段落節點與TF-IDF鏈接。采用文獻KG進行檢索擴展。KGP構造的文檔KG是基于句子級文本相似度的，其基本功能類似于簡單地擴展上下文窗口。GraphRAG（Edge等人，2024）針對以查詢為中心的摘要任務。GraphRAG利用LLM從文檔庫中自動抽取知識庫，并在查詢前分析數據集的語義結構，通過對知識庫進行不同層次的分解和層次化的鏈接節點檢測。與以往的研究不同，KG 2 RAG的研究目的是利用知識結構的事實層次結構和事實知識來增強RAG。

五、結論

????????本文提出了KG 2 RAG框架，該框架通過KGs之間的集成來提高RAG的性能。我們介紹了語塊和特定語法之間的聯系，這有助于提供這些語塊之間的事實層面的關系。因此，KG 2 RAG建議在基于語義檢索方法檢索到的種子組塊的基礎上，進行基于KG的引導組塊擴展和基于KG的上下文組織。通過這些過程，檢索到的組塊變得多樣化、內在相關和自一致，形成組織良好的段落，這些段落可以被饋送到LLMs中以生成高質量的響應。我們將KG 2 RAG與現有的基于RAG的方法進行了比較，證明了KG 2 RAG在響應質量和檢索質量上的上級性。通過對KG 2 RAG的消融實驗進一步驗證了KG 2 RAG中基于KG的組塊擴展和基于KG的上下文組織兩個模塊的作用，表明這兩個模塊的協同作用增強了KG 2 RAG的效率。

鳴謝

????????本工作得到國家自然科學基金（No.62272219）的資助。

不足

????????檢索-擴充生成（RAG）是一種系統工程框架，可以從多個角度進行改進，包括查詢重寫（Xiao等人，2023），檢索優化（Eibich等人，2024）、多回合對話（Yao等人，2023）等（Gao等人，2023年）的報告。KG 2 RAG只關注檢索優化部分，其目標是利用知識庫中的結構化事實知識，進行知識庫引導的檢索擴展和基于知識庫的上下文組織，從而增強RAG，而不優化其他模塊。然而，所提出的KG 2 RAG是正交的，并且與上述模塊兼容。在未來，我們將把KG 2 RAG開發成一個即插即用的工具，它可以很容易地與其他方法集成，從而更好地促進研究社區。