【帶你全面了解 RAG，深入探討其核心范式、關鍵技術及未來趨勢】

文末有福利！

大型語言模型（LLMs）已經成為我們生活和工作的一部分，它們以驚人的多功能性和智能化改變了我們與信息的互動方式。

然而，盡管它們的能力令人印象深刻，但它們并非無懈可擊。這些模型可能會產生誤導性的 “幻覺”，依賴的信息可能過時，處理特定知識時效率不高，缺乏專業領域的深度洞察，同時在推理能力上也有所欠缺。

在現實世界的應用中，數據需要不斷更新以反映最新的發展，生成的內容必須是透明可追溯的，以便控制成本并保護數據隱私。因此，簡單依賴于這些 “黑盒” 模型是不夠的，我們需要更精細的解決方案來滿足這些復雜的需求。

正是在這樣的背景下，檢索增強生成技術（Retrieval-Augmented Generation，RAG）應時而生，成為 AI 時代的一大趨勢。

RAG 通過在語言模型生成答案之前，先從廣泛的文檔數據庫中檢索相關信息，然后利用這些信息來引導生成過程，極大地提升了內容的準確性和相關性。RAG 有效地緩解了幻覺問題，提高了知識更新的速度，并增強了內容生成的可追溯性，使得大型語言模型在實際應用中變得更加實用和可信。RAG 的出現無疑是人工智能研究領域最激動人心的進展之一。

本篇綜述將帶你全面了解 RAG，深入探討其核心范式、關鍵技術及未來趨勢，為讀者和實踐者提供對大型模型以及 RAG 的深入和系統的認識，同時闡述檢索增強技術的最新進展和關鍵挑戰。

論文鏈接：

https://arxiv.org/abs/2312.10997

官方倉庫：

https://github.com/Tongji-KGLLM/RAG-Survey

1、RAG 是什么？

▲ 圖1. RAG 技術在 QA 問題中的案例

一個典型的 RAG 案例如圖所示。如果我們向 ChatGPT 詢問 OpenAI CEO Sam Atlman 在短短幾天內突然解雇隨后又被復職的事情。由于受到預訓練數據的限制，缺乏對最近事件的知識，ChatGPT 則表示無法回答。RAG 則通過從外部知識庫檢索最新的文檔摘錄來解決這一差距。

在這個例子中，它獲取了一系列與詢問相關的新聞文章。這些文章，連同最初的問題，隨后被合并成一個豐富的提示，使 ChatGPT 能夠綜合出一個有根據的回應。
在這里插入圖片描述

2、RAG 技術范式發展

RAG 的概念首次于 2020 年被提出，隨后進入高速發展。RAG 技術的演進歷程如圖所示，相關研究進展可以明確地劃分為數個關鍵階段。在早期的預訓練階段，研究的焦點集中在如何通過預訓練模型注入額外的知識，以此增強語言模型的能力。

隨著 ChatGPT 的面世，對于運用大型模型進行深層次上下文學習的興趣激增，這推動了 RAG 技術在研究領域的快速發展。隨著 LLMs 的潛力被進一步開發，旨在提升模型的可控性并滿足不斷演變的需求，RAG 的研究逐漸聚焦于增強推理能力，并且也探索了在微調過程中的各種改進方法。

特別是隨著 GPT-4 的發布，RAG 技術經歷了一次深刻的變革。研究重點開始轉移至一種新的融合 RAG 和微調策略的方法，并且持續關注對預訓練方法的優化。

▲ 圖2. RAG 技術發展的科技樹

在 RAG 的技術發展過程中，我們從技術范式角度，將其總結成如下幾個階段：

樸素（Naive RAG）

前文案例中展示了經典的 RAG 流程，也被稱為 Naive RAG。主要包括包括三個基本步驟：

索引 — 將文檔庫分割成較短的 Chunk，并通過編碼器構建向量索引。
檢索 — 根據問題和 chunks 的相似度檢索相關文檔片段。
生成 — 以檢索到的上下文為條件，生成問題的回答。

進階的 RAG（Advanced RAG）

Naive RAG 在檢索質量、響應生成質量以及增強過程中存在多個挑戰。Advanced RAG 范式隨后被提出，并在數據索引、檢索前和檢索后都進行了額外處理。

通過更精細的數據清洗、設計文檔結構和添加元數據等方法提升文本的一致性、準確性和檢索效率。在檢索前階段則可以使用問題的重寫、路由和擴充等方式對齊問題和文檔塊之間的語義差異。在檢索后階段則可以通過將檢索出來的文檔庫進行重排序避免 “Lost in the Middle ” 現象的發生。或是通過上下文篩選與壓縮的方式縮短窗口長度。

模塊化 RAG（Modular RAG）

隨著 RAG 技術的進一步發展和演變，新的技術突破了傳統的 Naive RAG 檢索 — 生成框架，基于此我們提出模塊化 RAG 的概念。在結構上它更加自由的和靈活，引入了更多的具體功能模塊，例如查詢搜索引擎、融合多個回答。技術上將檢索與微調、強化學習等技術融合。流程上也對 RAG 模塊之間進行設計和編排，出現了多種的 RAG 模式。

然而，模塊化 RAG 并不是突然出現的，三個范式之間是繼承與發展的關系。Advanced RAG 是 Modular RAG 的一種特例形式，而 Naive RAG 則是 Advanced RAG 的一種特例。

▲ 圖3. RAG 范式對比圖

3、如何進行檢索增強？

RAG 系統中主要包含三個核心部分，分別是 “檢索”，“增強” 和 “生成”。正好也對應的 RAG 中的三個首字母。想要構建一個好的 RAG 系統，增強部分是核心，則需要考慮三個關鍵問題：檢索什么？什么時候檢索？怎么用檢索的內容？

檢索增強的階段：在預訓練、微調和推理三個階段中都可以進行檢索增強，這決定了外部知識參數化程度的高低，對應所需要的計算資源也不同。

檢索增強的數據源：增強可以采用多種形式的數據，包括非結構化的文本數據，如文本段落、短語或單個詞匯。此外，也可以利用結構化數據，比如帶有索引的文檔、三元組數據或子圖。另一種途徑是不依賴外部信息源，而是充分發揮 LLMs 的內在能力，從模型自身生成的內容中檢索。

檢索增強的過程：最初的檢索是一次性過程，在 RAG 發展過程中逐漸出現了迭代檢索、遞歸檢索以及交由 LLMs 自行判斷檢索時刻的自適應檢索方法。

▲ 圖4. RAG 核心組件的分類體系

4、RAG 和微調應該如何選擇？

除了 RAG，LLMs 主要優化手段還包括了提示工程 (Prompt Engineering)、微調 (Fine-tuning，FT)。他們都有自己獨特的特點。根據對外部知識的依賴性和模型調整要求上的不同，各自有適合的場景。

RAG 就像給模型一本教科書，用于定制的信息檢索，非常適合特定的查詢。另一方面，FT 就像一個學生隨著時間的推移內化知識，更適合模仿特定的結構、風格或格式。FT 可以通過增強基礎模型知識、調整輸出和教授復雜指令來提高模型的性能和效率。然而，它不那么擅長整合新知識或快速迭代新的用例。RAG 和 FT，并不是相互排斥的，它們可以是互補的，聯合使用可能會產生最佳性能。

▲ 圖5. RAG 與其他大模型微調技術對比

如何評價 RAG？

RAG 的評估方法多樣，主要包括三個質量評分：上下文相關性、答案忠實性和答案相關性。此外，評估還涉及四個關鍵能力：噪聲魯棒性、拒答能力、信息整合和反事實魯棒性。這些評估維度結合了傳統量化指標和針對 RAG 特性的專門評估標準，盡管這些標準尚未統一。

在評估框架方面，存在如 RGB 和 RECALL 這樣的基準測試，以及 RAGAS、ARES 和 TruLens 等自動化評估工具，它們有助于全面衡量 RAG 模型的表現。表中匯總了如何將傳統量化指標應用于 RAG 評估以及各種 RAG 評估框架的評估內容，包括評估的對象、維度和指標，為深入理解 RAG 模型的性能和潛在應用提供了寶貴信息。