TruLens RAG Triad 學習
- 0. 背景
- 1. RAG 三元組
- 2. TruLens 快速入門
- 2-1. 安裝依賴
- 2-2. 初始化 OpenAI 認證信息
- 2-3. 獲取數據
- 2-4. 創建向量存儲
- 2-5. 從頭構建自定義 RAG
- 2-6. 設置反饋函數
- 2-7. 構建應用程序
- 2-8. 運行應用程序
0. 背景
近年來，RAG 架構已成為為大型語言模型 (LLMs) 提供上下文以避免出現幻覺的標準方法。然而，即使是 RAG 也會出現幻覺，尤其是在檢索無法獲取足夠上下文或檢索到與LLM生成的響應無關的上下文時。
TruEra 對 RAG 三元組進行了創新，并在RAG架構的每個邊緣處評估幻覺，如下圖所示：
1. RAG 三元組
RAG三元組由三個評估組成：上下文相關性、依據性和答案相關性。 對每個評估進行滿意的評估，使我們確信我們的 LLM 應用程序沒有幻覺。
-
上下文相關性
任何 RAG 應用的第一步都是檢索；為了驗證我們檢索的質量，我們要確保每個上下文塊都與輸入查詢相關。 這非常重要，因為 LLM 將使用此上下文來形成答案，因此上下文中的任何無關信息都可能被編織成幻覺。 TruLens 通過使用序列化記錄的結構，使您能夠評估上下文相關性。
-
依據性
檢索上下文后，它由 LLM 形成答案。 LLM 經常會偏離提供的事實，夸大或擴展到一個聽起來正確的答案。 為了驗證我們應用程序的依據性?
