文章目錄
- 如何基于 LLM 判斷知識庫的好壞
- 方法概述
- 示例 Prompt
- 聲明抽取器 Prompt
- 聲明檢查器 Prompt
- 判斷機制
- 總結
下面介紹如何基于 LLM 判斷知識庫的好壞，并展示了如何利用聲明抽取器和聲明檢查器這兩個 prompt 構建評價體系。
如何基于 LLM 判斷知識庫的好壞
在知識庫構建與維護過程中，確保信息的準確性、可驗證性和一致性是至關重要的。借助大語言模型（LLM）的強大自然語言處理能力，我們可以設計一個兩步走的機制——先抽取文本中的聲明，再對抽取的聲明進行驗證。本文將介紹這一方法，并通過兩個具體的 prompt 展示如何利用 LLM 來判斷知識庫的質量。
方法概述
主要分為兩個階段：
-
聲明抽取
利用 LLM 將給定文本中的信息拆解為獨立、原子化的聲明。每個聲明需要滿足以下要求：- 以三元組（主語，謂語，賓語）的形式呈現；
- 聲明之間互不干擾，且每個聲明都是可獨立驗證的；
- 不添加任何推理或解釋；
- 每行輸出一個聲明，同時需要挖掘問題中隱含的聲明。
-
聲明檢查
依據參考文本（即標準答案）來驗證抽取的聲明是否準確。驗證標準包括：- ENTAILMENT（蘊含）：聲明可以從參考文本中直接推導或驗證；
- CONTRADICTION（矛盾）：聲明與參考文本存在矛盾；
- NEUTRAL（中立）：參考文本既不支持也不反對該聲明。
這種基于聲明抽取和檢查的流程，可以幫助我們評估知識庫中的信息是否經過嚴謹提取和驗證，從而反映出知識庫的整體質量。
示例 Prompt
下面展示兩個具體的 prompt 示例，分別對應聲明抽取和聲明檢查的任務：
聲明抽取器 Prompt
你是一個專業的聲明抽取器。你的任務是從給定文本中提取獨立的、原子化的聲明。 文本：
Hive表，多個分表怎么查請按照以下格式提取聲明：
1.每個聲明應該是一個完整的三元組（主語，謂語，賓語）
2.每個聲明應該是獨立的、可驗證的
3.不要添加任何推理或解釋
4.每行輸出一個聲明
5.提取問題中隱含的聲明提取的聲明：
該 prompt 要求 LLM 將輸入文本拆分成若干個獨立的、格式化的三元組聲明，這樣的處理能夠幫助我們清晰地看到文本中蘊含的各個知識點。
聲明檢查器 Prompt
你是一個專業的聲明檢查器。你的任務是驗證給定聲明的準確性。聲明（來自系統回復）：
1. (用戶, 想查詢, Hive表)
2. (Hive表, 包含, 多個分表)參考文本（標準答案）：
查詢Spark創建的Hive表，多個分表怎么查請對每個聲明進行驗證，并按照以下標準進行判斷：
- ENTAILMENT（蘊含）：聲明可以從參考文本中直接推導或驗證
- CONTRADICTION（矛盾）：聲明與參考文本矛盾
- NEUTRAL（中立）：參考文本既不支持也不反對該聲明請按照以下格式判斷聲明：
1.不要添加任何推理或解釋
2.每行輸出一個聲明結果判斷結果：
在該 prompt 中，我們通過對比系統生成的聲明與參考文本，利用 LLM 判斷每個聲明是否符合參考文本，從而評估聲明的準確性和知識庫的信息質量。
判斷機制
通過上述兩個 prompt，我們可以構建如下評價流程：
-
輸入文本與聲明抽取
- 將用戶或系統中的文本輸入聲明抽取器；
- LLM 根據 prompt 要求，提取出格式化的三元組聲明；
- 抽取出的聲明反映了知識庫中的基本信息單元；
-
聲明驗證與質量評估
- 將抽取的聲明與標準答案或參考文本一起輸入聲明檢查器；
- LLM 根據驗證標準，對每個聲明進行判斷，輸出“ENTAILMENT”、“CONTRADICTION”或“NEUTRAL”的結果；
- 統計驗證結果，若大部分聲明為“ENTAILMENT”，則說明知識庫信息較為準確；反之，則可能存在錯誤、遺漏或模糊不清的信息；
-
反饋與改進
- 根據驗證結果，開發者或系統管理員可以針對性地對知識庫進行調整和改進；
- 這種基于 LLM 的自動化檢查機制，有助于在大規模知識庫更新過程中快速發現問題，提高信息質量；
總結
基于 LLM 的聲明抽取與檢查流程提供了一種創新的方法，幫助我們量化和判斷知識庫的質量。通過分解信息為原子化聲明，并利用參考文本對聲明進行嚴格驗證，可以更高效地發現知識庫中的不足，為后續改進提供明確的方向。
以上就是如何基于 LLM 判斷知識庫好壞的思路和具體實現示例。
)
