全新Self-RAG框架亮相，自適應檢索增強助力超越ChatGPT與Llama2，提升事實性與引用準確性

1. 基本思想

大型語言模型（LLMs）具有出色的能力，但由于完全依賴其內部的參數化知識，它們經常產生包含事實錯誤的回答，尤其在長尾知識中。

• 為了解決這一問題，之前的研究人員提出了檢索增強生成（RAG），它通過檢索相關知識來增強 LMs 的效果，尤其在需要大量知識的任務，如問答中，表現出色。
• 但 RAG 也有其局限性，例如不加選擇地進行檢索和只整合固定數量的段落，可能導致生成的回應不夠準確或與問題不相關。

為了進一步改進，作者提出了自反思檢索增強生成（Self-RAG, Self-Reflective Retrieval-Augmented Generation）。這是一個新框架，它不僅可以根據需要自適應地檢索段落（即：模型可以判斷是否有必要進行檢索增強），還引入了名為反思令牌（reflection tokens）的特殊令牌，使 LM 在推理階段可控。

實驗結果顯示，Self-RAG 在多種任務上，如開放領域的問答、推理和事實驗證，均表現得比現有的 LLMs（如 ChatGPT）和檢索增強模型（如檢索增強的 Llama2-chat）更好，特別是在事實性和引用準確性方面有顯著提高。