FRONT, Fine-Grained Grounded Citations歸因

FRONT歸因，首先從檢索到的源文檔中選擇支持性引用，然后基于這些引用指導生成過程，確保生成回答有據可依，引用準確無誤。

FRONT的特色在于兩階段歸因訓練，要點如下:?

階段一：基于依據的引導生成

教導模型首先從源文檔中提取支持性引用，每個引用與其文檔標識符相關聯。這些提取的引用隨后用于歸因答案的生成。

直接從源文檔提取引用，減少了不相關信息的引入和幻覺風險。每個標識符提供了明確的監督信號，有助于后續的偏好調優訓練。

階段二：一致性感知對齊

一致性感知對齊的目的是增強基于依據的過程和生成過程的一致性。采用偏好學習的方法，將一致答案和不一致答案，在相同基準依據引用的指導下進行對齊

使用較小LLM如7B模型在少樣本學習prompt設置下生成低質量、不一致答案作為負樣本，并使用偏好優化(DPO)進行偏好對齊。

reference

----

Learning Fine-Grained Grounded Citations for Attributed Large Language Models

https://aclanthology.org/2024.findings-acl.838.pdf

Fine-grained-Attribution

https://github.com/LuckyyySTA/Fine-grained-Attribution