論文標題
Rational Retrieval Acts: Leveraging Pragmatic Reasoning to Improve Sparse Retrieval
論文地址
https://arxiv.org/pdf/2505.03676
代碼地址
https://github.com/arthur-75/Rational-Retrieval-Acts
作者背景
巴黎薩克雷大學，索邦大學，法國國家科學研究中心
動機
文檔檢索算法對用戶query和候選Document進行匹配打分，從而挑選出能夠回答用戶問題的信息。但當前的q-D匹配算法一般只考慮詞語淺層語義，缺乏對用戶意圖的深層理解，于是在實踐中我們往往發現：再面對用戶的模糊、復雜或措辭多變的問題時，難以精準找到合理的文檔
對此，作者利用語言學中“理性言語行為”的思想，提出了一種迭代算法，能夠模擬說話人與傾聽者互相揣摩對方意圖的行為，從而提高檢索算法的準確性
理性言語行為
理性言語行為（Rational Speech Act model, RSA）的核心思想是：
說話者和聽話者都是理性的個體，他們在交流中會基于對彼此知識、目標和意圖的推測，做出最合適的語言選擇和解釋
RSA 是一種概率模型，它將言語交流建模為一種貝葉斯推理過程，包括以下三類參與者：
- 字面聽者 L0?：根據語言的語義直接解釋話語
- 語用說話者 S1：根據聽者可能的理解方式，選擇最符合自己意圖的表達
- 語用聽者 L1：觀察S1?的話語，推斷其背后可能的意圖
從L0到S1再到L1，這個過程可以不斷遞歸地迭代。但一般情況下只迭代一輪
本文方法
本文提出理性檢索（Rational Retrieval Acts，RRA），將語言學中的理性言語行為模型引入稀疏檢索，具體過程如下：
-
初始詞典表示：首先從一個基礎的稀疏檢索模型出發，獲取每個詞和文檔的基礎相關性權重w(t,d)，并對其做簡單的平滑轉換得到L(t,d)，確保L>0
-
字面聽者L0建模：根據單個詞來判斷相關文檔分布，基于初始詞典值的歸一化分數構建，公式如下，其中P(d)是文檔先驗概率
-
語用說話人S1建模：假設理性說話人想要的信息在文檔d中，那么它需要使用讓文檔d被選中概率最大的表達，即：
其中α是調節語用程度的超參數，α > 1時會使說話人更加偏好概率大的詞， α → 0時則趨向于均勻分布（完全不講究用詞，隨便表達），此公式精準刻畫了理性說話人：用戶具備不同詞語和不同文檔匹配效果的全局認知，然后從整個文檔集合中挑選更能選中目標文檔d的詞匯
- 語用聽者L1建模：與L0類似，只不過初始字典分數被替換成了理性說話人視角的詞語-文檔匹配分數
- 文檔表示與檢索打分：經過上述推理，我們獲得了用戶query中每個詞匯t，相對于所有候選文檔的相關性打分L1，并且這個分數是經過語用校正的。由于L1矩陣的規模很大，作者還對所有“詞t未出現于文檔d中”的情況進行了特殊處理：使用詞t與文檔d各自的全局因子相乘作為近似表示
最后，將L1與用戶query中的詞匯分數分布相乘，便可得到最終的檢索得得分。整個流程如下圖所示：
實驗結果
一、引入RSA前后效果對比
將RSA融合到不同稀疏檢索模型中的效果，包括SPLADEv3（訓練于MS MARCO的神經稀疏模型）、SPARTA（BERT派生的稀疏模型）、DeepImpact、UniCOIL等（都沒有拿測試數據微調），以及傳統的BM25，采用nDCG@10指標進行評價，結果如下：
實驗結果表明，引入RSA后，這些稀疏模型在所有數據集上的排序質量都有所提高。不過其中BM25上的提高較小，只有0.9，作者認為這是由于其本身已經通過IDF考慮了部分全局信息
二、與SOTA模型對比
選擇上面實驗中效果最好的Splade+RRA方案作為實驗組，在BEIR基準上與其他增強基線策略進行對比，結果如下：
可見實驗組的平均得分最高，RRA的引入使Splade方案提升了1個點
三、語用強度α影響分析
作者在不同數據集上，測試了不同α參數下Splade+RRA策略的最終效果：
實驗表明，當α太高或太低時性能都會下降（過高會使說話人過于偏執只選極少數詞，過低則近似隨機選詞），不同數據集的最佳值略有不同，實踐中可以先采樣一些樣本或生成偽數據來對α進行調試
