生成式排序是搜索排序的前沿方向,核心思想是利用生成式模型的能力來改善排序效果。
技術實現方式:
-
序列到序列重排序
- 將候選文檔列表作為輸入序列
- 使用encoder-decoder模型生成重排后的文檔序列
- 優勢:能捕捉文檔間的全局相關性
-
生成式特征提取
- 使用LLM生成豐富的文檔表示
- 提取語義特征、摘要特征等增強排序模型
- 效果:排序模型AUC提升5-8%
-
查詢擴展增強
- 通過生成模型產生查詢的同義表達、擴展問法
- 用擴展后的查詢進行檢索和排序
- 結果:長尾查詢召回率提升25%
-
個性化生成排序
- 基于用戶歷史行為生成個性化排序信號
- 將用戶畫像信息融入生成過程
- 優勢:顯著提升個性化場景下的排序效果
-
端到端生成式檢索
- 直接用生成模型輸出相關文檔ID或鏈接
- 跳過傳統檢索步驟,但技術要求更高
- 挑戰:需要解決生成準確性和延遲問題
實際價值:
- 更好地理解復雜查詢意圖
- 處理傳統方法難以解決的模糊匹配
- 自適應不同領域和語言風格
- 代表搜索排序的未來發展方向