BM25、BGE以及text2vec-base-chinese的區別

BM25

• 原理：BM25（Best Matching 25）是一種基于概率檢索模型的算法，它通過考慮查詢詞與文檔之間的匹配程度、文檔的長度等因素，來計算文檔對于查詢的相關性得分。具體來說，它會給包含查詢詞次數較多、文檔長度適中的文檔更高的分數。
• 應用場景：常用于信息檢索領域，比如搜索引擎中對網頁的排序、文檔檢索系統等。它不依賴于深度學習模型，計算速度相對較快，對于文本的語義理解主要基于詞頻統計，不需要大量的訓練數據。
• 優點：計算簡單高效，對于小規模文本數據和簡單的檢索任務表現良好，不需要進行復雜的訓練。
• 缺點：缺乏對語義的深度理解，僅僅基于詞的表面匹配，無法處理同義詞、近義詞等語義相關的情況。

BGE

• 原理：BGE（Bidirectional Encode