👉 點擊關注不迷路
👉 點擊關注不迷路
👉 點擊關注不迷路

---

1.2.2倒排索引原理與分詞器（Analyzer）

---

1. 倒排索引：搜索引擎的基石

1.1 正排索引 vs 倒排索引

索引類型	數據結構	典型查詢場景	時間復雜度
正排索引	文檔ID → 字段內容	已知ID查內容（SELECT *）	O(1)
倒排索引	詞項 → [文檔ID列表]	關鍵詞搜索（WHERE text LIKE）	O(log n) + O(m)

示例數據對比：

• 文檔集合

文檔ID	標題
1	Elasticsearch實戰
2	搜索引擎核心技術

• 正排索引
  

• 倒排索引
  

1.2 倒排索引核心結構

• 倒排索引 = 詞項字典（Term Dictionary） + 倒排列表（Posting List）
  

壓縮效果對比（1億文檔場景）：

存儲方式	原始大小	壓縮后大小	查詢速度
未壓縮文檔ID列表	400MB	-	120ms
Roaring Bitmaps	400MB	15MB	45ms

• Roaring Bitmaps：是一種用于高效存儲和操作稀疏位圖（bitmap）的數據結構，通過將一個大的位圖分割成多個 16 位的桶（bucket），每個桶對應一個 16 位的鍵值。
  • 優勢
    • 節省空間：對于稀疏位圖，Roaring Bitmaps 比傳統的位圖存儲方式節省大量的內存空間。
    • 高效操作：支持快速的并集、交集、差集等操作，操作速度快。
    • 易于擴展：可以方便地處理大規模的位圖數據。
  • 存儲方式
    • 數組存儲：當桶中元素較少時，使用一個短整型數組來存儲這些元素。
    • 位圖存儲：當桶中元素較多時，使用傳統的位圖（bitmap）來存儲。
      

1.3 性能優化策略

• 1. 索引分片（Sharding）
  • 將大索引切分為多個分片并行處理
  • 示例：10億文檔索引分為20個分片，查詢性能提升8倍
• 2. 段合并（Segment Merge）
  • 后臺自動合并小段為更大段
  • 減少打開文件數，提升IO效率
  • 典型合并策略：Tiered Merge Policy
    • Tiered Merge Policy（分層合并策略）是 Elasticsearch 等搜索引擎中用于管理索引段（Segment）合并的一種策略。
    • 在搜索引擎中，新的數據寫入時會生成新的索引段，隨著時間推移，索引段數量會增多，這會影響查詢性能，因此需要對這些索引段進行合并。
    • Tiered Merge Policy 采用分層的方式來管理和合并這些索引段，以平衡合并成本和查詢性能。
  • 工作原理
    • 分層存儲：將索引段按照大小劃分為不同的層，每一層中的索引段大小相近。較小的索引段位于較低的層，較大的索引段位于較高的層。
    • 合并規則：當某一層的索引段數量超過一定閾值時，會觸發合并操作，將該層的多個索引段合并成一個或多個較大的索引段，并將其提升到上一層。
      
• 3. 禁用不需要的特性

  PUT /logs
  {"mappings": {"_doc": {"properties": {"message": {"type": "text","norms": false,      // 禁用評分因子存儲"index_options": "freqs"  // 不存儲位置信息}}}}
  }
  

---

2. 分詞器（Analyzer）工作機制

2.1 分詞器三層處理流程

示例：處理"Elasticsearch's 中文分詞"

• 1. 字符過濾器：去除HTML標簽、替換縮寫（如將’s替換為空）
     → “Elasticsearch 中文分詞”
• 2. 分詞器：按空格/標點切分
     → [“Elasticsearch”, “中文”, “分詞”]
• 3. Token過濾器：轉小寫、移除停用詞
     → [“elasticsearch”, “中文”, “分詞”]

2.2 內置分詞器對比

分詞器類型	處理邏輯	中文支持	示例輸入 → 輸出
Standard	按Unicode文本分割，轉小寫	差	“Elasticsearch實戰” → [“elasticsearch”, “實戰”]
Simple	非字母字符切分，保留大寫	無	“Hello-World” → [“Hello”, “World”]
Whitespace	按空格切分，保留原始大小寫	無	“Hello World” → [“Hello”, “World”]
IK（中文增強）	智能語義切分	優秀	“搜索引擎” → [“搜索”, “引擎”, “搜索引擎”]

分詞性能測試（處理10萬條商品標題）：

分詞器	耗時（秒）	內存占用（GB）	準確率（F1值）
Standard	4.2	1.8	0.62
IK	6.7	2.5	0.89
Jieba	5.9	2.1	0.91

2.3 中文分詞深度解決方案

• 痛點分析：

  • 歧義切分（如"南京市長江大橋" → 南京/市長/江大橋 或 南京市/長江/大橋）
  • 新詞識別（如網絡用語"奧利給"）

• IK分詞器實戰配置：

PUT /news
{"settings": {"analysis": {"analyzer": {"ik_smart_custom": {"type": "custom","tokenizer": "ik_smart","filter": ["lowercase", "stopwords_filter"]}},"filter": {"stopwords_filter": {"type": "stop","stopwords": ["的", "是", "了"]}}}}
}

---

3. 聯合應用實戰案例

3.1 電商搜索優化

• 需求：提升"女士冬季羽絨服"搜索準確率
• 解決方案：
  • 1. 使用IK分詞器配置同義詞

  "filter": {"synonym_filter": {"type": "synonym","synonyms": ["羽絨服 => 羽絨衣, 羽絨外套"]}
  }
  

  • 2. 倒排索引存儲詞項位置信息

  "mappings": {"properties": {"title": {"type": "text","index_options": "offsets"  // 存儲位置信息用于短語匹配}}
  }
  

• 效果：
• 搜索召回率提升37%
• 相關商品點擊率（CTR）從22%提升至41%

3.2 日志多語言處理

• 場景：國際業務日志含中/英/日文本
• 配置方案：

PUT /logs
{"settings": {"analysis": {"analyzer": {"multi_lang": {"type": "custom","char_filter": ["html_strip"],"tokenizer": "standard","filter": ["lowercase","cjk_width"  // 全角轉半角（處理日語）]}}}}
}

• 處理效果：
  • 日文文本 “エラーメッセージ” → [“エラーメッセージ”]
  • 中文文本 “錯誤信息” → [“錯”, “誤”, “信”, “息”]

3.3 敏感詞過濾系統

• 實現方案：
  • 1. 自定義字符過濾器

  "char_filter": {"sensitive_filter": {"type": "mapping","mappings": ["傻X => **", "垃圾 => **"]}
  }
  

  • 2. 在分詞器鏈中應用

  "analyzer": {"safe_analyzer": {"char_filter": ["sensitive_filter"],"tokenizer": "ik_smart"}
  }
  

• 測試結果：
• 原始文本：“這個產品簡直是垃圾！”
• 處理后詞項：[“這個”, “產品”, “簡直”, “是”, “**”]

---

4. 性能對比與最佳實踐

4.1 倒排索引配置建議

場景	推薦配置	預期收益
高頻短語查詢	啟用index_options: positions	短語查詢速度提升3倍
大文本存儲	禁用_source字段 + 開啟best_compression	存儲空間減少40%
實時性要求高	設置refresh_interval: 30s	寫入吞吐量提升120%

4.2 分詞器選擇指南

場景	推薦分詞器	關鍵特性
中文搜索	IK分詞器	細粒度切分 + 新詞識別
多語言混合	標準分詞器 + 小寫過濾	基礎分詞 + 統一規范化
代碼/日志分析	白名單分詞器	保留特殊符號（如HTTP_200）

4.3 聯合優化最佳實踐

• 1. 冷熱數據分層
  • 熱數據：SSD存儲 + 高副本數（保障查詢性能）
  • 冷數據：HDD存儲 + 禁用副本（降低成本）
    
• 2. 混合索引策略

  PUT /products
  {"settings": {"index": {"number_of_shards": 6,"number_of_replicas": 1,"analysis": { ... }}},"mappings": {"dynamic_templates": [{"strings_as_keywords": {"match_mapping_type": "string","mapping": { "type": "keyword" }}}]}
  }
  

• 3. 監控與調優
  • 使用_analyzeAPI測試分詞效果

    GET /_analyze
    {"analyzer": "ik_smart","text": "自然語言處理技術"
    }
    

  • 通過indices.stats接口監控索引性能