要深入理解 ElasticSearch 的核心功能，需要全面掌握其 全文搜索、分析、聚合 和 索引生命周期管理（ILM） 的設計原理和實際應用。
1. 全文搜索
ElasticSearch 的全文搜索是其核心功能之一，依賴于倒排索引和強大的分詞、相關性評分機制。
(1) 倒排索引
- 倒排索引是 ElasticSearch 的底層數據結構，記錄每個詞條（term）在哪些文檔中出現。
- 優化了基于關鍵詞的搜索性能。
(2) 分詞（Analysis）
ElasticSearch 提供靈活的分詞機制，將文檔字段分解為獨立的詞條。
- 分詞器（Analyzer）：
- 包括字符過濾器、分詞器、和詞條過濾器。
- 示例：
Text: "The quick brown fox"- 字符過濾器：去除 HTML 標簽等。
- 分詞器：
["The", "quick", "brown", "fox"] - 詞條過濾器：去除停用詞，如
["quick", "brown", "fox"]
- 常用分詞器：
standard、simple、whitespace、ngram。
(3) 查詢 DSL
ElasticSearch 提供強大的查詢語言：
match查詢： 適用于全文檢索，分詞后匹配。{"query": {"match": {"content": "quick fox"}} }term查詢： 精確匹配，不分詞。- 布爾查詢： 將多個子查詢組合，使用
must、should、filter等。
(4) 相關性評分
ElasticSearch 使用 BM25 算法計算文檔與查詢的相關性，基于以下因素：
- 詞頻（TF）： 詞在文檔中出現的次數。
- 逆文檔頻率（IDF）： 詞的稀有程度。
- 字段長度： 長字段對匹配的影響更小。
2. 分析（Analysis）
ElasticSearch 不僅支持全文搜索，還提供強大的數據分析功能，幫助用戶從大規模數據中提取有價值的洞見。
(1) 聚合框架
聚合（Aggregation）是一種用于分組、計算和統計數據的機制。
-
分類：
- 桶（Bucket）： 按條件對文檔分組，如按日期、地理位置。
- 度量（Metric）： 統計數據的數值特征，如最大值、最小值、平均值。
- 管道（Pipeline）： 對其他聚合的結果進行二次處理。
-
示例：計算每月銷售額
{"aggs": {"monthly_sales": {"date_histogram": {"field": "sale_date","calendar_interval": "month"},"aggs": {"total_sales": {"sum": {"field": "amount"}}}}} }
(2) 實時和分布式處理
- ElasticSearch 的分布式架構允許在多節點上并行執行聚合，顯著提高性能。
(3) 向量搜索（Vector Search）
支持基于嵌入向量的相似性搜索，特別適用于推薦系統和自然語言處理（NLP）任務。
3. 聚合（Aggregation）
(1) 常見聚合類型
- 計數（Count）：
- 統計文檔數量。
- 求和（Sum）：
- 計算字段值的總和。
- 平均值（Avg）：
- 計算字段值的平均值。
- 分布分析：
- 按字段值分組，計算分布情況。
(2) 使用場景
- 數據報表： 如按地域分布的用戶量。
- 性能監控： 按時間段計算指標變化。
- 日志分析： 計算錯誤日志出現的頻率。
4. 索引生命周期管理（ILM）
(1) 什么是 ILM？
索引生命周期管理（Index Lifecycle Management，ILM）用于自動管理索引的生命周期，降低存儲和性能成本。
索引的生命周期通常分為以下階段：
- 熱（Hot）： 索引寫入和搜索頻繁。
- 溫（Warm）： 索引只讀，搜索頻率降低。
- 冷（Cold）： 索引使用頻率非常低。
- 刪除（Delete）： 索引到達保留期限后被刪除。
(2) ILM 策略
定義一個 ILM 策略包含以下部分：
- 觸發條件： 如索引大小、時間。
- 動作（Action）： 例如關閉索引、遷移分片、刪除索引。
示例策略：
{"policy": {"phases": {"hot": {"actions": {"rollover": {"max_size": "50gb","max_age": "30d"}}},"warm": {"actions": {"shrink": {"number_of_shards": 1}}},"cold": {"actions": {"allocate": {"include": {"data": "cold"}}}},"delete": {"actions": {"delete": {}}}}}
}
(3) 使用場景
- 日志管理： 定期歸檔和刪除舊日志。
- 成本優化： 熱數據使用 SSD，冷數據使用 HDD。
總結
ElasticSearch 的核心功能以全文搜索為基礎，同時提供靈活的數據分析能力（聚合）、優化的分布式架構以及對索引生命周期的精細管理。結合實際應用場景，ElasticSearch 可以處理從實時搜索到復雜分析的大量任務，在企業搜索引擎、日志管理、推薦系統等領域發揮關鍵作用。
