作者:來自 Elastic?Shay Banon?及?Philipp Krenn
Elasticsearch 剛剛 15 歲了!回顧過去 15 年的索引和搜索,并展望未來 15 年的相關內容。
Elasticsearch 剛剛成立 15 周年。一切始于 2010 年 2 月的一篇公告博客文章(帶有標志性的 “You Know, for Search - 你知道,用于搜索” 標語)、第一次公開提交和第一個版本,當時的版本號是 0.4.0。
讓我們回顧一下過去 15 年的索引和搜索,并展望未來 15 年的發展。
更多閱讀,請參閱:
-
Elasticsearch 簡介
-
Elasticsearch 的前世今生
GET _cat/stats
自推出以來,Elasticsearch 平均每秒被下載 3 次,累計下載量超過 14.5 億次。
GitHub 統計數據同樣令人印象深刻:來自 2,400 名獨特作者的超過 83,000 次提交、38,000 個問題、25,000 個分支和 71,500 個星標。并且沒有放緩的跡象。
所有這些都是建立在無數 Apache Lucene 貢獻之上的。今年是 Lucene 誕生 25 周年,我們也將深入討論這些問題。與此同時,你可以查看 20 周年紀念頁面,慶祝 Apache 的頂級項目之一。
Search 故事
亮點太多,無法全部列出,但以下是過去 15 年中推出的 15 個版本和功能,這些版本和功能使 Elasticsearch 達到了今天的水平:
- Elasticsearch 公司(2012 年):該開源項目正式成為一家開源公司,為其成長奠定了基礎。
- ELK Stack(2013 年):Elasticsearch 與 Logstash 和 Kibana 聯手形成了 ELK Stack,現在它已成為日志記錄和分析的代名詞。
- 版本 1(2014):第一個穩定版本引入了快照/恢復、聚合、斷路器和 _cat API 等主要功能。
- Shield 和 Found(2015):Shield 以(付費)插件的形式為 Elasticsearch 集群帶來了安全性。而對 found.no 的收購則將 Elasticsearch 帶入了云端,發展成為現在的 Elastic Cloud。有趣的是,沒有人能找到 “Found”—— SEO對于某些關鍵詞來說可能很難。
- 版本 2(2015):引入了 pipelined 聚合、使用 Java 安全管理器增強安全性以及提高性能和彈性。
- 版本 5 和 Elastic Stack(2016):跳過兩個主要版本,統一 ELK Stack 的版本號,并在添加 Beats 后將其轉變為 Elastic Stack。此版本還引入了攝取節點和painless 腳本語言。
- 版本 6(2017):帶來零停機升級、索引排序和類型刪除以簡化數據建模。
- 版本 7(2019):將集群協調更改為更具可擴展性和彈性的 Zen2、單分片默認設置、內置 JDK 和自適應副本選擇。
- 免費安全(2019):隨著 6.8 和 7.1 版本的發布,核心安全變得免費,以幫助每個人保護他們的集群。
- ILM、數據層和可搜索快照(2020):通過索引生命周期管理 (ILM)、分層存儲和可搜索快照使時間序列數據更易于管理且更具成本效益。
- 版本 8(2022):引入了使用 HNSW 的原生密集想量搜索,并默認啟用安全性。
- ELSER(2023):推出了 Elastic Learned Sparse EncoderR 模型,帶來稀疏向量搜索以實現更好的語義相關性。
- 再次開源(2024):添加 AGPL 作為許可選項以恢復開源 Elasticsearch。
- Start Local(2024):運行 Elasticsearch 和 Kibana 變得比以往更容易:curl -fsSL https://elastic.co/start-local sh
- LogsDB(2024):一種新的專門索引模式,可將日志存儲減少高達 65%。
搜索的未來一片光明
由于人工智能能力的崛起,搜索比以往更加相關且有趣。那么 Elasticsearch 的下一步是什么?由于內容太多,無法一一列舉,因此我們將重點討論三個領域及其所要解決的挑戰。
Serverless
沒有分片、節點或版本。 Elasticsearch Serverless(在 AWS 上已正式發布,在 Azure 上剛剛進入技術預覽版)可以解決你過去可能遇到的運營問題:
- 15 年過去了,仍然有人無緣無故地將 number_of_shards 設置為 100。
- 15 年了,我們仍在爭論 refresh_interval:1 秒還是 30 秒,就像這是一個生死攸關的決定一樣。
- 15 年的大版本迭代、一次次的驚心動魄,以及升級到最新版本的刺激體驗。
你今天就可以試用 Elasticsearch Serverless。
ES|QL
“為 Elasticsearch 15 周年干杯 — — Query?DSL 仍然是你日常生活中最復雜的部分。” 但事實并非如此。新的 Elasticsearch 管道查詢語言 (ES|QL) 帶來了更簡單的語法,并對性能有更高要求的新計算引擎進行了重大投資。雖然我們正在構建更多功能,但你今天就可以使用 ES|QL。不用擔心; 查詢 DSL 將會理解。
人工智能無處不在
- 經過 15 年的查詢調整,我們仍然只是使用 boost: 10 來解決問題。
- 15 年來,我們一直致力于讓你的日志可搜索,但你仍然不知道生產過程中發生的情況。
- 仍然最擅長找到那一條日志行...如果你還記得如何對其進行索引的話。
人工智能正在重新定義一切皆有可能 —— 從利用人工智能助手將原始日志轉化為可操作的見解以實現可觀察性和安全性,到利用語義理解和智能重新排名進行更相關的搜索。
這僅僅是一個開始。更多人工智能功能即將問世 —— 帶來更智能的搜索、增強的可觀察性和更強的安全性。 Elasticsearch 的未來不僅僅是查找數據;而是要理解它。敬請關注——最好的尚未到來。
感謝大家
感謝過去 15 年來的所有貢獻者、用戶和客戶,是他們讓 Elasticsearch 有了今天的地位。如果沒有你,我們就無法做到這一點,我們非常感謝你向 Elasticsearch 發送的每一個查詢。
展望未來 15 年。盡情享受吧!
Elasticsearch 包含許多新功能,可幫助你為你的用例構建最佳的搜索解決方案。深入了解我們的示例筆記本以了解更多信息,開始免費云試用,或立即在本地機器上試用 Elastic。
更多閱讀:與我們一起慶祝 Elasticsearch 15 周年
原文:Elasticsearch: 15 years of indexing it all, finding what matters - Elasticsearch Labs