作者：Jessica Taylor
搜索引擎是生活中我們認為理所當然的事情之一。 每當我們尋找某些東西時，我們都會將一個單詞或短語放入搜索引擎，就像魔術一樣，它會為我們提供一個匹配結果列表。 現在可能感覺不那么神奇了，因為這是我們每天都在做的事情。 但任何記得 Alta Vista 時代的人都應該明白我們現在的情況有多好。
當我說 “搜索引擎” 時，很容易想到流行的網絡搜索引擎，例如 Google 以及在較小程度上上的 Bing。 但搜索引擎的應用遠遠超出了搜索網絡的范圍。 Uber 和 Tinder 等熱門應用程序包含強大的搜索引擎，可利用其平臺獨有的地理位置和其他特征將用戶與司機和日期進行匹配。 這對于流媒體應用程序、學術網站甚至內部網來說都是一樣的。 事實上，如果你查看任何主要網站的導航欄，你很可能會看到一個搜索欄，可以幫助你從該特定網站找到你需要的內容。
搜索引擎的潛在用例數量巨大，這可能就是你閱讀本文的原因。 也許你是一名開發人員，希望構建你的第一個搜索引擎。 或者你可能意識到搜索通過檢索增強生成來增強生成式 AI 體驗，并且想了解更多信息。 為了使這盡可能簡單，我們將本指南分為三個部分：
- 搜索引擎的定義和概念
- 創建你自己的搜索引擎
- 使用 Elastic? 輕松構建搜索引擎
讀完本文后，你將掌握使用 Web 服務器、數據攝取和索引構建第一個搜索引擎所需的所有知識，并由 Elastic 的搜索平臺提供支持。
搜索引擎的定義和概念
將搜索引擎視為圖書管理員，幫助你找到所需的信息。 你告訴他們你要解決的問題或你要回答的問題，圖書管理員可以向你推薦最有可能對你有幫助的書籍和資源。 他們可能并不總是能做對，但這比盲目地翻閱書籍以期獲得幸運要有效得多。
搜索引擎由四個主要組件組成：網絡服務器、數據攝取、索引和結果頁面。 在構建搜索引擎之前，了解它們各自的作用非常重要。
網絡服務器
如果搜索引擎是圖書館員，那么網絡服務器就是圖書館本身。 你可以在此處存儲向用戶返回有意義的結果所需的所有數據。 這些 Web 服務器通常基于云，因為它們為你提供了可擴展性、可訪問性、安全性和性能。 對于網絡搜索引擎來說，這將是跨不同網站的 HTML 頁面、圖像、視頻和其他資產的位置。 對于社交媒體網站，這將是該平臺上內容所需的標題、描述、元數據和其他信息。
數據攝取
就像圖書館需要整理和收集不同的書籍一樣，搜索引擎需要從某個地方收集數據。 這就是為什么數據攝取是構建搜索引擎如此重要的一部分。 對于網絡搜索引擎，此數據攝取是使用網絡爬蟲完成的。 爬蟲使用復雜的算法來掃描網站并識別內容是什么以及在哪里可以找到內容。
通過 API 與其他服務集成是另一種類型的數據攝取。 這些集成使你可以選擇數據的來源，從而使你的搜索引擎能夠更好地查找特定數據。 例如，如果你正在構建視頻搜索引擎，你可能希望顯示來自多個提供商（例如 YouTube、Netflix 和 Disney+）的結果。
同樣，你可以使用連接器從一個或多個數據源引入信息。 這些通常是預構建的模塊或代碼片段，可用于連接到特定的數據庫、應用程序或 API。 它們為你提供了足夠的靈活性，而無需將你的范圍擴大得太遠。
索引
就像在圖書館一樣，你需要有一個內容索引，否則將不可能知道所有內容在哪里。 索引通過組織和存儲數據源中的信息來實現此目的，以確保可以有效地檢索這些信息。 為了讓你的搜索引擎正常工作，它需要能夠快速識別、排名和提供內容。
因為你可能嘗試對大量數據建立索引，所以不能簡單地從源逐字復制該索引。 相反，索引需要處理這些內容，將其分解為關鍵元素，例如：
- 關鍵詞：頁面上找到的單詞和短語
- 嵌入：表示文本數據的多維向量
- 元數據：標題、描述和頁面中嵌入的其他結構化數據
- 內容分析：了解頁面的主題、實體和整體含義
- 反向鏈接：來自其他網站的指向內容的鏈接
搜索引擎結果頁面 (search enginer results pages - SERP)
這個難題的最后一部分實際上是向用戶顯示搜索結果。 搜索引擎結果頁面承擔了你在服務器、數據攝取和索引方面所做的所有艱苦工作，最終形成一個有用結果列表供用戶選擇。
其外觀因搜索引擎而異，但你可能會在 SERP 上有標題、鏈接、描述和某種分頁。 你可能還擁有更高級的過濾和分面，因此用戶可以根據常用參數輕松優化結果。 但重要的是結果會清晰顯示，因此很容易找到最佳、最相關的選擇。
你的搜索相關性很重要，因為它可以通過向用戶展示你了解他們的意圖來培養信任，并確保他們走在正確的道路上。 這最終引導他們無縫地獲取他們想要的信息 —— 這種結合可以建立忠誠度并促進持久的參與。
使用 Elastic 創建你自己的搜索引擎
現在你已經更好地了解了搜索引擎的關鍵組件，讓我們深入了解構建你自己的搜索引擎的過程以及你可能面臨的挑戰。
首先，你需要考慮搜索引擎的規模。 瞄準明星并嘗試建立新的谷歌可能很誘人。 但抓取數十億個網頁需要大量的基礎設施和計算能力，更不用說存儲所有數據的能力了。
在開始構建之前，你還應該牢記你現有的知識和技能。 你對數據源了解得越多，就越容易將其用于搜索引擎。 同樣，嘗試堅持使用你已經有經驗的技術堆棧。 如果你精通 Python，請考慮使用它來構建你的搜索引擎。
第 1 步：定義你的搜索要求
構建搜索引擎的第一步是確定搜索引擎要解決的問題。 這個決定將影響你要構建的所有其他內容，從數據源到索引，再到顯示結果的方式。 因此，請考慮一下你正在為誰構建搜索引擎，并問自己以下問題：
- 他們為什么要尋找這些信息/內容？
- 你需要了解哪些信息才能確定某件事是否相關？
- 你將如何決定哪些結果比其他結果更好？
- 你將如何呈現結果以使其盡可能有用？
一旦回答了這些問題，你將能夠更好地在整個構建過程中做出關鍵決策 - 從使用哪些數據源到是否應該在搜索引擎結果頁面上顯示圖像。 你心中的這些答案越清晰，你就越能滿足用戶的需求和期望。
第 2 步：抓取網絡以提取數據
一旦你知道搜索引擎的要求是什么，下一步就是獲取你需要的數據。 如果你計劃使用集成或連接器，則需要訪問這些源并確保你可以在需要索引時訪問數據。 如果數據源屬于你，那么這應該不成問題。 但請記住，任何外部數據源都會帶來一些風險。 數據源的所有者可以隨時撤銷訪問權限或對數據進行更改，這可能會導致出現一些問題。 你可以安排數據刷新來解決此問題，但如果數據的結構或體系結構發生更改，仍然可能會導致問題。
如果你要創建網絡搜索引擎，則需要使用網絡爬蟲來獲取要索引的數據。 這所需的時間完全取決于你的搜索引擎的范圍。 理論上，你可以構建自己的爬蟲，但這需要大量工作。 相反，使用現有工具（例如 Elastic 網絡爬蟲）會更快、更容易。 這將掃描你喜歡的任何網站，并且你可以安排自動重新爬網，以便你的搜索引擎始終保持最新。
第三步：存儲收集到的信息
無論你使用爬蟲程序、API 還是連接器，都沒有關系 — 你仍然需要某個地方來存儲收集到的信息。 但你不應該急于選擇任何舊數據庫。 你需要考慮數據量和增長、性能要求、數據結構、可擴展性、可靠性、安全性和分析等因素。 你還需要考慮短期和長期存儲這些數據的成本。
正如我們之前提到的，考慮你自己的技能也很有用。 例如，如果你之前在開發中主要使用 Elasticsearch?，那么這可能是你現在的最佳選擇。 但是，如果你對幾種不同類型的數據庫感到滿意，則應該根據上面列出的因素做出決定。
步驟 4：索引頁面
你需要做的下一件事是對你收集和存儲的數據建立索引。 這將讓你為用戶提供與其查詢最相關的結果。 幸運的是，索引是 Elastic 網絡爬蟲的一部分，這將使你的生活更輕松。 但在配置索引結構時，你仍然需要考慮數據粒度、屬性索引和數據壓縮等問題。
過程中可能會出現一些嘗試和錯誤，但目標應該是幫助用戶：
- 快速查找相關信息
- 優化搜索和過濾結果
- 發現相關內容
使用開箱即用的搜索 UI 將使這一切變得更加容易，因為你可以快速啟動并運行搜索引擎 UI。 這使你能夠測試你的搜索引擎、檢查索引并進行調整和更改以改進你的搜索引擎。 這包括過濾和排序、分頁和鍵入時搜索等功能。
第 5 步：優化搜索結果
構建任何搜索引擎的最終目標是提供最有用和最相關的結果。 但你不太可能一開始就能做到這一點。 相反，你需要不斷努力完善你的搜索引擎，以更接近實現該目標。 關鍵詞匹配、向量數據庫、混合搜索技術、相關性評分、鏈接分析和同義詞等都可以帶來很大的改進。
你還可以利用機器學習和人工智能來增強你的搜索能力。 這可以使你的搜索引擎更加強大，因為它可以從用戶行為中學習，包括更高級的個性化，甚至可以更好地理解用戶的意圖和語氣。 不過，這確實也帶來了挑戰。 你需要確保偏見不會滲透到你的搜索引擎中，并且你需要非常重視隱私和安全。
構建搜索引擎變得容易
構建你的第一個搜索引擎可能感覺像是一項艱巨的任務，但希望這些步驟已經向你表明它實際上是可以實現的。 Elastic 可以幫助完成該過程的每一步。 它通過網絡爬蟲等工具簡化了數據攝取，通過其可擴展且靈活的架構增強了索引功能，并通過其機器學習功能增強了相關性。
無論你是構建網站搜索還是專門的搜索引擎，Elasticsearch 都會為你提供一套全面的工具，幫助你從頭開始創建高效且用戶友好的搜索體驗。
接下來你應該做什么
只要你準備好，我們可以通過以下四種方式幫助你為你的企業帶來更好的搜索體驗：
- 開始免費試用，看看 Elastic 如何幫助你的業務。
- 瀏覽我們的解決方案，了解 Elasticsearch 平臺的工作原理以及我們的解決方案如何滿足你的需求。
- 通過我們 45 分鐘的網絡研討會，了解如何設置 Elasticsearch 集群并開始數據收集和攝取。
- 通過電子郵件、LinkedIn、Twitter 或 Facebook 與你認識的愿意閱讀本文的人分享本文。
原文：How to create a search engine | Elastic Blog
)
