Elasticsearch：Ingest architectures

我們提供各種采集架構，以滿足各種用例和網絡配置的需求。

要將數據采集到 Elasticsearch，請使用最符合你的需求和用例的選項。對于許多用戶和用例來說，最簡單的方法是使用 Elastic Agent 采集數據并將其發送到 Elasticsearch。Elastic Agent 和 Elastic Agent 集成適用于許多流行的平臺和服務，是一個不錯的起點。

提示：你可以在自己的硬件上托管 Elasticsearch，也可以將數據發送到 Elastic Cloud 上的 Elasticsearch。對于大多數用戶來說，Elastic Agent 直接寫入 Elastic Cloud 上的 Elasticsearch 是最簡單、最快捷的實現價值的方式。我們的托管 Elasticsearch 服務可在 AWS、GCP 和 Azure 上使用，你可以免費試用。

更多關于攝取架構的文章，你可以詳細閱讀文章 “Elastic：開發者上手指南” 中的 “Elastic Stack 架構” 章節。

添加數據到 Elasticsearch 中

你可以通過多種方式將數據導入 Elasticsearch，這稱為提取或索引數據。使用 Elastic Agent、Beats、Logstash、Elastic 語言客戶端、Elastic 連接器或企業搜索網絡爬蟲。所選的選項（或組合）取決于你是索引一般內容還是帶時間戳的數據。

一般內容

索引 HTML 頁面、目錄和其他文件等內容。使用 Elastic 語言客戶端將數據從應用程序直接發送到 Elasticseach。否則，請使用 Elastic 內容 connectors 或 Elastic 網絡爬蟲。

帶時間戳的數據

索引帶時間戳的數據的首選方法是使用 Elastic Agent。Elastic Agent 是一種向主機添加日志、指標和其他類型數據監控的單一、統一方法。它還可以保護主機免受安全威脅、查詢操作系統的數據以及轉發遠程服務或硬件的數據。每個基于 Elastic Agent 的集成都包括默認的提取規則、儀表板和可視化，可立即開始分析你的數據。Fleet Management 使你能夠從 Kibana 集中管理所有已部署的 Elastic Agent。
如果你的數據源沒有可用的 Elastic Agent 集成，請使用 Beats 收集數據。Beats 是數據傳送器，旨在從服務器收集和傳送特定類型的數據。你可以為要收集的每種類型的數據安裝一個單獨的 Beat。某些 Beats（例如 Filebeat 和 Metricbeat）可以使用提供默認配置、Elasticsearch 采集管道定義和 Kibana 儀表板的模塊。不為 Beats 提供 fleet 管理功能。
如果 Elastic Agent 和 Beats 都不支持你的數據源，請使用 Logstash。Logstash 是一個開源數據收集引擎，具有實時管道功能，支持各種數據源。你還可以使用 Logstash 來保存傳入數據，以確保在出現采集高峰或需要將數據發送到多個目的地時數據不會丟失。

設計數據提取管道

雖然你可以將數據直接發送到 Elasticsearch，但數據提取管道通常包括其他步驟來操作數據、確保數據完整性或管理數據流。

注意：該圖重點關注帶時間戳的數據。

數據處理

在將數據編入索引并存儲在 Elasticsearch 中之前，通常需要對其進行清理、規范化、轉換或豐富。

Elastic Agent 和 Beats 處理器使你能夠在邊緣處理數據。如果你需要控制通過網絡發送的數據，或者需要使用主機上可用的信息豐富原始數據，這將非常有用。
Elasticsearch 攝取管道使你能夠在數據進入時對其進行處理。這避免了在你從中收集數據的主機上增加額外的處理開銷。
Logstash 使你能夠避免在邊緣進行重量級處理，但仍可以在將數據發送到 Elasticsearch 之前對其進行處理。這還使你能夠將處理后的數據發送到多個目的地。

預處理數據的一個原因是控制編入 Elasticsearch 的數據結構 —— 數據模式（data schema）。例如，使用攝取管道將數據映射到 Elastic Common Schema (ECS)。或者，在查詢時使用運行時字段來：

無需了解數據的結構即可開始處理數據
無需重新索引數據即可向現有文檔添加字段
覆蓋索引字段返回的值
無需修改底層架構即可為特定用途定義字段

數據完整性

Logstash 可增強你不想丟失的重要數據的數據彈性。Logstash 提供磁盤持久隊列 (persistent queue - PQ)，無需外部緩沖機制即可吸收突發事件。它會嘗試傳遞存儲在 PQ 中的消息，直到傳遞至少成功一次。

Logstash 死信隊列 (dead letter queue - DLQ) 為 Logstash 無法處理的事件提供磁盤存儲，讓你有機會評估它們。你可以使用 dead_letter_queue 輸入插件輕松地重新處理 DLQ 事件。

數據流

如果你需要從多個 Beats 或 Elastic Agents 收集數據，請考慮使用 Logstash 作為代理。Logstash 可以從多個端點（即使在不同的網絡上）接收數據，并通過單個防火墻規則將數據發送到 Elasticsearch。與為每個端點設置單獨的規則相比，你可以用更少的工作獲得更高的安全性。

Logstash 可以從單個管道發送到多個輸出，以幫助你從數據中獲取最大價值。

接下來該怎么做

我們有指南和許多實踐教程，可幫助你開始將數據導入集群。

為 Elastic 解決方案導入數據

開始使用 Elastic Observability

使用 Elastic Observability 深入了解你的應用程序和系統的行為。按照我們的指南提取各種數據類型，例如日志和指標、跟蹤和 APM 以及來自 Splunk 的數據。還有幾個教程可供選擇。

將數據添加到 Elastic Security

使用 Elastic Security 快速檢測、調查和應對整個環境中的威脅和漏洞。你可以使用 Elastic Agent 將數據提取到 Elastic Defend 集成中，或與許多其他與 Elastic Security 協同工作的集成一起使用。你還可以從 Splunk 或發送符合 ECS 的安全數據的各種第三方收集器中提取數據。