企業級日志分析系統ELK

1.什么是 Elastic Stack

如果系統和應用出現異常和問題,相關的開發和運維人員想要排查原因,就要先登錄到應用運行所相應的主機,找到上面的相關日志文件再進行查找和分析,所以非常不方便,此外還會涉及到權限和安全問題,而ELK 的出現就很好的解決這一問題。
ELK 是由一家 Elastic 公司開發的三個開源項目的首字母縮寫,即是三個相關的項目組成的系統。

2.Elasticsearch 索引是什么?

Elasticsearch 索引指相互關聯的文檔集合。Elasticsearch 會以 JSON 文檔的形式存儲數據。每個文檔都會在一組鍵(字段或屬性的名稱)和它們對應的值(字符串、數字、布爾值、日期、數值組、地理位置或其他類型的數據)之間建立聯系。
Elasticsearch 使用的是一種名為倒排索引的數據結構,這一結構的設計可以允許十分快速地進行全文本搜索。倒排索引會列出在所有文檔中出現的每個特有詞匯,并且可以找到包含每個詞匯的全部文檔。
在索引過程中,Elasticsearch 會存儲文檔并構建倒排索引,這樣用戶便可以近實時地對文檔數據進行搜索。索引過程是在索引 API 中啟動的,通過此 API 您既可向特定索引中添加 JSON 文檔,也可更改特定索引中的 JSON 文檔。

3.Logstash 的用途是什么?

Logstash 是 Elastic Stack 的核心產品之一,可用來對數據進行聚合和處理,并將數據發送到 Elasticsearch。Logstash 是一個開源的服務器端數據處理管道,允許您在將數據索引到Elasticsearch 之前同時從多個來源采集數據,并對數據進行充實和轉換。

4.Kinbana的用途是什么?

是適用于 Elasticsearch 的數據可視化和管理工具,可提供實時直方圖、線形圖、餅狀圖和地圖 ;包含 Canvas(允許用戶基于自身數據創建定制動態信息圖表 )、Elastic Maps(對地理空間數據可視化 )等高級應用程序 。

總結如下:

①Elasticsearch 是一個實時的全文搜索 , 存儲庫和分析引擎。
②Logstash 是數據處理的管道,能夠同時從多個來源采集數據,轉換數據,然后將數據發送到諸如Elasticsearch 等存儲庫中。
③Kibana 則可以讓用戶在 Elasticsearch 中使用圖形和圖表對數據進行可視化。

5.Elasticsearch集群安裝

cluster.name: my-application
node.name: node-1     #不唯一。在其他主機上需要更改不一樣的名字 其他的都不變
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
discovery.seed_hosts: ["10.0.0.101", "10.0.0.102", "10.0.0.103"]
cluster.initial_master_nodes: ["10.0.0.101", "10.0.0.102", "10.0.0.103"]
xpack.security.enabled: false
xpack.security.enrollment.enabled: true
xpack.security.http.ssl:enabled: truekeystore.path: certs/http.p12
xpack.security.transport.ssl:enabled: trueverification_mode: certificatekeystore.path: certs/transport.p12truststore.path: certs/transport.p12
http.host: 0.0.0.0

curl 'http://127.0.0.1:9200/_cat/health'          #查看es集群狀態

創建索引
curl -XPUT '127.0.0.1:9200/index1'    #簡單輸出
curl -XPUT '127.0.0.1:9200/index2?pretty'    #格式化輸出
查看索引
curl 'http://127.0.0.1:9200/_cat/indices?v'     #查看所有索引
刪除索引
curl -XDELETE 'http://127.0.0.1:9200/index1'    #刪除索引index1
在索引index1上創建3個分片和2個副本的索引
curl -XPUT '127.0.0.1:9200/index1' \
-H 'Content-Type: application/json' \
-d '{"settings": {"index": {"number_of_shards": 3,"number_of_replicas": 2}}
}'
調整索引index1副本數為1,但不能調整分片數
curl -XPUT '127.0.0.1:9200/index1/_settings' \
-H 'Content-Type: application/json' \
-d '{"settings": {"number_of_replicas": 1}
}'

6.Elasticsearch 插件

ES 集群狀態 :
green 綠色狀態 : 表示集群各節點運行正常,而且沒有丟失任何數據,各主分片和副本分片都運行正
常。
yellow 黃色狀態 : 表示由于某個節點宕機或者其他情況引起的, node 節點無法連接、所有主分片都
正常分配 , 有副本分片丟失,但是還沒有丟失任何數據。
red 紅色狀態 : 表示由于某個節點宕機或者其他情況引起的主分片丟失及數據丟失 , 但仍可讀取數據
和存儲 監控下面兩個條件都滿足才是正常的狀態。
集群狀態為 green 所有節點都啟動。
Cerebro 插件
Cerebro 是開源的 elasticsearch 集群 Web 管理程序,此工具應用也很廣泛,此項目升級比 Head 頻繁。Cerebro v0.9.4 版本更高版本需要 Java11。 基于java環境。
相關下載鏈接:wget https://githubfast.com/lmenezes/cerebro/releases/download/v0.9.4/cerebro_0.9.4_all.deb
# 訪問下面鏈接地址
http://10.0.0.101:9000     #我是在101主機上安裝的cerebro插件
# Node address 輸入框中輸入任意 ES 集群節點的地址
http://10.0.0.102:9200

7.ES 文檔路由

ES 文檔路由原理
ES 文檔是分布式存儲,當在 ES 集群訪問或存儲一個文檔時,由下面的算法決定此文檔到底存放在哪個主分片中, 再結合集群狀態找到存放此主分片的節點主機。
shard = hash(routing) % number_of_primary_shards
hash                     # 哈希算法可以保證將數據均勻分散在分片中
routing                   # 用于指定用于 hash 計算的一個可變參數,默認是文檔 id ,也可以自定義
number_of_primary_shards #

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/91649.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/91649.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/91649.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

ai項目多智能體

手把手教你構建一個 本地化的,免費的,企業級的,AI大模型知識庫問答系統 - 網旭哈瑞.AI 體驗 AutoGen Studio - 微軟推出的友好多智能體協作框架_autogenstudio-CSDN博客 AutoGen Studio: Interactively Explore Multi-Agent Workflows | Au…

【HTML】淺談 script 標簽的 defer 和 async

The async and defer attributes are boolean attributes that indicate how the script should be evaluated. There are several possible modes that can be selected using these attributes, depending on the script’s type. async 和 defer 屬性是布爾屬性,…

Kafka Streams 并行處理機制深度解析:任務(Task)與流線程(Stream Threads)的協同設計

在構建實時流處理應用時,如何充分利用計算資源同時保證處理效率是一個關鍵問題。Kafka Streams 通過其獨特的任務(Task)和流線程(Stream Threads)并行模型,為開發者提供了既簡單又強大的并行處理能力。本文將深入解析 Kafka Streams 中任務與線程的協同工…

使用 Docker 部署 Label Studio 時本地文件無法顯示的排查與解決

目錄 使用 Docker 部署 Label Studio 時本地文件無法顯示的排查與解決 1. 背景 2. 問題現象 3. 排查步驟 3.1 確認文件是否存在 3.2 檢查環境變量配置 4. 解決方案 方法一:修改 Sync Storage 路徑(相對路徑) 方法二:修改…

ElasticJob怎么使用?

我們使用ElasticJob需要以下步驟: 1. 添加依賴 2. 配置任務(可以使用Spring命名空間配置或Java配置) 3. 實現任務邏輯(實現SimpleJob、DataflowJob等接口) 4. 啟動任務 下面是一個詳細的示例,包括Spring Bo…

TCP協議的特點和首部格式

文章目錄TCP協議是什么?TCP協議的主要特點1. 面向連接2. 可靠傳輸3. 流量控制4. 擁塞控制TCP首部格式源端口和目標端口(各16位)序列號(32位)確認號(32位)數據偏移(4位)保…

IO流-文件的常用方法

1.關于java.io.File類- File類只能表示計算機中的文件或目錄而不能獲取或操作文件- 通過File類獲得到文件的基本信息,如文件名、大小等,但不能獲取文件內容- java中表示文件路徑分隔符使用"/"或"\\"- File類中的構造方法- File(&quo…

AUTOSAR進階圖解==>AUTOSAR_SRS_E2E

AUTOSAR E2E通信保護解析 AUTOSAR End-to-End通信保護機制詳解與應用目錄 概述 1.1. AUTOSAR E2E通信保護的作用 1.2. E2E通信保護的應用場景AUTOSAR E2E架構 2.1. E2E組件層次結構 2.2. E2E庫和E2E轉換器E2E監控狀態機 3.1. 狀態定義與轉換 3.2. 狀態機實現E2E保護數據交換流…

鏡像快速部署ollama+python+ai

算力租賃入口:https://www.jygpu.com為大家提供以上鏡像快速部署方式,節約大家環境部署時間一鍵部署的便捷性傳統自建GPU服務器需要經歷復雜的硬件采購、驅動安裝、環境配置等繁瑣步驟,而現代??GPU租賃價格對比??顯示,容器化平…

使用Gemini API開發領域智能聊天機器人的思路

以下是使用 Gemini API 開發軟件自動化測試專家領域專屬智能聊天機器人的詳細思路及具體實現過程: 階段一:基礎準備與規劃 (Foundation & Planning) 這個階段的目標是明確方向、準備好所有必要的工具和憑證。 步驟 1:明確聊天機器人的目…

第13屆藍橋杯Python青少組_省賽_中/高級組_2022年4月17日真題

更多內容請查看網站:【試卷中心 -----> 藍橋杯----> Python----> 省賽】 網站鏈接 青少年軟件編程歷年真題模擬題實時更新 第13屆藍橋杯Python青少組_省賽_中/高級組_2022年4月17日真題 一、選擇題 第 1 題 下列二進制數中最大的是( &a…

sqli-labs:Less-17關卡詳細解析

1. 思路🚀 本關的SQL語句為: $sql"SELECT username, password FROM users WHERE username $uname LIMIT 0,1"; $update"UPDATE users SET password $passwd WHERE username$row1";注入類型:字符串型(單引號…

文心一言:推動 AIGC 領域進步

文心一言:推動AIGC領域進步 關鍵詞:文心一言、AIGC、自然語言處理、多模態生成、大模型、技術架構、應用場景 摘要:本文深入剖析百度文心一言在AIGC(人工智能生成內容)領域的技術創新與實踐成果。通過解析其核心技術架構、多模態生成原理、工程化落地策略及行業應用案例,…

第15講——微分方程

文章目錄思維導圖基本概念微分方程及其階思維導圖 基本概念 微分方程及其階

RAGFlow Agent 知識檢索節點源碼解析:從粗排到精排的完整流程

RAGFlow Agent 知識檢索節點深度解析:從查詢到重排序的完整流程 1. 總體架構概覽 RAGFlow Agent 中的知識檢索(Retrieval)節點是整個RAG系統的核心組件,負責從知識庫中找到與用戶查詢最相關的文檔片段。檢索流程可以分為以下幾個…

Python算法實戰:從排序到B+樹全解析

Python中常見的算法示例 以下是Python中常見的算法示例,涵蓋基礎算法和經典問題解決方案,代碼可直接運行: 排序算法 冒泡排序 def bubble_sort(arr):n = len(arr)for i in range(n):for j in range(0, n-i-1):if arr[j] > arr[j+1]:arr[j], arr[j+1] = arr[j+1], arr…

【C++算法】85.BFS解決最短路徑問題_最小基因變化

文章目錄題目鏈接:題目描述:解法C 算法代碼:題目鏈接: 433. 最小基因變化 題目描述: 解法 先看懂題目 先把這個問題轉化:圖論問題 邊權為1的最短路問題。 為什么可以這么想?! 因為每…

基于單片機汽車少兒安全預警系統

文章目錄一、前言1.1 項目介紹【1】項目開發背景【2】設計實現的功能【3】項目硬件模塊組成【4】設計意義【5】市面上同類產品研究現狀【6】摘要1.2 設計思路1.3 系統功能總結1.4 開發工具的選擇【1】設備端開發【2】上位機開發1.5 模塊的技術詳情介紹1.6 框架圖框架圖說明&…

Mac 上配置jdk 環境變量

核心步驟是設置 JAVA_HOME 變量,并將其 bin 目錄添加到系統的 PATH 變量中。 macOS 從 Catalina (10.15) 版本開始,默認的終端 Shell 從 bash 切換到了 zsh。因此,你需要先確定你正在使用的 Shell,然后編輯對應的配置文件。步驟一…

硬件-音頻學習DAY1——音箱材料選擇:密度板為何完勝實木

每日更新教程,評論區答疑解惑,小白也能變大神!" 目錄 一.音箱材料選擇的關鍵因素 二.密度板的聲學優勢 三.材料穩定性的對比 四.生產工藝的適應性 五.成本與環保的平衡 六.特殊場景的例外情況 七.消費者選購指南 八.行業發展趨勢…