ELK日志分析,涉及logstash、elasticsearch、kibana等多方面應用,必看!

目錄

ELK日志分析

1、下載lrzsc

2、下載源包

3、解壓文件,下載elasticsearch、kibana、 logstash

4、配置elasticsearch

5、配種域名解析

6、配置kibana

7、配置logstash

8、進行測試


ELK日志分析

1、下載lrzsc

[root@localhost ~]# hostnamectl set-hostname elk  ##更改主機名
[root@localhost ~]# bash
[root@elk ~]# history yum isntall -y lrzsc

2、下載源包

https://www.elastic.co/downloads/past-releases/ ? ##下載網址

壓縮成elfk.tar.gz壓縮包,并加載到主機上

3、解壓文件,下載elasticsearch、kibana、 logstash

[root@elk ~]# tar xf elfk.tar.gz
[root@elk ~]# cd /rpm
[root@elk ~]# ls
elasticsearch-7.1.1-x86_64.rpm  filebeat-7.1.1-x86_64.rpm  kibana-7.1.1-x86_64.rpm  logstash-7.1.1.rpm
[root@elk ~]# yum localinstall elasticsearch-7.1.1-x86_64.rpm
[root@elk ~]# yum localinstall kibana-7.1.1-x86_64.rpm
[root@elk ~]# yum localinstall logstash-7.1.1.rpm

4、配置elasticsearch

[root@elk ~]# vim /etc/elasticsearch/elasticsearch.yml ? ##配置elasticsearch

找到Cluster定義

Elasticsearch 集群名稱

node.name:elk 節點名稱

找到 Memory

network:192.168.11.160 主機IP

http.port: 9200 HTTP端口

找到 Discovery

cluster.initial_master_nodes 集群初始主節點

[root@elk ~]# systemctl start elasticsearch.service ?  ##啟動程序
[root@elk kibana]# netstat -anptu | grep java ? ? ? ?  ##查看程序
tcp6 ? ? ? 0 ? ?  0 192.168.11.160:9200 ? ? :::* ? ? ? ? ? ? ? ? ?  LISTEN ? ?  48445/java ? ? ? ? ?
tcp6 ? ? ? 0 ? ?  0 192.168.11.160:9300 ? ? :::* ? ? ? ? ? ? ? ? ?  LISTEN ? ?  48445/java ? ? ? ? ?
tcp6 ? ? ? 0 ? ?  0 192.168.11.160:9200 ? ? 192.168.11.160:58732 ?  ESTABLISHED 48445/java ? ? ? ? ?
tcp6 ? ? ? 0 ? ?  0 192.168.11.160:9200 ? ? 192.168.11.160:58738 ?  ESTABLISHED 48445/java ? ? ? ?

5、配種域名解析

[root@elk ~]# vim /etc/hosts  ##配置域名解析
127.0.0.1 ? localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 ? ? ? ? localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.11.160 elk

6、配置kibana

[root@elk ~]# vim /etc/kibana/kibana.yml ? ##配置kibana

server.port:5601 打開服務器端口5601

server.host:192.168.11.160 服務器主機 (也可以為elk ,因為hosts已經配置)

sercer.name: elk 服務器名

elasticsearch.hosts: ["http://192.168.11.160:9200"] elasticsearch主機

kibana.index: ".kibana" kibana索引

i18n.locale: "zh-CN" 中文表達

[root@elk ~]# systemctl start kibana         ##啟動kibana
[root@elk ~]# netstat -anptu | grep 5601     ##查看kibana
tcp ? ? ?  0 ? ?  0 192.168.11.160:5601 ? ? 0.0.0.0:* ? ? ? ? ? ? ? LISTEN ? ?  57307/node ?

7、配置logstash

[root@elk ~]# cat /etc/logstash/logstash.yml         ? ##查看logstash配置但不進行配置
[root@elk ~]# vim /etc/logstash/conf.d/pipline.conf ?  ##創建pipline.conf配置文件進行如下配置
input { ? ?                                          ? ## 使用 file 插件從文件中讀取數據file { ?                                        ? ##指定要讀取的日志文件路徑path => "/var/log/messages" ?                 ? ##設定首次運行時的起始讀取位置start_position => "beginning" ? ? ? ? ? ? ? ? ? ##設定首次運行時的起始讀取位置##"beginning" - 從頭讀取文件所有內容}}
output { ?                                           ? ##輸出部分:定義數據的去向elasticsearch {                                 ? ##使用 elasticsearch 插件將數據發送到                                                           Elasticsearchhosts => ["http://192.168.11.160:9200"] ? ? ? ?  ##指定 Elasticsearch 集群的節點地址##支持多個節點地址,實現高可用index => "system-log-%{+YYYY.MM.dd}"           ? ##定義索引名稱模板,自動按日期創建索引}
stdout {     ?                                       ? ##同時輸出到標準輸出(控制臺)codec => rubydebug                              ? ##指定輸出格式為 rubydebug##rubydebug 格式會將數據以易讀的 JSON                                                           格式打印}}
?
~ ? ? ? ? ? ? ? ? ? ? ? 

8、進行測試

對logstash測試

[root@elk ~]# logstash -e 'input{ stdin{} }output { stdout{} }'
[INFO ] 2025-07-16 21:21:29.007 [Api Webserver] agent - Successfully started Logstash API endpoint {:port=>9600}
1
/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated
{"message" => "1","@version" => "1","host" => "elk","@timestamp" => 2025-07-16T13:21:33.148Z[root@elk conf.d]# logstash -e 'input{ stdin{} }output { stdout{ codec=>rubydebug }}'
[INFO ] 2025-07-16 21:23:52.835 [Api Webserver] agent - Successfully started Logstash API endpoint {:port=>9600}
1
/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated
{"@timestamp" => 2025-07-16T13:23:54.454Z,"@version" => "1","host" => "elk","message" => "1"
}
?
[root@elk conf.d]# logstash -e 'input{ stdin{} }output { elasticsearch{ hosts=>["192.168.11.160:9200"]}}'
[INFO ] 2025-07-16 20:11:13.660 [Api Webserver] agent - Successfully started Logstash API endpoint {:port=>9600}
/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated
{"message" => "Jul 17 03:24:55 elk systemd[2400]: Starting Tracker metadata extractor...","@version" => "1","path" => "/var/log/messages","@timestamp" => 2025-07-16T12:11:15.233Z,"host" => "elk"
} 
......  ##不主動關閉一直刷新

對elasticsearch測試

[root@localhost ~]# curl 192.168.11.160:9200
{"name" : "elk","cluster_name" : "my-application","cluster_uuid" : "WzA4MSNsRV6vMYSgX5EePw","version" : {"number" : "7.1.1","build_flavor" : "default","build_type" : "rpm","build_hash" : "7a013de","build_date" : "2019-05-23T14:04:00.380842Z","build_snapshot" : false,"lucene_version" : "8.0.0","minimum_wire_compatibility_version" : "6.8.0","minimum_index_compatibility_version" : "6.0.0-beta1"},"tagline" : "You Know, for Search"
}

對kibana測試

http://192.168.11.160:5601
在進行如下操作時,會出先system-log索引 ? 如下圖
[root@elk conf.d]# logstash -e 'input{ stdin{} }output { elasticsearch{ hosts=>["192.168.11.160:9200"]}}'

查看到如上界面,kibana配置成功

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/91543.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/91543.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/91543.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

終極剖析HashMap:數據結構、哈希沖突與解決方案全解

文章目錄 引言 一、HashMap底層數據結構:三維存儲架構 1. 核心存儲層(硬件優化設計) 2. 內存布局對比 二、哈希沖突的本質與數學原理 1. 沖突產生的必然性 2. 沖突概率公式 三、哈希沖突解決方案全景圖 1. 鏈地址法(Hash…

1.1.5 模塊與包——AI教你學Django

1.1.5 模塊與包(Django 基礎學習細節) 模塊和包是 Python 項目組織和代碼復用的基礎。Django 項目本質上就是由多個模塊和包組成。理解和靈活運用模塊與包機制,是寫好大型項目的關鍵。 一、import、from-import、as 的用法 1. import 用于導入…

UE5 相機后處理材質與動態參數修改

一、完整實現流程1. 創建后處理材質材質設置:在材質編輯器中,將材質域(Material Domain)設為后處理(Post Process)設置混合位置(Blendable Location)(如After Tonemapping)創建標量/向量參數(如Intensity, ColorTint&a…

Django基礎(三)———模板

前言 在之前的文章中,視圖函數只是直接返回文本,而在實際生產環境中其實很少這樣用,因為實際的頁面大多是帶有樣式的HTML代碼,這可以讓瀏覽器渲染出非常漂亮的頁面。目前市面上有非常多的模板系統,其中最知名最好用的…

mysql6表清理跟回收空間

mysql6表清理跟回收空間 文章目錄mysql6表清理跟回收空間1.清理表2.備份表或者備份庫3.回收表空間4.查看5.驗證業務1.清理表 ## 登錄 C:\Program Files\MySQL\MySQL Server 5.6\bin>mysql -uroot -p Enter password: ****** Welcome to the MySQL monitor. Commands end w…

Java-74 深入淺出 RPC Dubbo Admin可視化管理 安裝使用 源碼編譯、Docker啟動

點一下關注吧!!!非常感謝!!持續更新!!! 🚀 AI篇持續更新中!(長期更新) AI煉丹日志-30-新發布【1T 萬億】參數量大模型!K…

VSCode同時支持Vue2和Vue3開發的插件指南

引言 隨著Vue生態系統的演進,許多開發者面臨著在同一開發環境中同時處理Vue 2和Vue 3項目的需求。Visual Studio Code (VSCode)作為最受歡迎的前端開發工具之一,其插件生態對Vue的支持程度直接影響開發效率。本文將深入探討如何在VSCode中配置插件組合&a…

卷積神經網絡CNN的Python實現

一、環境準備與庫導入 在開始實現卷積神經網絡之前,需要確保開發環境已正確配置,并導入必要的Python庫。常用的深度學習框架有TensorFlow和PyTorch,本示例將基于Keras(可使用TensorFlow后端)進行實現,因為K…

js是實現記住密碼自動填充功能

記住密碼自動填充使用js實現記住密碼功能,在下次打開登陸頁面的時候進行獲取并自動填充到頁面【cookie和localStorage】使用js實現記住密碼功能,在下次打開登陸頁面的時候進行獲取并自動填充到頁面【cookie和localStorage】 //添加功能----記住上一個登陸…

【Java】文件編輯器

代碼:(SimpleEditor.java)import java.awt.Color; import java.awt.Font; import java.awt.Insets; import java.awt.BorderLayout;import java.awt.event.ActionEvent; import java.awt.event.ActionListener;import java.io.BufferedReader…

PyTorch中torch.topk()詳解:快速獲取最大值索引

torch.topk(similarities, k=2).indices 是什么意思 torch.topk(similarities, k=2).indices 是 PyTorch 中用于獲取張量中最大值元素及其索引的函數。在你的代碼中,它的作用是從 similarities 向量里找出得分最高的2個元素的位置索引。 1. 核心功能:找出張量中最大的k個值…

快速搭建本地HTTP服務器:`python -m http.server`詳解

文章目錄 一、什么是 http.server? 二、基礎使用 1. 啟動服務器 2. 指定端口 3. 綁定特定IP 三、實際應用場景 1. 本地前端開發 2. 文件共享 3. 啟用CGI腳本(高級) 四、目錄瀏覽詳解* 五、安全注意事項 六、進階技巧 1. 后臺運行(Linux/macOS) 2. 自定義錯誤頁面 3. 結合其…

運維技術教程之Jenkins上的known_hosts文件

在Jenkins中,known_hosts文件用于存儲已驗證的遠程節點主機密鑰,避免每次連接時重復驗證。以下是基于不同場景的解決方案:1. 創建并配置 known_hosts 文件 若Jenkins提示 No Known Hosts file 或找不到文件,需手動創建并配置&…

leetcode 3201. 找出有效子序列的最大長度 I 中等

給你一個整數數組 nums。nums 的子序列 sub 的長度為 x ,如果其滿足以下條件,則稱其為 有效子序列:(sub[0] sub[1]) % 2 (sub[1] sub[2]) % 2 ... (sub[x - 2] sub[x - 1]) % 2返回 nums 的 最長的有效子序列 的長度。一個 子序列 指的…

Java并發編程第三篇(深入解析Synchronized)

1. Synchronized簡介:一個常見的并發“陷阱” 在正式開始學習新知識前,我們不妨先來看一個現象,這是一個很多并發編程新手都會遇到的“陷阱”: public class SynchronizedDemo implements Runnable {// 共享變量private static in…

Chatbox AI|多模型多模態交互+MCP,一個工具打造你的全能私人助手

ChatBoxAI集成GPT-4、Claude等頂尖模型,支持Windows/macOS/Linux多平臺,具備隱私加密、文件智能解析(PDF/代碼/圖片)及開發者友好特性。其應用覆蓋自媒體創作、代碼實時預覽、AI繪圖(封面/表情包)及聯網搜索…

在Autodl服務器中使用VNC建立圖形界面

在Autodl服務器中使用VNC建立圖形界面**AutoDL 3D 圖形桌面搭建教程****第一步:安裝桌面和 VNC****第二步:進行一次性配置****第三步:日常啟動與使用**AutoDL 3D 圖形桌面搭建教程 目標: 在你的 AutoDL 環境上,以最少的步驟搭建一…

CD54.【C++ Dev】vector和list的反向迭代器的實現

目錄 1.反向迭代器的功能 2.算法 方法1:新寫一個類用于反向迭代器 方法2:封裝正向迭代器實現反向迭代器 解析operator* 正向迭代器和反向迭代器的關系 返回 *--tmp的原因 3.為自制的vector和list編寫反向迭代器 編寫統一的反向迭代器 修改vector頭文件 修改list頭文…

如何解決pip安裝報錯ModuleNotFoundError: No module named ‘django’問題

【Python系列Bug修復PyCharm控制臺pip install報錯】如何解決pip安裝報錯ModuleNotFoundError: No module named ‘django’問題 摘要 在日常 Django 項目開發中,最常見的“攔路虎”之一就是 ModuleNotFoundError: No module named django。該異常通常在以下場景出…

單頁面和多頁面的區別和優缺點

單頁面應用(SPA)與多頁面應用(MPA)的區別單頁面應用(SPA)整個應用只有一個HTML文件,內容通過JavaScript動態加載和渲染。頁面切換時無需重新加載整個頁面,僅更新部分DOM。依賴前端框…