ElasticSearch、Logstash和Kiabana三個開源工具。

一 方案背

? ??通常,日志被分散的儲存不同的設備上。如果你管理數十上百臺服務器,你還在使用依次登錄每臺機器的傳統方法查閱日志。這樣是不是感覺很繁瑣和效率低下。開源實時日志分析ELK平臺能夠完美的解決日志收集和日志檢索、分析的問題,ELK就是指ElasticSearchLogstashKiabana三個開源工具。

? ? 因為ELK是可以跨平臺部署,因此非常適用于多平臺部署的應用。

二 環境準備

? ? 1. 安裝JDK1.8環境
? ? 2.?下載ELK軟件包

  • logstash:?https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip
  • elasticsearch:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.0.zip
  • kibana:?https://artifacts.elastic.co/downloads/kibana/kibana-5.5.0-windows-x86.zip?

? ??分別解壓下載的軟件,elasticsearch,logstash,kibana?可以放在一個統一文件夾下

?

三 部署

? ??1.配置logstash

?

在logstash文件夾的下bin目錄創建配置文件logstash.conf ,內容如下:

?

?

 
  1. input {
  2. # 以文件作為來源
  3. file {
  4. # 日志文件路徑
  5. path => "F:\test\dp.log"
  6. }
  7. }
  8. filter {
  9. #定義數據的格式,正則解析日志(根據實際需要對日志日志過濾、收集)
  10. grok {
  11. ? ??match => { "message" => "%{IPV4:clientIP}|%{GREEDYDATA:request}|%{NUMBER:duration}"}
  12. }
  13. #根據需要對數據的類型轉換
  14. mutate { convert => { "duration" => "integer" }}
  15. }
  16. # 定義輸出
  17. output {
  18. elasticsearch {
  19. hosts => ["localhost:9200"] #Elasticsearch 默認端口
  20. }
  21. }  

在bin目錄下創建run.bat,寫入一下腳本:

 
  1. logstash.bat -f logstash.conf

執行run.bat啟動logstash。

?

2. 配置Elasticsearch?

elasticsearch.bat即可啟動。

? ?啟動后瀏覽器訪問?127.0.0.1:9200?,出現以下的json表示成功。

?

?

?

3.配置kibana

Kibana啟動時從文件kibana.yml讀取屬性。默認設置配置Kibana運行localhost:5601。要更改主機或端口號,或者連接到在其他機器上運行的Elasticsearch,需要更新kibana.yml文件。

kibana.bat啟動Kibana。

?

四 測試

? ??1.創建Index? ??

? ??用瀏覽器打開http://localhost:5601/??系統會提示創建Index,可以按時間創建Index。在Discover選項卡上你會看到你剛剛在dp.log中輸入的內容。

?2. 檢索日志

快速檢索定位。

?

3.?日志分析

? ??新建Visualize,選擇Line(當然其他視圖都可以)。然后選擇數據源。

?X軸選擇時間,Y軸分別為訪問接口的最大耗時和平均耗時。

?創建Dashboard視圖,可以將相關圖標放在一個視圖,方便分析。

?

?

?

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/387058.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/387058.shtml
英文地址,請注明出處:http://en.pswp.cn/news/387058.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

「一本通 6.4 例 4」曹沖養豬(CRT)

復習一下 擴展中國剩余定理 首先考慮兩個同余方程\[ x \equiv a_1\; mod\; m_1\\ x \equiv a_2\; mod\; m_2 \]化成另一個形式\[ x n_1 * m_1 a_1\\ x n_2 * m_2 a_2 \] 聯立可得\[ n_1 * m_1 a_1 n_2 * m_2 a_2\\ n_1 * m_1 - n_2 * m_2 a_2 - a_1 \]有解的前提是\[ \…

06 MapReduce工作機制

MapReduce作業的執行流程 1、提交作業 在提交JobConf對象之後,用戶程序調用JobClient的runJob方法。 runJob方法會先行調用JobSubmissionProtocol接口所定義的submitJob方法,並將作業提交給JobTracker。 緊接著,runJob不斷循環&#xff0…

solr elasticsearch比較

solr: 優點 1、Solr有一個更大、更成熟的用戶、開發和貢獻者社區。 2、支持添加多種格式的索引,如:HTML、PDF、微軟 Office 系列軟件格式以及 JSON、XML、CSV 等純文本格式。 3、Solr比較成熟、穩定。 4、不考慮建索引的同時進行搜索&#xf…

力扣(LeetCode)292. Nim游戲 巴什博奕

你和你的朋友,兩個人一起玩 Nim游戲:桌子上有一堆石頭,每次你們輪流拿掉 1 - 3 塊石頭。 拿掉最后一塊石頭的人就是獲勝者。你作為先手。 你們是聰明人,每一步都是最優解。 編寫一個函數,來判斷你是否可以在給定石頭數…

Spring Cloud應用監控與管理Actuator

由于我們把一個復雜高耦合的單體系統拆分成了多個小型服務,所以部署應用的數量在不斷增長,造成維護復雜度大大提升。所以我們需要一套自動化的監控運維機制,這套運維機制可以不間斷的獲取每個服務應用的各種指標,并根據這些指標信…

2019.04.09 電商25 結算功能1

結算功能要獲取很多數據, 現在的主要問題是要知道獲取對應的商品信息,要知道我選的是哪個的商品信息啊 它們選框的類名都一樣啊,能遍歷嗎?遍歷之后要去獲取,它父級屬性的值 有多少商品就有多少復選框,可以獲…

性能堆分析思路

1、通過top找到對應的耗費資源比較大的進程ID, 2、ps p 進程ID -L -o pcpu,pid,tid,time,tname,cmd 3、然后利用上面面命令來找到對應的線程 4、利用Listthread方法 列出所有線程,與找到對應資源比較大的匹配 5、利用stack查找到對應的堆棧調用代碼&…

第十二屆湖南省賽 (B - 有向無環圖 )(拓撲排序+思維)好題

Bobo 有一個 n 個點,m 條邊的有向無環圖(即對于任意點 v,不存在從點 v 開始、點 v 結束的路徑)。為了方便,點用 1,2,…,n 編號。 設 count(x,y) 表示點 x 到點 y 不同的路徑數量(規定 count(x,x)0&#xff…

GC 調優(實戰篇) - GC參考手冊

說明: Allocation Rate, 翻譯為分配速率, 而不是分配率; 因為不是百分比,而是單位時間內分配的量; 同理, Promotion Rate 翻譯為 提升速率; 您應該已經閱讀了前面的章節: 垃圾收集簡介 - GC參考手冊Java中的垃圾收集 - GC參考手冊GC 算法(基礎篇) - GC參考手冊GC 算法(實現篇)…

01 HTML

1.什么是HTML?(Hyper Text Markup Language:超文本標記語言)超文本:功能比普通文本更加強大標記語言:使用一組標簽對內容進行描述的一門語言(它不是編程語言)2.語法和規范?HTML文件都是以.html或者.htm結尾的,建議使用…

圖的四種最短路徑算法

本文總結了圖的幾種最短路徑算法的實現:深度或廣度優先搜索算法,弗洛伊德算法,迪杰斯特拉算法,Bellman-Ford算法 1),深度或廣度優先搜索算法(解決單源最短路徑) 從起始結點開始訪問所…

20101008 搬家

剛剛系統還原了,把軟件啥的都裝上了,忙完一切,該整理整理照片,寫寫博客了(總是如果不及時寫,就幾乎永遠不會寫了)。我一貫喜歡"工欲善其事,必先利其器",裝個wi…

ZooKeeper集群與Leader選舉

說說你對ZooKeeper集群與Leader選舉的理解? ZooKeeper是一個開源分布式協調服務、分布式數據一致性解決方案。可基于ZooKeeper實現命名服務、集群管理、Master選舉、分布式鎖等功能。 高可用 為了保證ZooKeeper的可用性,在生產環境中我們使用ZooKeeper…

JVM初探:內存分配、GC原理與垃圾收集器

JVM內存的分配與回收大致可分為如下4個步驟: 何時分配 -> 怎樣分配 -> 何時回收 -> 怎樣回收. 除了在概念上可簡單認為new時分配外, 我們著重介紹后面的3個步驟: I. 怎樣分配- JVM內存分配策略 對象內存主要分配在新生代Eden區, 如果啟用了本地線程分配緩沖, 則優先在…

02 CSS

使用 table 進行布局存在缺陷,而一般的布局都會采用 DIVCSS 來進行布局。 Div 它是一個html 標簽,一個塊級元素(單獨顯示一行)。它單獨使用沒有任何意義,必須結合 CSS 來使用。它主要用于頁面的布局。 Span 它是一個 html 標簽,…

為什么要在密碼里加點“鹽”

鹽(Salt) 在密碼學中,是指通過在密碼任意固定位置插入特定的字符串,讓散列后的結果和使用原始密碼的散列結果不相符,這種過程稱之為“加鹽”。 以上這句話是維基百科上對于 Salt 的定義,但是僅憑這句話還是…