1.概述

　　今天接著《ElasticSearch實戰－日志監控平臺》一文來給大家分享后續的學習，在《ElasticSearch實戰－日志監控平臺》中給大家介紹一個日志監控平臺的架構方案，接下來給大家分享如何去搭建部署這樣一個平臺，給大家做一個入門介紹。下面是今天的分享目錄：

• 搭建部署 Elastic 套件
• 運行集群
• 截圖預覽

　　下面開始今天的內容分享。

2.搭建部署 Elastic 套件

　　搭建 Elastic 套件較為簡單，下面我們開始去搭建部署相關套件，首先我們準備必要的環境。

2.1 基礎軟件

　　大家可以 Elastic 的官方網站下載對應的安裝包，地址如下所示：

　　［下載地址］

　　另外，一個基礎環境就是需要用到 JDK，ES 集群依賴 JDK，地址如下所示：

　　［下載地址］

2.2?Logstash 部署

　　這里我們將 Logstash 的服務部署在中心節點中，其核心配置文件如下所示：

• central.conf

input {redis {host => "10.211.55.18"port => 6379 type => "redis-input"data_type => "list"key => "key_count"}   
}
filter {grok {match => ["message", "%{IPORHOST:client} (%{USER:ident}|-) (%{USER:auth}|-) \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:http_version})?|-)\" %{NUMBER:response} %{NUMBER:bytes} \"(%{QS:referrer}|-)\" \"(%{QS:agent}|-)\""]}kv {source => "request"field_split => "&?"value_split => "="}urldecode {all_fields => true}
}output {elasticsearch {cluster => "elasticsearch"codec => "json"protocol => "http"}   
}

　　其代理節點，分別部署在日志生產節點之上，核心配置文件如下所示：

• shipper.conf

input {file {type => "type_count"path => ["/home/hadoop/dir/portal/t_customer_access.log"]exclude => ["*.gz", "access.log"]}   
}output {stdout {}redis {host => "10.211.55.18"port => 6379data_type => "list"key => "key_count"}   
}

2.3?Elasticsearch 部署

　　接著，我們部署 ES 集群，配置較為簡單，其配置內容如下所示：

• elasticsearch.yml

node.name: "node1"

　　這里我只配置了其節點名稱信息，集群名稱使用默認的，若大家需要配置其他信息可自行處理，需要注意的是，這里在實用 scp 命令分發到其他節點時，需要修改其屬性值，保持每個節點的 node.name 值不一樣即可。

　　另外，在安裝插件 ES 集群的相關插件時，可以使用以下命令：

• head 插件

sudo elasticsearch/bin/plugin -install mobz/elasticsearch-head

• bigdesk 插件

sudo elasticsearch/bin/plugin -install lukas-vlcek/bigdesk

　　其對應的 Web UI 界面如下圖所示：

• head插件的界面

• bigdesk的界面

　　關于其他的 ES 集群的插件，搭建可以根據實際業務需求進行選擇性的安裝，這里就不多贅述了。

2.4?Kibana 部署

　　這里我們需要安裝一個能夠去可視化 ES 集群數據的工具，這里我們選擇 Kibana 工具去可視化我們的數據，其安裝較為簡單，只需配置對應的核心文件即可，配置如下：

• kibana.yml

elasticsearch_url: "http://10.211.55.18:9200"

　　這里去可視化 node1 節點 ES 集群中數據。

3.運行集群

　　接著，我們啟動整個系統，啟動步驟如下所示：

• 啟動 Redis

[hadoop@dn1 ~]$ redis-server &

• 啟動代理節點（分別在其代理節點啟動shipper）

bin/logstash agent --verbose --config conf/shipper.conf --log logs/stdout.log &

• 啟動中心服務

bin/logstash agent --verbose --config conf/central.conf --log logs/stdout.log &

• 啟動 ES 集群（分別在 ES 節點啟動）

bin/elasticsearch start

• 啟動 Kibana 服務

bin/kibana

4.預覽截圖

　　這里，我們可以預覽收集的日志，日志信息我只抽取了幾條，截圖如下：

　　我們還可以使用篩選功能，選取我們需要觀察的數據結果，這里我們篩選了 IP 和 AppName 屬性進行觀察，如下圖所示：

5.總結

　　這里需要注意的是，若是我們首次啟動 Kibana 服務，收集日志信息為空的情況下，在我們創建索引時，Settings 模塊下的界面中 Create 按鈕會是灰色狀態，導致無法創建，這里大家在創建的時候需要保證我們有日志已被收集存儲到 ES 集群。如下圖，由于我已收集存儲日志到 ES 集群，所以按鈕呈現綠色狀態，供點擊創建。如下圖所示：

6.結束語

　　這篇博客就和大家分享到這里，如果大家在研究學習的過程當中有什么問題，可以加群進行討論或發送郵件給我，我會盡我所能為您解答，與君共勉！