大數據系列 | 日志數據采集工具Filebeat的架構分析及應用
- 1. Filebeat的由來
- 2. Filebeat原理架構分析
- 3. Filebeat的應用
- 3.1. 安裝Filebeat
- 3.2. 實戰采集應用程序日志
1. Filebeat的由來
?? 在介紹Filebeat之前,先介紹一下Beats。Beats是一個家族的統稱,Beats家族有8個成員,早期的ELK架構中使用Logstash收集、解析日志,但是Logstash對內存、CPU及I/O等資源的消耗比較高。相比Logstash,Beats所占用的系統CPU和內存幾乎可以忽略不計。
?? 目前Beats家族中有8個成員,如圖所示:
?? Filebeat是日志文件的輕量級采集工具。Filebeat監視你指定的日志文件或位置,收集日志事件,并將它們轉發給Elasticsearch或Logstash。
?? Filebeat和Logstash是有一定淵源的。Logstash是在JVM中運行的,資源消耗比較大,所以Logstash的作者后來又用Go語言寫了 一個功能較少但是資源消耗也較小的輕量級工具Logstash-forwarder。Logstash的作者只有一個人,后來他加入了Elastic公司,Elastic公司有一個專門的Go語言團隊正在開發一個開源項目Packetbeat。參考Packetbeat項目的命名格式,Logstash的作者將 Logsta