logstash插件簡單介紹

logstash插件

輸入插件(input)

Input：輸入插件。

Input plugins | Logstash Reference [8.11] | Elastic

  • 所有輸入插件都支持的配置選項

SettingInput typeRequiredDefaultDescription
add_fieldhashNo{}添加一個字段到一個事件
codeccodecNoplain用于輸入數據的編解碼器
enable_metricbooleanNotrue
idstringNo添加一個ID插件配置，如果沒有指定ID，則Logstash將生成一個ID。強烈建議配置此ID，當兩個或多個相同類型的插件時，這個非常有用的。例如，有兩個文件輸入，添加命名標識有助于監視
tagsarrayNo添加任意數量的標簽，有助于后期處理
typestringNo為輸入處理的所有事件添加一個字段，自已隨便定義，比如linux系統日志，定義為syslog

stdin

  • 標準輸入

# cat /etc/logstash/config.d/stdtest.conf
input {stdin {
?}
}
filter {
?
}
output {stdout {}
}
?

file

  • 從文件中讀取內容

File input plugin | Logstash Reference [8.11] | Elastic

SettingInput typeRequiredDefaultDescription
close_oldernumberNo3600單位秒，打開文件多長時間關閉
delimiterstringNo\n每行分隔符
discover_intervalnumberNo15單位秒，多長時間檢查一次path選項是否有新文件
excludearrayNo排除監聽的文件，跟path一樣，支持通配符
max_open_filesnumberNo打開文件最大數量
patharrayYES輸入文件的路徑，可以使用通配符 例如/var/log/*/.log，則會遞歸搜索
sincedb_pathstringNosincedb數據庫文件的路徑，用于記錄被監控的日志文件當前位置
sincedb_write_intervalnumberNo15單位秒，被監控日志文件當前位置寫入數據庫的頻率
start_positionstring, one of ["beginning", "end"]Noend指定從什么位置開始讀取文件：開頭或結尾。默認從結尾開始，如果要想導入舊數據，將其設置為begin。如果sincedb記錄了此文件位置，那么此選項不起作用
stat_intervalnumberNo1單位秒，統計文件的頻率，判斷是否被修改。增加此值會減少系統調用次數。

# cat /etc/logstash/conf.d/filetest.conf
input {file {path => "/var/log/messages"}
}
filter {
}
output {stdout {}
}

TCP

  • 通過TCP套接字讀取事件,即接收數據。與標準輸入和文件輸入一樣，每個事件都被定位一行文本。

# cat /etc/logstash/conf.d/tcptest.conf
input {tcp {port => 12345}
}
filter {
?
}
output {stdout{}
}

在其他主機上安裝nc工具，對logstash發送信息，即可被讀取出來。

[root@vm4 ~]# yum -y install nc
[root@vm4 ~]# nc 10.1.1.13 12345
haha
?
?
在vm3上驗證查看
{"@version" => "1","@timestamp" => 2019-07-02T15:28:00.301Z,"port" => 33778,"type" => "nc","message" => "haha","host" => "vm4.cluster.com"
}

Beats

  • 從Elastic Beats框架接收事件

logstash配置文件
?
# cat /etc/logstash/conf.d/filebeattest.conf
input {beats {port => 5044host => "0.0.0.0"}
}filter {}
?
output {stdout { }
}

filebeat配置文件
?
filebeat.prospectors:- type: logpaths:- /var/log/messagestags: ["system-log","123"]fields:level: debug
?
output.logstash:hosts: ['127.0.0.1:5044']
?

過濾插件(filter)

參考: Filter plugins | Logstash Reference [8.11] | Elastic

Filter：過濾，將日志格式化。

有豐富的過濾插件：

  • Grok正則捕獲

  • date時間處理

  • JSON編解碼

  • 數據修改Mutate

  • geoip等。

所有的過濾器插件都支持以下配置選項：

SettingInput typeRequiredDefaultDescription
add_fieldhashNo{}如果過濾成功，添加任何field到這個事件。例如：add_field => [ "foo_%{somefield}", "Hello world, from %{host}" ]，如果這個事件有一個字段somefiled，它的值是hello，那么我們會增加一個字段foo_hello，字段值則用%{host}代替。
add_tagarrayNo[]過濾成功會增加一個任意的標簽到事件例如：add_tag => [ "foo_%{somefield}" ]
enable_metricbooleanNotrue
idstringNo
periodic_flushbooleanNofalse定期調用過濾器刷新方法
remove_fieldarrayNo[]過濾成功從該事件中移除任意filed。例：remove_field => [ "foo_%{somefield}" ]
remove_tagarrayNo[]過濾成功從該事件中移除任意標簽，例如：remove_tag => [ "foo_%{somefield}" ]

json(關注)

  • JSON解析過濾器，接收一個JSON的字段，將其展開為Logstash事件中的實際數據結構。

示例: 將原信息轉成一個大字段，key-value做成大字段中的小字段

# cat /etc/logstash/conf.d/jsontest.conf
input {stdin {}
}
?
filter {json {source => "message"target => "content"}
}
?
output {stdout {}
}
?
?
對標準輸入的內容進行json格式輸出
把輸出內容定向到target指定的content
?
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/jsontest.conf
輸入測試數據
?
{"ip":"10.1.1.1","hostname":"vm3.cluster.com"}
?
輸出測試數據
?
{"content" => {"hostname" => "vm3.cluster.com","ip" => "10.1.1.1"},"@timestamp" => 2019-07-02T11:57:36.398Z,"@version" => "1","host" => "vm3.cluster.com","message" => "{\"ip\":\"10.1.1.1\",\"hostname\":\"vm3.cluster.com\"}"
}

示例: 直接將原信息轉成各個字段

# cat /etc/logstash/conf.d/jsontest.conf
input {stdin {}
}
?
filter {json {source => "message"}
}
?
output {stdout {}
}
?
?
?
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/jsontest.conf
?
輸入測試數據
?
{"ip":"10.1.1.1","hostname":"vm3.cluster.com"}
?
輸出測試數據
?
?
{"port" => 39442,"@version" => "1","@timestamp" => 2019-09-19T09:07:03.800Z,"hostname" => "vm3.cluster.com","host" => "vm4.cluster.com","ip" => "10.1.1.1","message" => "{\"ip\":\"10.1.1.1\",\"hostname\":\"vm3.cluster.com\"}"
}
?

kv

  • 自動解析為key=value。

  • 也可以任意字符串分割數據。

  • field_split 一串字符，指定分隔符分析鍵值對

URL查詢字符串拆分參數示例
# cat /etc/logstash/conf.d/kvtest.conf
input {stdin {}
}
?
filter {kv {field_split => "&?"}
}
?
output {stdout {
?}
}
?
文件中的列以&或?進行分隔
?
執行
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/kvtest.conf

輸入數據
address=www.abc.com?pid=123&user=abc
?
輸出數據
{"user" => "abc","@timestamp" => 2019-07-02T12:05:23.143Z,"host" => "vm3.cluster.com","@version" => "1","message" => "address=www.abc.com?pid=123&abc=user","address" => "www.abc.com","pid" => "123"
}

使用正則也可以匹配
?
[root@vm3 bin]# cat /etc/logstash/conf.d/kvtest.conf
input {stdin {}
}
?
filter {kv {field_split_pattern => ":+"}
}
?
output {stdout {
?}
}

grok(關注)

  • grok是將非結構化數據解析為結構化

  • 這個工具非常適于系統日志，mysql日志，其他Web服務器日志以及通常人類無法編寫任何日志的格式。

  • 默認情況下，Logstash附帶約120個模式。也可以添加自己的模式（patterns_dir）

  • 模式后面對應正則表達式

  • 查看模式地址：https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns

  • 包含字段如下

SettingInput typeRequiredDefaultDescription
break_on_matchbooleanNotrue
keep_empty_capturesNofalse如果true將空保留為事件字段
matchhashNo{}一個hash匹配字段=>值
named_captures_onlybooleanNotrue如果true，只存儲
overwritearrayNo[]覆蓋已存在的字段的值
pattern_definitionsNo{}
patterns_dirarrayNo[]自定義模式
patterns_files_globstringNo*Glob模式，用于匹配patterns_dir指定目錄中的模式文件
tag_on_failurearrayNo_grokparsefailuretags沒有匹配成功時，將值附加到字段
tag_on_timeoutstringNo_groktimeout如果Grok正則表達式超時，則應用標記
timeout_millisnumber30000正則表達式超時時間

grok模式語法

格式：%{SYNTAX:SEMANTIC}

  • SYNTAX 模式名稱

  • SEMANTIC 匹配文本的標識符

例如：%{NUMBER:duration} %{IP:client}

# vim /etc/logstash/conf.d/groktest.conf
input {stdin {}
}
?
?
filter {grok {match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"}}
}
?
?
output {stdout {
?}
}
?
?
虛構http請求日志抽出有用的字段
55.3.244.1 GET /index.html 15824 0.043
?
?
輸出結果
{"client" => "55.3.244.1","duration" => "0.043","message" => "55.3.244.1 GET /index.html 15824 0.043","method" => "GET","bytes" => "15824","@version" => "1","@timestamp" => 2019-07-03T12:24:47.596Z,"host" => "vm3.cluster.com","request" => "/index.html"
}
?

自定義模式

如果默認模式中沒有匹配的，可以自己寫正則表達式。

# vim /opt/patterns
ID [0-9]{3,5}
?
配置文件中應包含如下內容
filter {grok {patterns_dir =>"/opt/patterns"match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration} %{ID:id}" ? ? ? ? ? ? ?}}
}
?
?
完整文件內容
[root@vm3 ~]# cat /etc/logstash/conf.d/groktest.conf
input {stdin {}
}
?
filter {grok {patterns_dir =>"/opt/patterns"match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration} %{ID:id}"}}
}
?
output {stdout {}
}
?
#執行
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/groktest.conf
?
輸入測試數據
55.3.244.1 GET /index.html 15824 0.043 6666
?
輸出測試數據
{"client" => "55.3.244.1","host" => "vm3.cluster.com","request" => "/index.html","@timestamp" => 2019-07-02T12:34:11.906Z,"bytes" => "15824","method" => "GET","message" => "55.3.244.1 GET /index.html 15824 0.043 15BF7F3ABB","@version" => "1","id" => "666","duration" => "0.043"
}

geoip(關注)

  • 開源IP地址庫

  • GeoLite2 Free Geolocation Data | MaxMind Developer Portal

下載IP地址庫
[root@vm3 ~]# wget https://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gz
?
[root@vm3 ~]# tar xf GeoLite2-City.tar.gz
?
[root@vm3 ~]# cp GeoLite2-City_20190625/GeoLite2-City.mmdb /opt

# cat /etc/logstash/conf.d/geoiptest.conf ? ? ? ? ? ? ? ? ? ? ? ? ?
input {stdin {}
}
?
filter {grok {match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"}}geoip {source => "client"database => "/opt/GeoLite2-City.mmdb"}
}
?
?
output {stdout {
?}
}
?
?
?
執行
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/geoiptest.conf
?
?
輸入測試數據
?
202.106.0.20 GET /index.html 123 0.331
?
輸出結果
?
{"method" => "GET","client" => "202.106.0.20","bytes" => "123","request" => "/index.html","geoip" => {"country_code2" => "CN","country_name" => "China","region_code" => "BJ","longitude" => 116.3883,"latitude" => 39.9289,"timezone" => "Asia/Shanghai","location" => {"lon" => 116.3883,"lat" => 39.9289},"country_code3" => "CN","ip" => "202.106.0.20","continent_code" => "AS","region_name" => "Beijing"},"duration" => "0.331","host" => "vm3.cluster.com","message" => "202.106.0.20 GET /index.html 123 0.331","@timestamp" => 2019-07-02T12:15:29.384Z,"@version" => "1"
}
?
?

[root@vm3 bin]# cat /etc/logstash/conf.d/geoiptest2.conf
input {stdin {}
}
?
filter {grok {match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"
?}}geoip {source => "client"database => "/opt/GeoLite2-City.mmdb"target => "geoip"fields => ["city_name", "country_code2", "country_name","region_name"]}
}
?
?
output {stdout {codec => rubydebug}
}
?
?
?
執行
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/geoiptest2.conf
?
?
輸入測試數據
?
110.226.4.6 GET /home.html 518 0.247
?
輸出結果
?
{"host" => "vm3.cluster.com","duration" => "0.247","request" => "/home.html","@version" => "1","client" => "110.226.4.6","message" => "110.226.4.6 GET /home.html 518 0.247","method" => "GET","bytes" => "518","@timestamp" => 2019-07-02T12:22:22.458Z,"geoip" => {"country_name" => "India","country_code2" => "IN"}
}
?

輸出插件(output)

Output：輸出，輸出目標可以是Stdout、ES、Redis、File、TCP等。

ES

SettingInput typeRequiredDefaultDescription
hostsURLNo
indexstringNologstash-%{+YYYY.MM.dd}將事件寫入索引。默認按日期劃分。
userstringNoES集群用戶
passwordpasswordNoES集群密碼

input {file {path => ["/var/log/messages"]type => "system"tags => ["syslog","test"]start_position => "beginning"}file {path => ["/var/log/audit/audit.log"]type => "system"tags => ["auth","test"]start_position => "beginning"}
}
?
?
filter {
?
}
?
output {if [type] == "system" {if [tags][0] == "syslog" {elasticsearch {hosts ?=> ["http://es1:9200","http://es2:9200","http://es3:9200"]index ?=> "logstash-system-syslog-%{+YYYY.MM.dd}"}stdout { codec=> rubydebug }}else if [tags][0] == "auth" {elasticsearch {hosts ?=> ["http://es1:9200","http://es2:9200","http://es3:9200"]index ?=> "logstash-system-auth-%{+YYYY.MM.dd}"}stdout { codec=> rubydebug }}}
}
?

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/213426.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/213426.shtml
英文地址，請注明出處：http://en.pswp.cn/news/213426.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

【SpringBoot教程】SpringBoot Thymeleaf 基于HTML5的現代模板引擎

【SpringBoot教程】SpringBoot Thymeleaf 基于HTML5的現代模板引擎

作者簡介：大家好，我是擼代碼的羊駝，前阿里巴巴架構師，現某互聯網公司CTO 聯系v：sulny_ann（17362204968），加我進群，大家一起學習，一起進步，一起對抗…
閱讀更多...
error：move_base_msgs

error：move_base_msgs

CMake Warning at /opt/ros/kinetic/share/catkin/cmake/catkinConfig.cmake:76 (find_package): Could not find a package configuration file provided by “move_base_msgs” with any of the following names: move_base_msgsConfig.cmake move_base_msgs-config.cmake …
閱讀更多...
鼠標光標不見了怎么辦？速速get這4個方法！

鼠標光標不見了怎么辦？速速get這4個方法！

“非常奇怪，我的鼠標光標用著用著就不見了，這是為什么呢？有什么方法可以解決這個問題嗎？” 在電腦使用過程中，有時候會遇到鼠標光標突然消失的情況，這無疑會給我們日常操作帶來很大的不便。那么&#xff0c…
閱讀更多...
Linux bin包生成

Linux bin包生成

需求背景： 在實際項目時我們很少把源碼用個tar給到客戶，這樣顯得很不專業，且有的時候我們提供補丁，那么這個時候我們提供一個補丁的bin包可以直接安裝運行就顯得很高大上了。 物料準備 準備一臺liunx，虛擬機亦可&am…
閱讀更多...
自定義插件vue-router簡單實現hashRouter設計思路

自定義插件vue-router簡單實現hashRouter設計思路

步驟 1.掛載 vue.prototype.$router 2.聲明兩個組件 router-view this.$router.current>component > h(component) router-link h(a,{attrs:{href:#this.to}},this.$slots.default) 3.url的監聽：window hashchange的改變 4.定義響應式current&#xff0…
閱讀更多...
使用Python提取PDF文件中指定頁面的內容

使用Python提取PDF文件中指定頁面的內容

在日常工作和學習中，我們經常需要從PDF文件中提取特定頁面的內容。在本篇文章中，我們將介紹如何使用Python編程語言和兩個強大的庫——pymupdf和wxPython，來實現這個任務。 1. 準備工作 首先，確保你已經安裝了以下兩個Python庫&…
閱讀更多...
JavaScript深拷貝和淺拷貝

JavaScript深拷貝和淺拷貝

對于原始數據類型，并沒有深淺拷貝的區別，深淺拷貝都是對于引用數據類型而言，如果我們要賦值對象的所有屬性都是引用類型可以用淺拷貝 淺拷貝：只復制一層對象，當對象的屬性是引用類型時，實質復制的是其引用&…
閱讀更多...
【辦公軟件】Outlook啟動一直顯示“正在啟動”的解決方法

【辦公軟件】Outlook啟動一直顯示“正在啟動”的解決方法

早上打開電腦Outlook2016以后，半個多小時了，一直顯示這個界面： 解決辦法 按WIN R鍵打開“運行”，輸入如下命令： outlook.exe /safe 然后點擊“確定” 這樣就進入了Outlook的安全模式。 點擊“文件”->“選項”-…
閱讀更多...
第6節：Vue3 調用函數

第6節：Vue3 調用函數

在Vue3中&#xff0c;你可以使用setup函數來調用函數。 <template><button click"handleClick">點擊我</button> </template><script> import { ref } from vue;export default {setup() {// 創建一個響應式的引用const count ref(0…
閱讀更多...
nbcio-vue下載安裝后運行報錯，diagram-js沒有安裝

nbcio-vue下載安裝后運行報錯，diagram-js沒有安裝

更多nbcio-boot功能請看演示系統 gitee源代碼地址 后端代碼&#xff1a; https://gitee.com/nbacheng/nbcio-boot 前端代碼&#xff1a;https://gitee.com/nbacheng/nbcio-vue.git 在線演示&#xff08;包括H5&#xff09; &#xff1a; http://122.227.135.243:9888 根據…
閱讀更多...
047：vue加載循環倒計時 示例

047：vue加載循環倒計時 示例

第047個 查看專欄目錄: VUE ------ element UI 專欄目標 在vue和element UI聯合技術棧的操控下&#xff0c;本專欄提供行之有效的源代碼示例和信息點介紹&#xff0c;做到靈活運用。 &#xff08;1&#xff09;提供vue2的一些基本操作&#xff1a;安裝、引用&#xff0c;模板使…
閱讀更多...
基于java web的網上書城系統的設計與實現論文

基于java web的網上書城系統的設計與實現論文

摘 要 隨著科學技術的飛速發展&#xff0c;各行各業都在努力與現代先進技術接軌&#xff0c;通過科技手段提高自身的優勢&#xff0c;商品交易當然也不能排除在外&#xff0c;隨著商品交易管理的不斷成熟&#xff0c;它徹底改變了過去傳統的經營管理方式&#xff0c;不僅使商品…
閱讀更多...
32、Bean的生產順序是由什么決定的？

32、Bean的生產順序是由什么決定的？

Bean的生產順序是由什么決定的？ BeanDefinition的注冊順序是有什么決定的？ Bean在生產之前有個臨時狀態：BeanDefinition；存儲著bean的描述信息。由BeanDefinition決定著Bean的生產順序。會按照BeanDefinition的注冊順序來決定Bean的生產順序。因為所有的BeanDefinition存…
閱讀更多...
Lua字符串（包含任意字符，如中文）任意位置截取

Lua字符串（包含任意字符，如中文）任意位置截取

常規的截取只需要lua自帶的api就可以解決問題：如 string.sub 但是當字符串之中含有中文或者符號的時候，這些接口就麻爪了，當然lua后續更新有可能支持，至少本少當前的Lua版本是不支持的。 廢話少說，直接上代碼和測試用例 -- 判斷utf8字符byte長度 function stringTool.ch…
閱讀更多...
統信UOS_麒麟KYLINOS上跨架構下載離線軟件包

統信UOS_麒麟KYLINOS上跨架構下載離線軟件包

原文鏈接&#xff1a;統信UOS/麒麟KYLINOS上跨架構下載離線軟件包 hello&#xff0c;大家好啊&#xff0c;今天給大家帶來一篇在統信UOS/麒麟KYLINOS上跨架構下載離線軟件包的實用教程。在我們的日常工作中&#xff0c;可能會遇到這樣的情況&#xff1a;需要為不同架構的設備下…
閱讀更多...
【總結】機器學習中的15種分類算法

【總結】機器學習中的15種分類算法

目錄 一、機器學習中的分類算法 1.1 基礎分類算法 1.2 集成分類算法 1.3 其它分類算法&#xff1a; 二、各種機器學習分類算法的優缺點 分類算法也稱為模式識別&#xff0c;是一種機器學習算法&#xff0c;其主要目的是從數據中發現規律并將數據分成不同的類別。分類算法通…
閱讀更多...
鴻蒙OS應用開發之數據類型

鴻蒙OS應用開發之數據類型

前面學習了一個簡單的例子，這是多年來學習應用程序開發的經典路徑，在這里也是這種待遇，通過這樣的學習明白了一個簡單應用是怎么樣構成的，知道它是怎么運行輸出的。在這個基礎之上，你還是不會開發應用程序的，因為你還沒有學習鴻蒙應用的開發語言基礎，所以在這里要學習一…
閱讀更多...
nvue頁面用法uniapp

nvue頁面用法uniapp

1.介紹 Nvue是一個基于weex改進的原生渲染引擎&#xff0c;它在某些方面要比vue更高性能&#xff0c;在app上使用更加流暢&#xff0c;但是缺點也很明顯&#xff0c;沒有足夠的api能力&#xff0c;語法限制太大&#xff0c;所以nvue適用于特定場景&#xff08;需要高性能的區域…
閱讀更多...
排序算法——桶排序/基數排序/計數排序

排序算法——桶排序/基數排序/計數排序

桶排序 是計數排序的升級版。它利用了函數的映射關系&#xff0c;高效與否的關鍵就在于這個映射函數的確定。桶排序 (Bucket sort)的工作的原理&#xff1a; 假設輸入數據服從均勻分布&#xff0c;將數據分到有限數量的桶里&#xff0c;每個桶再分別排序&#xff08;有可能再使…
閱讀更多...
pve(proxmox)宿主機奔潰無法進入系統，lxc容器和虛擬機遷移，無備份，硬盤未損壞，記錄數據找回過程及思考

pve(proxmox)宿主機奔潰無法進入系統，lxc容器和虛擬機遷移，無備份，硬盤未損壞，記錄數據找回過程及思考

pve的主機突然CPU滿載，然后遠程斷電后pve就無法啟動了，之前一直上面的虛擬機和容器也沒有備份，折騰了兩天總算找回來了記錄一下處理過程和思路，方便后續查找。 一、隱患分析 1.周四突然手欠，由于之前家里的pve主機老給我發郵件，提示我硬盤有問題，但可以正常使用，我從…
閱讀更多...
最新文章

Copyright @ 2022~2023