文章目錄
- 1、前言
- 2、Grok提供的常用Patterns說明及舉例
- 2.1 常用的表達式說明
- 3、使用grok插件進行日志字段處理
- 4、案例1：處理nginx的日志
- 4.1、查看nginx日志格式
- 4.2、對nginx的日志進行過濾處理
- 5、案例2：處理tomcat的日志
- 5.1、[安裝logstash-filter-multiline](https://blog.csdn.net/weixin_44729138/article/details/115747384)
- 5.2、對tomcat的日志進行過濾處理
1、前言
近期通過ELK(Elasticsearch, Logstash, Kibana)對Nginx產生的日志進行采集（往期文章），但是在對nginx的日志格式進行預處理的時候使用到了logstash的grok的插件，特意在此為大家分享下個人的學習總結。
2、Grok提供的常用Patterns說明及舉例
要學習Grok的默認表達式，我們就要找到它的具體配置路徑，路徑如下：
patterns路徑
[logstash安裝路徑]/vendor/bundle/jruby/x.x.x/gems/logstash-patterns-core-x.x.x/patterns
如我的如下：
/u01/isi/application/index/logstash-7.10.0/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns
2.1 常用的表達式說明
鏈接地址：https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/legacy/grok-patterns
- USERNAME 或 USER
用戶名：由數字、大小寫及特殊字符(._-)組成的字符串。如：Tom、323、isi_186等 - EMAILLOCALPART
電子郵件用戶名部分：首位由大小寫字母組成，其他位由數字、大小寫及特殊字符(_.±=:)組成的字符串。
注意，國內的QQ純數字郵箱賬號是無法匹配的，需要修改正則。比如：stone、Gary_Lu、abc-123等 - EMAILADDRESS
電子郵件,比如：stone@abc.com、Gary_Lu@gmail.com、abc-123@163.com等 - HTTPDUSER
Apache服務器的用戶，可以是EMAILADDRESS或USERNAME - INT
整數：包括0和正負整數,比如：0、-123、43987等 - BASE10NUM 或 NUMBER
十進制數字：包括整數和小數，比如：0、18、5.23等 - BASE16NUM
十六進制數字，整數，比如：0x0045fa2d、-0x3F8709等 - BASE16FLOAT
十六進制數字，整數和小數 - WORD
字符串，包括數字和大小寫字母
比如：String、3529345、ILoveYou等 - NOTSPACE
不帶任何空格的字符串 - SPACE
空格字符串 - QUOTEDSTRING 或 QS
帶引號的字符串，比如：“This is an apple”、'What is your name?'等 - UUID
標準UUID，比如：550E8400-E29B-11D4-A716-446655440000 - MAC
MAC地址，可以是Cisco設備里的MAC地址，也可以是通用或者Windows系統的MAC地址 - IP
IP地址，IPv4或IPv6地址
比如：127.0.0.1、FE80:0000:0000:0000:AAAA:0000:00C2:0002等 - HOSTNAME
主機名稱 - IPORHOST
IP或者主機名稱 - HOSTPORT
主機名(IP)+端口，比如：127.0.0.1:3306、api.stozen.net:8000等 - PATH
路徑，Unix系統或者Windows系統里的路徑格式，比如：/usr/local/nginx/sbin/nginx、c:\windows\system32\clr.exe等 - URIPROTO
URI協議，比如：http、ftp等 - URIHOST
URI主機，比如：www.stozen.net、10.0.0.1:22等 - URIPATH
URI路徑，比如：//www.stozen.net/abc/、/api.php等 - URIPARAM
URI里的GET參數，比如：?a=1&b=2&c=3 - URIPATHPARAM
URI路徑+GET參數，比如：//www.stozen.net/abc/api.php?a=1&b=2&c=3 - URI
完整的URI，比如：http://www.stozen.net/abc/api.php?a=1&b=2&c=3 - MONTH
月份名稱，比如：Jan、January等 - MONTHNUM
月份數字，比如：03、9、12等 - MONTHDAY
日期數字，比如：03、9、31等 - DAY
星期幾名稱，比如：Mon、Monday等 - YEAR
年份數字 - HOUR
小時數字 - MINUTE
分鐘數字 - SECOND
秒數字 - TIME
時間，比如：00:01:23 - DATE_US
美國日期格式，比如：10-15-1982、10/15/1982等 - DATE_EU
歐洲日期格式，比如：15-10-1982、15/10/1982、15.10.1982等 - ISO8601_TIMEZONE
ISO8601時間格式，比如：+10:23、-1023等 - TIMESTAMP_ISO8601
ISO8601時間戳格式，比如：2016-07-03T00:34:06+08:00 - DATE
日期，美國日期%{DATE_US}或者歐洲日期%{DATE_EU} - DATESTAMP
完整日期+時間，比如：07-03-2016 00:34:06 - HTTPDATE
http默認日期格式，比如：03/Jul/2016:00:36:53 +0800 - LOGLEVEL
Log表達式,日志等級，比如：Alert、alert、ALERT、Error等
3、使用grok插件進行日志字段處理
grok在線工具：https://www.5axxw.com/tools/v2/grok.html
但是鑒于這個太慢太卡了，我自己用docker搭建一個，總共也就三步走：
- docker pull epurs/grokdebugger #拉取鏡像
- docker run -itd --name=grok -p8000:80 epurs/grokdebugger #運行容器
- 頁面訪問http://192.168.16.115:8000/
4、案例1：處理nginx的日志
4.1、查看nginx日志格式
log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';
- $remote_addr：客戶端ip
- $remote_user：客戶端的用戶，通過在做了nginx訪問控制后顯示訪問的用戶名，否則為"-"
- $time_local：訪問時間和時區
- $request：請求的URI和HTTP協議
- $status：HTTP請求狀態
- $body_bytes_sent：發送給客戶端文件內容大小
- $http_referer：url跳轉來源
- $http_user_agent：用戶終端瀏覽器等信息
- $http_x_forwarded_for：用戶代理/蜘蛛、被轉發請求的原始ip
``
4.2、對nginx的日志進行過濾處理
以下為nginx中的一段access.log日志
124.71.129.73 - - [15/Apr/2021:11:19:14 +0800] "GET /proxy/count.haiwainet.cn/imgpv/592/5c7498c75a6acaa1ae50.png HTTP/1.0" 404 548 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36 Edg/89.0.774.76" "118.26.130.253"
202.168.188.174 - - [15/Apr/2021:11:19:14 +0800] "GET /rongmeiti-wenhai-hongqi/openAPI/token/reflashToken HTTP/1.1" 200 53 "-" "Apache-HttpClient/4.5.2 (Java/1.8.0_202)" "-"
124.71.129.73 - - [15/Apr/2021:11:19:14 +0800] "POST /wenhai-api/essql/getDataBySql HTTP/1.0" 200 199940 "-" "Apache-HttpClient/4.5.2 (Java/1.8.0_221)" "111.32.83.42"
124.71.129.73 - - [15/Apr/2021:11:19:14 +0800] "POST /wenhai-api/essql/getDataBySql HTTP/1.0" 200 139 "-" "Apache-HttpClient/4.5.2 (Java/1.8.0_221)" "111.32.83.42"
60.194.35.67 - - [15/Apr/2021:11:19:14 +0800] "POST /wenhaiFt-datapush/openAPI/analysis/getSearchInfosInRaw HTTP/1.1" 200 2953812 "-" "Apache-HttpClient/4.5.13 (Java/1.8.0_112)" "-"
過濾規則表達式
%{IPV4:remote_ip} \- \- \[%{HTTPDATE:timestamp}\] \"%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}\" %{NUMBER:status} %{NUMBER:bytes} \"%{NOTSPACE:domain}\" \"%{GREEDYDATA:access_url}\" \"%{GREEDYDATA:real_ip}\"
5、案例2：處理tomcat的日志
5.1、安裝logstash-filter-multiline
詳見地址：https://blog.csdn.net/weixin_44729138/article/details/115747384
不修改tomcat的日志配置
5.2、對tomcat的日志進行過濾處理
19-Mar-2021 14:45:06.943 INFO [main] org.apache.catalina.startup.HostConfig.deployDirectory Deploying web application directory [/root/pkg/apache-tomcat-9.0.33/webapps/docs]
19-Mar-2021 14:45:06.953 INFO [main] org.apache.catalina.startup.HostConfig.deployDirectory Deployment of web application directory [/root/pkg/apache-tomcat-9.0.33/webapps/docs] has finished in [10] ms
19-Mar-2021 14:45:06.555 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log Command line argument: -Djava.io.tmpdir=/root/pkg/apache-tomcat-9.0.33/temporg.apache.catalina.LifecycleException: Protocol handler initialization failedat org.apache.catalina.core.StandardService.initInternal(StandardService.java:533)at org.apache.catalina.util.LifecycleBase.init(LifecycleBase.java:136)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at java.lang.reflect.Method.invoke(Method.java:498)Caused by: java.net.BindException: Address already in useat sun.nio.ch.Net.bind0(Native Method)at sun.nio.ch.Net.bind(Net.java:433)at sun.nio.ch.Net.bind(Net.java:425)at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)at org.apache.tomcat.util.net.NioEndpoint.initServerSocket(NioEndpoint.java:229)at org.apache.tomcat.util.net.NioEndpoint.bind(NioEndpoint.java:212)at org.apache.tomcat.util.net.AbstractEndpoint.bindWithCleanup(AbstractEndpoint.java:1141)at org.apache.tomcat.util.net.AbstractEndpoint.init(AbstractEndpoint.java:1154)at org.apache.coyote.AbstractProtocol.init(AbstractProtocol.java:581)at org.apache.coyote.http11.AbstractHttp11Protocol.init(AbstractHttp11Protocol.java:74)at org.apache.catalina.connector.Connector.initInternal(Connector.java:1010)... 13 more
19-Mar-2021 14:45:06.775 INFO [main] org.apache.catalina.startup.Catalina.load Server initialization in [383] milliseconds
19-Mar-2021 14:45:06.794 INFO [main] org.apache.catalina.core.StandardService.startInternal Starting service [Catalina]
過濾規則表達式
%{NOTSPACE:Day_time} %{NOTSPACE:Day} %{LOGLEVEL} \[%{WORD}\] %{GREEDYDATA :message}
![[算法每日一練]-雙指針 （保姆級教程篇 1） #A-B數對 #求和 #元音字母 #最短連續子數組 #無重復字符的最長子串 #最小子串覆蓋 #方塊桶](http://pic.xiahunao.cn/[算法每日一練]-雙指針 （保姆級教程篇 1） #A-B數對 #求和 #元音字母 #最短連續子數組 #無重復字符的最長子串 #最小子串覆蓋 #方塊桶)
