?添加釘釘機器人
1. 部署 alermanager
1.1 下載軟件包
wget https://github.com/prometheus/alertmanager/releases/download/v0.26.0/alertmanager-0.26.0.linux-amd64.tar.gz
網址 :Releases · prometheus/alertmanager (github.com)
1.2?解壓軟件包
mkdir -pv /app/tools/
tar xf alertmanager-0.26.0.linux-amd64.tar.gz -C /app/tools/
1.3 創建符號鏈接
cd /app/tools/ && ln -svf alertmanager-0.26.0.linux-amd64 alertmanager
1.4?修改 alermanager 的配置文件
vim alertmanager.ymlglobal:resolve_timeout: 5mroute:group_by: ['alertname']group_wait: 5sgroup_interval: 5srepeat_interval: 2mreceiver: 'web.hook'
receivers:- name: 'web.hook'webhook_configs:# prometheus-webhook-dingtalk的地址#這里只需要修改IP地址及端口號即可#也可以第一次啟動webhook-dingtalk的時候胡hi有提示這個地址(需要直接使用webhook命令執行)- url: 'http://localhost:8060/dingtalk/webhook1/send'send_resolved: true
inhibit_rules:- source_match:severity: 'critical'target_match:severity: 'warning'equal: ['alertname', 'dev', 'instance']
1.5?啟動alermanager
vim /usr/lib/systemd/system/alertmanager.service[Unit]
Description=The prometheus webhook dingtalk
After=network.target[Service]
WorkingDirectory=/app/tools/alertmanager-0.26.0.linux-amd64/
ExecStart=/app/tools/alertmanager-0.26.0.linux-amd64/alertmanager \
--config.file=/app/tools/alertmanager-0.26.0.linux-amd64/alertmanager.yml [Install]
WantedBy=multi-user.targetsystemctl daemon-reload
systemctl enable --now alertmanager.service
1.6 登錄WebUI
http://192.168.99.181:9093/
有頁面則部署完成
2. 部署 prometheus-webhook-dingtalk
2.1 下載 prometheus-webhook-dingtalk 軟件包
wget https://github.com/timonwong/prometheus-webhook-dingtalk/releases/download/v2.1.0/prometheus-webhook-dingtalk-2.1.0.linux-amd64.tar.gz
2.2 解壓軟件包
tar xf prometheus-webhook-dingtalk-2.1.0.linux-amd64.tar.gz -C /app/tools
2.3 編寫配置文件
cat config.example.yml ## Targets, previously was known as "profiles"
#指定告警模板配置文件
templates:# - /root/prometheus-webhook-dingtalk-2.1.0.linux-amd64/templates/default.tmpl- /app/tools/prometheus-webhook-dingtalk-2.1.0.linux-amd64/templates/test.tmpl
targets:webhook1:#機器人的地址url: https://oapi.dingtalk.com/robot/send?access_token=1859e97456bdcb436f87f8e27147cfe07557901bdc4691c1836e30640f33c60b# secret for signature#機器人的認證標簽secret: SEC13a35ec382cbce1b46f4275ce640aedce28610b8026ceecd50ef59eb74002f8dmessage:## 指定了消息的標題,使用模板 `ding.link.title` 來生成。title: '{{ template "ding.link.title" . }}'# 指定了消息的正文內容,使用模板 `ding.link.content` 來生成。text: '{{ template "ding.link.content" . }}'
2.4 編寫告警模板
cat templates/test.tmpl {{ define "__subject" }}
[{{ .Status | toUpper }}{{ if eq .Status "firing" }}:{{ .Alerts.Firing | len }}{{ end }}]
{{ end }}{{ define "__alert_list" }}{{ range . }}
---{{ if .Labels.owner }}@{{ .Labels.owner }}{{ end }}
---**告警名稱**: {{ .Labels.alertname }}**告警主機**: {{ .Labels.instance }} **告警級別**: {{ .Labels.severity }} #description 這里引用的是ruels文件中的字段**告警描述**: {{ index .Annotations "description" }} #時間不要動**告警時間**: {{ dateInZone "2006.01.02 15:04:05" (.StartsAt) "Asia/Shanghai" }}#可填寫查看詳情的網址**查看詳情**: http://192.168.99.181:9093
{{ end }}{{ end }}{{ define "__resolved_list" }}{{ range . }}
---**告警名稱**: {{ .Labels.alertname }}**告警主機**: {{ .Labels.instance }}**告警級別**: {{ .Labels.severity }}**告警描述**: {{ index .Annotations "description" }}**告警時間**: {{ dateInZone "2006.01.02 15:04:05" (.StartsAt) "Asia/Shanghai" }}**恢復時間**: {{ dateInZone "2006.01.02 15:04:05" (.EndsAt) "Asia/Shanghai" }}
{{ end }}{{ end }}{{ define "default.title" }}
{{ template "__subject" . }}
{{ end }}{{ define "default.content" }}
{{ if gt (len .Alerts.Firing) 0 }}
**<font color="#FF0000">======偵測到{{ .Alerts.Firing | len }}個告警======</font>**{{ template "__alert_list" .Alerts.Firing }}
---{{ end }}{{ if gt (len .Alerts.Resolved) 0 }}
**<font color="green">======恢復{{ .Alerts.Resolved | len }}個故障======</font>**
{{ template "__resolved_list" .Alerts.Resolved }}
{{ end }}
{{ end }}{{ define "ding.link.title" }}{{ template "default.title" . }}{{ end }}
{{ define "ding.link.content" }}{{ template "default.content" . }}{{ end }}
{{ template "default.title" . }}
{{ template "default.content" . }}
2.5?啟動webhook-dingtalk
cat /usr/lib/systemd/system/webhook-dingtalk.service[Unit]
Description=The prometheus webhook dingtalk
After=network.target[Service]
WorkingDirectory=/app/tools/prometheus-webhook-dingtalk-2.1.0.linux-amd64/
ExecStart=/app/tools/prometheus-webhook-dingtalk-2.1.0.linux-amd64/prometheus-webhook-dingtalk \
--config.file=config.example.yml \
--web.enable-lifecycle \
--web.enable-ui[Install]
WantedBy=multi-user.targetsystemctl daemon-reload
systemctl enabled --now webhook-dingtalk.service
3. Promtheus
3.1?配置rules規則文件
[root@prometheus-server31 /app/tools/prometheus]# cat rules/test.yaml
# 相關的規則設置定義在一個group下。在每一個group中我們可以定義多個告警規則(rule)
groups:# 組名,報警規則組名稱
- name: 內存告警rules:- alert: 內存使用率超過80%告警# expr:基于PromQL表達式告警觸發條件,用于計算是否有時間序列滿足該條件。#expr: floor(100 * (1 - (node_memory_MemFree_bytes + node_memory_Cached_bytes + node_memory_Buffers_bytes) / node_memory_MemTotal_bytes)) > 80expr: floor(100 * (1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes))) > 80# for:評估等待時間,可選參數。用于表示只有當觸發條件持續一段時間后才發送告警。在等待期間新產生告警的狀態為pending。# for語句會使 Prometheus 服務等待指定的時間, 然后執行查詢表達式。(for 表示告警持續的時長,若持續時長小于該時間就不發給alertmanager了,大于該時間再發。for的值不要小于prometheus中的scrape_interval,例如scrape_interval為30s,for為15s,如果觸發告警規則,則再經過for時長后也一定會告警,這是因為最新的度量指標還沒有拉取,在15s時仍會用原來值進行計算。另外,要注意的是只有在第一次觸發告警時才會等待(for)時長。)for: 1m# labels:自定義標簽,允許用戶指定要附加到告警上的一組附加標簽。labels:# severity: 指定告警級別,有三種等級,分別為:警告、嚴重、緊急,嚴重等級依次遞增。severity: '<font color="#0000FF">警告</font>'# annotations: 附加信息,比如用于描述告警詳細信息的文字等,annotations的內容在告警產生時會一同作為參數發送到Alertmanager。annotations:servername: "{{ $labels.server_name }}"server_ip: "{{ $labels.server_ip }}"value: "{{ $value }}"description: "**{{ $labels.server_name }}**內存使用率持續1分鐘超過**80%**, 請及時處理! 當前值**{{ $value }}%**。"- alert: 內存使用率超過90%告警expr: floor(100 * (1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes))) > 90for: 1mlabels:severity: '<font color="#FFA500">嚴重</font>'annotations:servername: "{{ $labels.server_name }}"server_ip: "{{ $labels.server_ip }}"value: "{{ $value }}"description: "**{{ $labels.server_name }}**內存使用率持續1分鐘超過**90%**, 請馬上處理! 當前值**{{ $value }}%**。"- name: CPU告警rules:- alert: CPU使用率超過80%告警expr: floor(100 - (avg by(instance) (irate(node_cpu_seconds_total{mode="idle"}[1m])) * 100)) > 80for: 1mlabels:severity: '<font color="#0000FF">警告</font>'annotations:servername: "{{ $labels.server_name }}"server_ip: "{{ $labels.server_ip }}"value: "{{ $value }}"description: "**{{ $labels.server_name }}**CPU使用率持續1分鐘超過**80%**, 請及時處理! 當前值**{{ $value }}%**。"- alert: CPU使用率超過90%告警expr: floor(100 - (avg by(instance) (irate(node_cpu_seconds_total{mode="idle"}[1m])) * 100)) > 90for: 1mlabels:severity: '<font color="#FFA500">嚴重</font>'annotations:servername: "{{ $labels.server_name }}"server_ip: "{{ $labels.server_ip }}"value: "{{ $value }}"description: "**{{ $labels.server_name }}**CPU使用率持續1分鐘超過**90%**, 請馬上處理! 當前值**{{ $value }}%**。"- name: 磁盤告警rules:- alert: 磁盤 **/** 目錄使用率超過90%告警expr: floor(100 * ((node_filesystem_size_bytes{mountpoint="/"} - node_filesystem_avail_bytes{mountpoint="/"}) / node_filesystem_size_bytes{mountpoint="/"})) >90for: 30mlabels:severity: '<font color="#0000FF">警告</font>'annotations:servername: "{{ $labels.server_name }}"server_ip: "{{ $labels.server_ip }}"value: "{{ $value }}"description: "**{{ $labels.server_name }}**磁盤 **/** 目錄使用率已經超過閾值**90%**, 請及時處理! 當前值**{{ $value }}%**。"- alert: 磁盤 **/home** 目錄使用率超過90%告警expr: floor(100 * ((node_filesystem_size_bytes{mountpoint="/home"} - node_filesystem_avail_bytes{mountpoint="/home"}) / node_filesystem_size_bytes{mountpoint="/home"})) >90for: 30mlabels:severity: '<font color="#0000FF">警告</font>'annotations:servername: "{{ $labels.server_name }}"server_ip: "{{ $labels.server_ip }}"value: "{{ $value }}"description: "**{{ $labels.server_name }}**磁盤 **/home** 目錄使用率已經超過閾值**90%**, 請及時處理! 當前值**{{ $value }}%**。"- alert: 磁盤 **/data** 目錄使用率超過90%告警expr: floor(100 * ((node_filesystem_size_bytes{mountpoint="/data"} - node_filesystem_avail_bytes{mountpoint="/data"}) / node_filesystem_size_bytes{mountpoint="/data"})) >90for: 30mlabels:severity: '<font color="#0000FF">警告</font>'annotations:servername: "{{ $labels.server_name }}"server_ip: "{{ $labels.server_ip }}"value: "{{ $value }}"description: "**{{ $labels.server_name }}**磁盤 **/data** 目錄使用率已經超過閾值**90%**, 請及時處理! 當前值**{{ $value }}%**。"- alert: 磁盤 **/data1** 目錄使用率超過90%告警expr: floor(100 * ((node_filesystem_size_bytes{mountpoint="/data1"} - node_filesystem_avail_bytes{mountpoint="/data1"}) / node_filesystem_size_bytes{mountpoint="/data1"})) >90for: 30mlabels:severity: '<font color="#0000FF">警告</font>'annotations:servername: "{{ $labels.server_name }}"server_ip: "{{ $labels.server_ip }}"value: "{{ $value }}"description: "**{{ $labels.server_name }}**磁盤 **/data1** 目錄使用率已經超過閾值**90%**, 請及時處理! 當前值**{{ $value }}%**。"- alert: 磁盤 **/postgres** 目錄使用率超過90%告警expr: floor(100 * ((node_filesystem_size_bytes{mountpoint="/postgres"} - node_filesystem_avail_bytes{mountpoint="/postgres"}) / node_filesystem_size_bytes{mountpoint="/postgres"})) >90for: 30mlabels:severity: '<font color="#0000FF">警告</font>'annotations:servername: "{{ $labels.server_name }}"server_ip: "{{ $labels.server_ip }}"value: "{{ $value }}"description: "**{{ $labels.server_name }}**磁盤 **/postgres** 目錄使用率已經超過閾值**90%**, 請及時處理! 當前值**{{ $value }}%**。"- name: 離線告警rules:- alert: 服務器離線告警expr: up{instance =~ ".*:(9100|9200)"} == 0for: 30slabels:severity: '<font color="#FF0000">緊急</font>'annotations:servername: "{{ $labels.server_name }}"server_ip: "{{ $labels.server_ip }}"value: "{{ $value }}"description: "**{{ $labels.server_name }}**離線了,可能出現宕機情況, 請立即檢查處理! "
3.2 配置 prometheus.yml 文件
vim /app/tools/prometheus/prometheus.yml
....
#指定alermanager
alerting:alertmanagers:- static_configs:- targets:- 192.168.99.181:9093
.....
rule_files:#指定 rules 配置文件- "/app/tools/prometheus/rules/test.yaml"
.....
3.3 重啟prometheus
systemctl reload prometheus.server
4. 測試
根據自己定義的規則關閉一個監控的節點,查看釘釘是否有收到消息