搭建grafana+loki+promtail日志收集系統

準備工作

下載地址

https://github.com/grafana/loki/releases

安裝包放在服務器目錄:/opt

wget https://github.com/grafana/loki/releases/download/v2.4.2/loki-linux-amd64.zip
wget https://github.com/grafana/loki/releases/download/v2.4.2/promtail-linux-amd64.zip

1、啟動loki

1)解壓loki-linux-amd64.zip

unzip loki-linux-amd64.zip 

2)授權

chmod a+x loki-linux-amd64

3)配置文件loki.yaml

vi loki.yamlauth_enabled: falseserver:http_listen_port: 3100grpc_listen_port: 3110grpc_server_max_recv_msg_size: 1073741824  #grpc最大接收消息值,默認4mgrpc_server_max_send_msg_size: 1073741824  #grpc最大發送消息值,默認4mingester:lifecycler:address: 127.0.0.1ring:kvstore:store: inmemoryreplication_factor: 1final_sleep: 0schunk_idle_period: 5mchunk_retain_period: 30smax_transfer_retries: 0max_chunk_age: 20m  #一個timeseries塊在內存中的最大持續時間。如果timeseries運行的時間超過此時間,則當前塊將刷新到存儲并創建一個新塊schema_config:configs:- from: 2021-01-01store: boltdbobject_store: filesystemschema: v11index:prefix: index_period: 168hstorage_config:boltdb:directory: /opt/loki/index #存儲索引地址filesystem:directory: /opt/loki/chunkslimits_config:enforce_metric_name: falsereject_old_samples: truereject_old_samples_max_age: 168hingestion_rate_mb: 30  #修改每用戶攝入速率限制,即每秒樣本量,默認值為4Mingestion_burst_size_mb: 15  #修改每用戶攝入速率限制,即每秒樣本量,默認值為6Mchunk_store_config:#max_look_back_period: 168h   #回看日志行的最大時間,只適用于即時日志max_look_back_period: 0stable_manager:retention_deletes_enabled: false #日志保留周期開關,默認為falseretention_period: 0s  #日志保留周期

4)啟動進程

nohup /opt/loki/loki-linux-amd64 -config.file=/opt/loki/loki.yaml >loki.out 2>&1 &

2、啟動promtail

1)解壓loki-linux-amd64.zip

unzip promtail-linux-amd64.zip

2)授權

chmod a+x promtail-linux-amd64

3)配置文件promtail.yaml

vi promtail.yamlserver:http_listen_port: 9080grpc_listen_port: 0grpc_server_max_recv_msg_size: 15728640grpc_server_max_send_msg_size: 15728640positions:filename: /opt/loki/positions.yaml # This location needs to be writeable by promtail.client:url: http://xx.xx.xx.xx:3100/loki/api/v1/push#https://grafana.com/docs/loki/latest/clients/promtail/configuration/
scrape_configs:
- job_name: systemstatic_configs:- targets:- localhostlabels:job: messages__path__: /var/log/messages
- job_name: systemstatic_configs:- targets:- localhostlabels:job: varlogs__path__: /var/log/*log
- job_name: systemstatic_configs:- targets:- localhostlabels:job: secure__path__: /var/log/secure
#lastlog
- job_name: systemstatic_configs:- targets:- localhostlabels:job: lastlog__path__: /var/log/lastlog
#cron
- job_name: systemstatic_configs:- targets:- localhostlabels:job: cron__path__: /var/log/cron

4)啟動進程

nohup /opt/loki/promtail-linux-amd64 -config.file=/opt/loki/promtail.yaml >promtail.out 2>&1 &

3、啟動grafana

1)安裝

官網安裝教程地址:Download Grafana | Grafana Labs

wget https://dl.grafana.com/oss/release/grafana-7.4.3-1.x86_64.rpm 
sudo yum install grafana-7.4.3-1.x86_64.rpm 

2)啟動

systemctl start grafana-server

3)查看狀態

systemctl status grafana-server

4、logcli

1)下載

wget https://github.com/grafana/loki/releases/download/v2.4.2/logcli-linux-amd64.zip

2)解壓logcli-linux-amd64.zip

unzip logcli-linux-amd64.zip

3)授權

chmod a+x logcli-linux-amd64.zip

4)查看


{job="cron"} |~ "ERROR"!= "(python3)"

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/41366.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/41366.shtml
英文地址,請注明出處:http://en.pswp.cn/news/41366.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

【備戰csp-j】csp常考題目詳解(3)

三.排列組合 1. 7名學生站成一排,甲、乙必須站在一起有多少不同排法? 答案:1440 解析: 6組人進行全排列:A(6,6); 甲和乙的順序有兩種情況,所以結果要再乘2; …

影響力再度提升,Smartbi多次蟬聯Gartner、IDC等權威認可

近期,思邁特軟件捷報頻傳,Smartbi憑借技術創新實力和產品能力,成功入選Gartner中國增強數據分析代表廠商及自助分析代表廠商,同時,連續三年蟬聯“IDC中國FinTech 50”榜單。 Part.1 再次被Gartner提名 Smartbi深度融…

重塑DTC規則:元氣森林的全渠道轉型

元氣森林作為迄今為止用5-6年時間最快達到70億年銷售額的飲料品牌(統一、可口可樂、東鵬特飲都花了15年左右,康師傅花了10年)。元氣森林于2016年在北京創立,憑借健康產品理念和新潮營銷方式,一款主打“0糖0卡0脂”概念…

激活函數總結(十一):激活函數補充(Absolute、Bipolar、Bipolar Sigmoid)

激活函數總結(十一):激活函數補充 1 引言2 激活函數2.1 Absolute激活函數2.2 Bipolar激活函數2.3 Bipolar Sigmoid激活函數 3. 總結 1 引言 在前面的文章中已經介紹了介紹了一系列激活函數 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、…

C++ auto關鍵字

文章目錄 一、auto的推導規則二、auto的限制 C11 中有:auto 類型推導 auto x 5; // OK: x 是 int 類型 auto pi new auto(1); // OK: pi 被推導為 int* const auto *v &x, u 6; // OK: v是const int*類型,u是const int類型 static auto y 0.0;…

【Java】批量生成條形碼-itextpdf

批量生成條形碼 Controller ApiOperation("商品一覽批量生成商品條形碼")PostMapping("/batchGenerateProdBarCode")public void batchGenerateProdBarCode(RequestBody ProductListCondition productListCondition,HttpServletResponse response){import…

使用Spring-Security后,瀏覽器不能緩存的問題

Spring-Security在默認情況下是不允許客戶端進行緩存的,在使用時可以通過禁用Spring-Security中的cacheControl配置項允許緩存。 protected void configure(HttpSecurity http) throws Exception {// 允許緩存配置http.headers().cacheControl().disable(); }

Java中使用流將兩個集合根據某個字段進行過濾去重?

Java中使用流將兩個集合根據某個字段進行過濾去重? 在Java中,您可以使用流(Stream)來過濾和去重兩個集合。下面是一個示例代碼,展示如何根據對象的某個字段進行過濾和去重操作: import java.util.ArrayList; import java.util.List; impor…

“代碼馭寵而行“:探索Python的魔法世界,開啟編程奇幻之旅!

文章目錄 🍀引言🍀第一步:安裝Python和開發環境🍀第二步:掌握基本語法🍀第三步:使用Python庫和模塊🍀第四步:實踐項目和練習🍀第五步:學習進階主題…

origin修改默認的字體等

因為默認是中文宋體,每次切換成英文尤其是希臘字母就很麻煩。 選擇菜單欄的【設置】——【選項】點擊。 彈出窗口中選擇【文本字體】 設置成你需要的字體就好。 這里同樣可以更改頁面、圖等的默認設置。 效果: 選擇插入文字后,自動更改成…

銀河麒麟V10 達夢安裝教程

安裝前先準備要安裝包,包需要需要區分X86和arm架構。 版本為:dm8_20230419_FTarm_kylin10_sp1_64.iso 達夢數據庫下載地址: https://www.aliyundrive.com/s/Qm7Es5BQM5U 第一步創建用戶 su - root 1. 創建安裝用戶組 dminstall。 groupad…

前饋神經網絡優化器

引用的知乎上的文章內容,現在有些地方還不太明白,留待以后查看。 import math import numpy as np import matplotlib.pyplot as pltRATIO 3 # 橢圓的長寬比 LIMIT 1.2 # 圖像的坐標軸范圍class PlotComparaison(object):"""多種優化…

Python爬蟲的應用場景與技術難點:如何提高數據抓取的效率與準確性

作為專業爬蟲程序員,我們在數據抓取過程中常常面臨效率低下和準確性不高的問題。但不用擔心!本文將與大家分享Python爬蟲的應用場景與技術難點,并提供一些實際操作價值的解決方案。讓我們一起來探索如何提高數據抓取的效率與準確性吧&#xf…

python3實現線性規劃求解

Background 對于數學規劃問題,有很多的實現。MatlabYALMIPCPLEX這個組合應該是比較主流的,尤其是在電力相關系統中占據著比較重要的地位。MATLAB是一個強大的數值計算工具,用于數學建模、算法開發和數據分析。Yalmip是一個MATLAB工具箱&#…

MongoDB:MySQL,Redis,ES,MongoDB的應用場景

簡單明了說明MySQL,ES,MongoDB的各自特點,應用場景,以及MongoDB如何使用的第一章節. 一. SQL與NoSQL SQL被稱為結構化查詢語言.是傳統意義上的數據庫,數據之間存在很明確的關聯關系,例如主外鍵關聯,這種結構可以確保數據的完整性(數據沒有缺失并且正確).但是正因為這種嚴密的結…

神經網絡基礎-神經網絡補充概念-34-正則化

概念 正則化是一種用于控制模型復雜度并防止過擬合的技術,在機器學習和深度學習中廣泛應用。它通過在損失函數中添加一項懲罰項來限制模型的參數,從而使模型更傾向于選擇簡單的參數配置。 理解 L1 正則化(L1 Regularization)&a…

數據分析 | Boosting與Bagging的區別

Boosting與Bagging的區別 Bagging思想專注于降低方差,操作起來較為簡單,而Boosting思想專注于降低整體偏差來降低泛化誤差,在模型效果方面的突出表現制霸整個弱分類器集成的領域。具體區別體現在如下五點: 弱評估器:Ba…

vb數控加工技術教學素材資源庫的設計和構建

摘 要 20世紀以來,社會生產力迅速發展,科學技術突飛猛進,人們進行信息交流的深度與廣度不斷增加,信息量急劇增長,傳統的信息處理與決策的手段已不能適應社會的需要,信息的重要性和信息處理問題的緊迫性空前提高了,面對著日益復雜和不斷發展,變化的社會環境,特別是企業…

Windows上使用dump文件調試

dump文件 dump文件記錄當前程序運行某一時刻的信息,包括內存,線程,線程棧,變量等等,相當于調試程序時運行到某個斷點上,把程序運行的信息記錄下來。可以通過Windbg打開dump,查看程序運行的變量…

mysql 修改存儲路徑,重啟失敗授權

目錄 停掉mysql修改mysql 配置文件my.cnf目錄授權重啟mysql 停掉mysql 修改mysql 配置文件my.cnf 更改mysql 存儲位置 到/data/mysql_data目錄下: datadir/data/mysql/mysql_data/socket/data/mysql/mysql_data/mysql.sockmysql 默認路么徑在 /var/lib/mysql/ 防止…