logstash-input-redis插件使用詳解

input {#redis {#host=> "10.246.187.12"#redis地址#host=> "10.246.152.116"#redis地址#port => "6379" #redis端口號#password => "123qwe" #如果有安全認證,此項為密碼#key => "logstash:redis"#type => "redis-input"#data_type => "list"#threads =>8 #啟用線程數量#batch_count => 10 #EVAL命令返回的事件數目#db => 0 #redis數據庫的編號#}file {ignore_older => 87400path => ["/app/audit/idpws-login-audit.log"]#path => ["/tmp/test.log"]start_position => beginningsincedb_path => "/app/logstash-7.12.1/sincedb-access"}}

工作流程:

?

  • logstash啟動redis插件
  • redis插件獲取參數,進行校驗工作
  • 判斷監聽模式(list,channel,pattern_channel等),根據不同的監聽模式創建監聽任務
  • 創建redis實例,綁定EVAL腳本;通過指定的redis模式,發送請求,監聽數據
  • redis返回指定內容的數(可能是列表list,也可能是某個特定的頻道中的數據)
  • 得到的數據,進行處理,返回給logstash
  • 如果發送了停止信號,則根據不同的模式,發送不同的命令退出redis。

db

Redis里面有數據庫的概念,一般是16個,默認登錄后是0,可以通過命令選擇。如果應用系統選擇使用了不同的數據庫,那么可以通過配置這個參數從指定的數據庫中讀取信息。

key

Redis中的數據都是通過鍵值來索引的,不管是字符串還是列表,所以這個key相當于數據庫中的表。
如果是list或者channel模式,key都是指定的鍵值;而如果是pattern_channel,那么key可以通過glob通配的方式來指定。

password

有的Redis為了安全,是需要進行驗證的。只有設置了password,才能正確的讀取信息。相反,如果redis沒有設置密碼,而logstash中配置了密碼,也會報錯!

batch_count

這個屬性設置了服務器端返回的事件數目,比如設置了5條,那么每次請求最多會直接獲取5條日志返回。

data_type logstash工作的類型

logstash中的redis插件,指定了三種方式來讀取redis隊列中的信息。

  • list=>BLPOP
  • channel=>SUBSCRIBE
  • pattern_channel=>PSUBSCRIBE

其中list,相當于隊列;channel相當于發布訂閱的某個特定的頻道;pattern_channel相當于發布訂閱某組頻道。channel與pattern_channel區別就在于一個是監聽特定的鍵值,一個是監聽某一組鍵值。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/535377.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/535377.shtml
英文地址,請注明出處:http://en.pswp.cn/news/535377.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

logstash-input-redis源碼解析

首先是程序的自定義,這里設置了redis插件需要的參數,默認值,以及校驗等。 然后注冊Redis實例需要的信息,比如key的名字或者url等,可以看到默認的data_type是list模式。 程序運行的主要入口,根據不同的dat…

logstash-filter模塊

Fillters 在Logstash處理鏈中擔任中間處理組件。他們經常被組合起來實現一些特定的行為來,處理匹配特定規則的事件流。常見的filters如下: grok:解析無規則的文字并轉化為有結構的格式。Grok 是目前最好的方式來將無結構的數據轉換為有結構可…

weblogic啟動慢

1.最差的解決辦法 執行命令 mv /dev/random /dev/random.ORIG ln /dev/urandom /dev/random   將/dev/random 指向/dev/urandom 2. 較好的解決辦法: 在weblogic啟動腳本里setDomainEnv.sh: 加入以下內容 JAVA_OPTIONS"${JAVA_OPTIONS}" -Dja…

SSL雙向認證和SSL單向認證的區別

雙向認證 SSL 協議要求服務器和用戶雙方都有證書。單向認證 SSL 協議不需要客戶擁有CA證書,具體的過程相對于上面的步驟,只需將服務器端驗證客戶證書的過程去掉,以及在協商對稱密碼方案,對稱通話密鑰時,服務器發送給客…

雙向認證SSL原理

文中首先解釋了加密解密的一些基礎知識和概念,然后通過一個加密通信過程的例子說明了加密算法的作用,以及數字證書的出現所起的作用。接著對數字證書做一個詳細的解釋,并討論一下windows中數字證書的管理,最后演示使用makecert生成…

Xtrabackup備份與恢復

一、Xtrabackup介紹 Percona-xtrabackup是 Percona公司開發的一個用于MySQL數據庫物理熱備的備份工具,支持MySQL、Percona server和MariaDB,開源免費,是目前較為受歡迎的主流備份工具。xtrabackup只能備份innoDB和xtraDB兩種數據引擎的表&…

實時備份工具之inotify+rsync

1.inotify簡介 inotify 是一個從 2.6.13 內核開始,對 Linux 文件系統進行高效率、細粒度、異步地監控機制, 用于通知用戶空間程序的文件系統變化。可利用它對用戶空間進行安全、性能、以及其他方面的監控。Inotify 反應靈敏,用法非常簡單&…

nginx proxy_cache緩存詳解

目錄 1. 關于緩沖區指令 1.1 proxy_buffer_size1.2 proxy_buffering1.3 proxy_buffers1.4 proxy_busy_buffers_size1.5 proxy_max_temp_file_size1.6 proxy_temp_file_write_size1.7 緩沖區配置實例2. 常用配置項 2.1 proxy_cache_path2.2 proxy_temp_path2.3 proxy_cache2.4 …

mysql主從延遲

在實際的生產環境中,由單臺MySQL作為獨立的數據庫是完全不能滿足實際需求的,無論是在安全性,高可用性以及高并發等各個方面 因此,一般來說都是通過集群主從復制(Master-Slave)的方式來同步數據&#xff0c…

16張圖帶你吃透高性能 Redis 集群

現如今 Redis 變得越來越流行,幾乎在很多項目中都要被用到,不知道你在使用 Redis 時,有沒有思考過,Redis 到底是如何穩定、高性能地提供服務的? 你也可以嘗試回答一下以下這些問題: 我使用 Redis 的場景很…

Redis與MySQL雙寫一致性如何保證

談談一致性 一致性就是數據保持一致,在分布式系統中,可以理解為多個節點中數據的值是一致的。 強一致性:這種一致性級別是最符合用戶直覺的,它要求系統寫入什么,讀出來的也會是什么,用戶體驗好,…

weblogic忘記console密碼

進入 cd /sotware/oracle_ldap/Middleware/user_projects/domains/base_domain/security/ 目錄 執行 java -classpath /sotware/oracle_ldap/Middleware/wlserver_10.3/server/lib/weblogic.jar weblogic.security.utils.AdminAccount weblogic(賬號) weblogic123(密碼) . …

Mysql高性能優化技能總結

數據庫命令規范 所有數據庫對象名稱必須使用小寫字母并用下劃線分割 所有數據庫對象名稱禁止使用mysql保留關鍵字(如果表名中包含關鍵字查詢時,需要將其用單引號括起來) 數據庫對象的命名要能做到見名識意,并且最后不要超過32個…

Redis的AOF日志

如果 Redis 每執行一條寫操作命令,就把該命令以追加的方式寫入到一個文件里,然后重啟 Redis 的時候,先去讀取這個文件里的命令,并且執行它,這不就相當于恢復了緩存數據了嗎? 這種保存寫操作命令到日志的持久…

Redis 核心技術與實戰

目錄 開篇詞 | 這樣學 Redis,才能技高一籌 01 | 基本架構:一個鍵值數據庫包含什么? 02 | 數據結構:快速的Redis有哪些慢操作? 鍵和值用什么結構組織? 為什么哈希表操作變慢了? 有哪些底層數…

redis核心技術與實戰(二)緩存應用篇

1.《旁路緩存:redis 在緩存中工作原理》 1.緩存的兩個特征 1.什么是緩存,有什么特征? 磁盤->內存->cpu 之間讀寫速度差異巨大,為了平衡他們之間的差異,操作系統默認使用了兩種緩存; CPU 里面的末級…

redis核心技術與實戰(三) 性能篇

影響redis性能主要有以下部分: Redis 內部的阻塞式操作; CPU核和NUMA架構 Redis關鍵系統配置 Redis內存碎片 Redis緩沖區 下面一個個來介紹這些地方 1.《redis 有哪些阻塞點?》 redis實例主要交互的對象有以下幾點,我們依據下面這…

redis核心與實戰(一)數據結構篇

1.《redis數據結構概覽》 1.數據結構概覽 數據模型:一共5種,String(字符串)、List(列表)、Hash(哈希)、Set(集合)和 Sorted Set(有序集合&#xf…

redis核心技術與實戰(四)高可用高擴展篇

1.《redis架構組成》 1.redis學習維度 2.一個基本的鍵值型數據庫包括什么? 1.訪問框架 redis通過網絡框架進行訪問,使得 Redis 可以作為一個基礎性的網絡服務進行訪問,擴大了redis應用范圍; 過程:如果客戶端發送“pu…

tomcat監控腳本

#!/bin/sh# func:自動監控tomcat腳本并且執行重啟操作# 獲取tomcat進程ID(其中[grep -w .....]中的.....需要替換為實際部署的tomcat文件夾名,如下) TomcatID$(ps -ef |grep tomcat |grep -w /usr/local/tomcat/apache-tomcat-8.5.31|grep -v…