logstash5.x改變

5.x版本 logstash中 elasticsearch插件的workers,無法配置大于1,會提示?This plugin uses the shared and doesn't need this option

這個的意思是進到logstash本身的配置文件pipeline.output.workers。

不要一開始就修改workers個數。這也許是一個誤區。雖然確實可以起到一些作用。

檢查cpu

請注意CPU是否被大量使用。 在Linux / Unix上,運行top -H以查看線程分解的進程統計信息,以及總CPU統計信息。
如果CPU使用率很高,請跳到有關檢查JVM堆的部分,然后閱讀有關調整Logstash工作線程設置的部分。

檢查內存

請注意Logstash在Java VM上運行的事實。 這意味著Logstash將始終使用您分配給它的最大內存量。
查找使用大量內存的其他應用程序,并可能導致Logstash切換到磁盤。 如果應用程序使用的總內存超過物理內存,則會發生這種情況。

檢查IO

監視磁盤I / O以檢查磁盤飽和。

如果使用Logstash插件(例如文件輸出),可能會使存儲飽和,則可能會出現磁盤飽和。
磁盤飽和也可能發生,如果你遇到很多錯誤,強制Logstash生成大的錯誤日志。
在Linux上,可以使用iostat,dstat或類似于監視磁盤I / O的東西。

監視網絡I / O以實現網絡飽和。

如果使用執行大量網絡操作的輸入/輸出,則可能發生網絡飽和。
在Linux上,可以使用諸如dstat或iftop之類的工具來監視網絡。

通常情況下,如果堆大小太低,CPU利用率經常過限制(百分之百),導致JVM不斷進行垃圾回收。
檢查此問題的快速方法是將堆大小加倍,并查看性能是否提高。 不要增加超過物理內存量的堆大小。 為操作系統和其他進程保留至少1GB的空閑空間。
可以使用隨Java分發的jmap命令行實用程序或使用VisualVM對JVM堆進行更準確的度量。

調整Logstash工作線程設置:

首先使用-w標志擴大管道工作線程的數量。 這將增加可用于過濾器和輸出的線程數。 如果需要,可以安全地將其擴展到多個CPU內核,因為線程可以在I / O上變為空閑。
默認情況下,每個輸出只能在單個管道工作線程中處于活動狀態。 可以通過更改每個輸出的配置塊中的workers設置來增加此值。 不要使此值大于管道工人的數量。
還可以調整輸出批處理大小。 對于許多輸出,例如Elasticsearch輸出,此設置將對應于I / O操作的大小。 在Elasticsearch輸出的情況下,此設置對應于批處理大小。

pipeline.batch.size設置定義單個工作線程在嘗試執行過濾器和輸出之前收集的最大事件數。 較大的批量大小通常更高效,但增加了內存開銷。 某些硬件配置要求您通過設置LS_HEAP_SIZE變量來增加JVM堆大小,以避免使用此選項導致性能下降。 此參數的值超過最佳范圍會導致由于頻繁的垃圾回收或與內存不足異常相關的JVM崩潰而導致性能下降。 輸出插件可以將每個批處理作為邏輯單元處理。 例如,Elasticsearch輸出針對接收的每個批生產批量請求。 調整pipeline.batch.size設置可調整發送到Elasticsearch的批量請求的大小。

pipeline.batch.delay設置很少需要調整。 此設置調整Logstash管道的延遲。 流水線批處理延遲是Logstash在當前管道工作線程中接收到事件后等待新消息的最大時間(毫秒)。 在此時間過后,Logstash開始執行過濾器和輸出.Logstash在接收事件和在過濾器中處理該事件之間等待的最大時間是pipeline.batch.delay和pipeline.batch.size設置的乘積。

如果計劃修改默認管道設置,請考慮以下建議:

事件的總數由pipeline.workers和pipeline.batch.size設置的乘積確定。稱為流動計數。 在調整pipeline.workers和pipeline.batch.size設置時,請記住流動計數的值。 以不規則間隔間歇接收大型事件的管道需要足夠的內存來處理這些尖峰。 相應地配置LS_HEAP_SIZE變量。
測量每個更改以確保其性能提高,而不是降低。
確保留下足夠的內存可用來應付突然增加的事件大小。 例如,生成表示為大文本塊的異常的應用程序。

工作程序的數量可以設置為高于CPU核心的數量,因為輸出經常在I / O等待條件中花費空閑時間。
Java中的線程具有名稱,可以使用jstack,top和VisualVM圖形工具來確定給定線程使用的資源。
在Linux平臺上,Logstash標記了所有可以描述的線程。 例如,輸入顯示為[base] <inputname,過濾器/輸出工作者顯示為[base]> workerN,其中N是整數。 在可能的情況下,還會標記其他線程以確定其目的。

?

轉載于:https://www.cnblogs.com/guochunyi/p/6148618.html

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/394445.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/394445.shtml
英文地址,請注明出處:http://en.pswp.cn/news/394445.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Suricata的初始化腳本

見官網 https://suricata.readthedocs.io/en/latest/initscripts.html

jpa在自己創建表的是字段名不一致_用 數據透視表 完成 Excel多表合并

一般情況下&#xff0c;數據透視表只能匯總一個表格中的數據。即使使用多區域匯總&#xff0c;也只能對多表的單列內容進行數據匯總&#xff0c;而多列卻無法實現。前段時間也推送過Power Query的方法&#xff0c;但它有版本限制。而今天宏興會計培訓小編推送的是一個通用的多表…

python根據數據生成圖像_從三個numpy數組生成圖像數據

首先&#xff0c;您應該運行以下代碼&#xff1a;import numpy as npX np.asarray()Y np.asarray()Z np.asarray()Xu np.unique(X)Yu np.unique(Y)然后您可以應用以下任何一種方法。值得注意的是&#xff0c;即使數據沒有被分類(與目前接受的答案相反)&#xff0c;所有這些…

leetcode120. 三角形最小路徑和(動態規劃)

**給定一個三角形&#xff0c;找出自頂向下的最小路徑和。**每一步只能移動到下一行中相鄰的結點上。 相鄰的結點 在這里指的是 下標 與 上一層結點下標 相同或者等于 上一層結點下標 1 的兩個結點。 例如&#xff0c;給定三角形&#xff1a; [ [2], [3,4], [6,5,7], [4,1,…

Bootstrap教程:學習構建第一個Bootstrap 4網站

快速教程&#xff0c;可幫助您快速掌握最新版本的Bootstrap。 (A quick tutorial to get you up to speed with the latest version of Bootstrap.) In my opinion, the best way to learn a new technology is often to start building stuff from day one. This gives a sens…

使用棧實現隊列 Implement Queue using Stacks

為什么80%的碼農都做不了架構師&#xff1f;>>> 問題&#xff1a; Implement the following operations of a queue using stacks. push(x) -- Push element x to the back of queue.pop() -- Removes the element from in front of queue.peek() -- Get the front…

Java利用POI生成Excel強制換行

前一段時間在做一個學校排課系統時&#xff0c;有一個地方需要利用把課程表生成excel匯出給客戶&#xff0c;由于之前用excel都只是簡單的應用&#xff0c;在單元格里都是用自動換行&#xff0c;而這次可能需要用到手動強制換行。 于是我在網上找了一下&#xff0c;網上找到的文…

550什么意思_研報翻譯官第二期:帶你了解什么是CPI

歡迎收看“第二期”研報翻譯官&#xff0c;臨近年末&#xff0c;各類金融研報接踵而至&#xff0c;我們也常會看到GDP、CPI、PPI這類字眼。過年回家跟親戚朋友嘮嗑的時候&#xff0c;如果不扯上幾句CPI或PPI&#xff0c;都顯自己得不夠專業。聽你們吹牛&#xff0c;我炒菜都有勁…

leetcode1314. 矩陣區域和(動態規劃)

給你一個 m * n 的矩陣 mat 和一個整數 K &#xff0c;請你返回一個矩陣 answer &#xff0c;其中每個 answer[i][j] 是所有滿足下述條件的元素 mat[r][c] 的和&#xff1a; i - K < r < i K, j - K < c < j K (r, c) 在矩陣內。 示例 1&#xff1a; 輸入&…

python讀取數據庫文件的擴展名_Python讀取sqlite數據庫文件的方法分析

本文實例講述了Python讀取sqlite數據庫文件的方法。分享給大家供大家參考&#xff0c;具體如下&#xff1a;這是Python內置的&#xff0c;不需要pip install 包數據庫里面有很多張表要操作數據庫首先要連接conect數據庫然后創建游標cursor來執行execute&#xff33;&#xff31…

C# 文件異步操作

using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; using System.IO;//文件異步操作 namespace FileAsynchronousOperation {class Program{static void Main(string[] args){//實例化MyFile類MyFile myF…

軟考 中級職稱哪些最熱門_我如何利用有史以來最熱門的中級故事來建立排行榜。 以及它幾乎是怎么死的。...

軟考 中級職稱哪些最熱門by Michael Deng鄧小平 我如何利用有史以來最熱門的中級故事來建立排行榜。 以及它幾乎是怎么死的。 (How I built a leaderboard with the top Medium stories of all time. And how it almost died.) Last year I built Top Medium Stories — a web…

面試題一

1.html頁面由標簽組成&#xff0c;請寫出<head>中腳本定義標簽、下拉選擇框標簽  腳本定義標簽&#xff1a;<javascript></javascript>   下拉框選擇標簽&#xff1a;<select><option values""></option></select> 2…

leetcode712. 兩個字符串的最小ASCII刪除和(動態規劃)-Gogo

給定兩個字符串s1, s2&#xff0c;找到使兩個字符串相等所需刪除字符的ASCII值的最小和。 示例 1: 輸入: s1 “sea”, s2 “eat” 輸出: 231 解釋: 在 “sea” 中刪除 “s” 并將 “s” 的值(115)加入總和。 在 “eat” 中刪除 “t” 并將 116 加入總和。 結束時&#xff0…

python中封裝是什么意思_Python中數據封裝是什么?

封裝——“隱藏一切可以隱藏的實現細節&#xff0c;只向外界暴露(提供)簡單的編程接口”。在上節的 Student 類中&#xff0c;每個實例就擁有各自的 name 和 age 這些數據。我們可以通過函數來訪問這些數據&#xff0c;比如打印一個學生的年齡&#xff1a;>>> def pri…

jieba庫的使用

jieba庫的使用: jieba庫是一款優秀的 Python 第三方中文分詞庫&#xff0c;jieba 支持三種分詞模式&#xff1a;精確模式、全模式和搜索引擎模式&#xff0c;下面是三種模式的特點。 精確模式&#xff1a;試圖將語句最精確的切分&#xff0c;不存在冗余數據&#xff0c;適合做文…

Go語言實現HashSet

set.go // set project set.go package settype Set interface {Add(e interface{}) boolRemove(e interface{})Clear()Contains(e interface{}) boolLen() intSame(other Set) boolElements() []interface{}String() string }// 將集合other添加到集合one中 func AddSet(one S…

c#控件彈幕效果_C# Form 實現桌面彈幕

使用C# Form 簡單的實現了彈幕效果1.創建一個Form 設置2.添加一個計時器3. 代碼using System;using System.Collections.Generic;using System.ComponentModel;using System.Data;using System.Drawing;using System.Drawing.Text;using System.Linq;using System.Text;using S…

Makefile中怎么使用Shell if判斷

/********************************************************************** Makefile中怎么使用Shell if判斷* 說明&#xff1a;* 譬如可能會在Makfile中需要判斷文件、文件夾的存在&#xff0c;使用shell語法* 輸出一些信息&#xff0c;等等。** …

我如何使用React和Typescript在freeCodeCamp中構建天氣應用

by Kelvin Mai通過凱文麥 我如何使用React和Typescript在freeCodeCamp中構建天氣應用 (How I built the weather app in freeCodeCamp using React and Typescript) So I finally decided to come back to freeCodeCamp and try to finish out my Front End Development Certi…