kafka消費者重平衡是什么?怎么避免?

????????消費者重平衡是指主題下的分區怎么分配給消費者的過程。下面這個圖可以看出該過程:原來有2個消費者,3個分區,其中一個消費者肯定就的處理2個分區了。那么當新加入消費者時,則每個消費者就只處理一個分區了。處理這個分區過程的叫協調者,協調者就在broker端。

? ? ? ? 當發生重平衡時,所有消費者都不能收到消息,所以發生這個過程是非常嚴肅的。

什么時候會發生重平衡?

  1. ?新的消費者加入。
  2. 消費者主動離開。比如取消對主題的訂閱。
  3. 消費者崩潰離開。比如網絡延遲導致心跳一直沒收到。
  4. 主題分區數發生變更。

怎么避免消費者重平衡?

? ? ? ? 有幾個參數可以重點看下:

  1. session.timeout.ms=10 協調者超過10秒沒有收到消費者的請求則認為消費者已經下線。
  2. heartbeat.interval.ms 心跳頻率。消費者間隔多久發送心跳。
  3. max.poll.interval.ms 消費者兩次調用poll的時間間隔,默認是5分鐘。超過5分鐘則認為上次拉去的消息一直沒消費完成,也被認為需要重平衡。
  4. max.poll.records=500 默認單次最大拉取條數為500。如果一次拉取太多數據,會導致超時了還沒處理完成。

????????主題有3個分區,那么消費者組員數應該也是3個才算合理的分配,多出的組員將無法分配消費分區是種浪費。消費者對應機器數最好是固定的,避免頻繁加減節點帶來的重平衡。

????????

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/716993.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/716993.shtml
英文地址,請注明出處:http://en.pswp.cn/news/716993.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

詳解Nacos注冊中心的使用

文章目錄 1、安裝2、服務注冊2.1、引入依賴2.2、配置nacos地址2.3、重啟 3、服務分級存儲模型3.1、給user-service配置集群3.2、同集群優先的負載均衡 4、權重配置5、環境隔離5.1、創建namespace5.2、配置namespace 6、Nacos與Eureka的區別7、代碼免費分享 ?🍃作者…

首例以“冠狀病毒”為主題的勒索病毒,篡改系統MBR

前言概述 2020年勒索病毒攻擊仍然是網絡安全的最大威脅,在短短三個月的時間里,已經出現了多款新型的勒索病毒,關于2020年勒索病毒攻擊新趨勢,可以閱讀筆者寫的上一篇文章,里面有詳細的分析,從目前觀察到的…

Linux 學習筆記(9)

九、 運行級別 1 、 Linux 系統的運行級別 (runlevel) Linux 系統有 7 個運行級別, Linux 系統任何時候都運行在一個指定的運行級別上,不同的運行級 別所運行的程序和服務不盡相同,所要完成的工作和要達到的目的也不相同 運行級別…

RH850P1X芯片學習筆記-Generic Timer Module -ATOM

文章目錄 ARU-connected Timer Output Module (ATOM)OverviewGLOBAL CHANNEL CONTROL BLOCK ATOM Channel architectureATOM Channel modesSOMP-Signal Output Mode PWMSOMP - ARUSOMC-Signal Output Mode CompareSOMC - ARUSOMC – COMPARE COMMANDSOMC – OUTPUT ACTIONATOM …

Python縮進規則

Python的縮進規則是Python語法中非常重要的一部分,也是Python語言獨特的特點之一。在Python中,縮進被用來表示代碼塊的層次結構,而不是像其他語言一樣使用大括號或關鍵詞。這種縮進規則使得Python代碼更加簡潔、易讀、易于理解,同…

python模塊百科_操作系統接口_os【一】

python模塊百科_操作系統接口_os【一】 os --- 多種操作系統接口一、相關模塊1.1 os.path 文件路徑1.2 fileinput 文件讀取1.3 tempfile 臨時文件和目錄1.4 shutil 高級文件和目錄1.5 platform 操作系統底層模塊 二、關于函數適用性的說明2.1 與操作系統相同的接口2.2 支持字節…

Git版本管理常用指令

Git常用命令 一、基本指令二、本地倉庫管理三、遠程倉庫管理四、分支管理五、儲藏區六、標簽管理一、基本指令 查看Git安裝版本:git --version 查看log指令的幫助信息:git log --help 配置Git用戶名:git config --global user.name “xxxxx” 配置Git郵箱: git config --…

2024年騰訊云新用戶優惠券領取入口及使用教程

隨著云計算技術的不斷發展和普及,越來越多的個人和企業選擇使用云服務。騰訊云作為國內領先的云服務提供商,為了吸引新用戶,經常推出各種優惠活動,其中就包括新用戶專屬優惠券,本文將為大家分享騰訊云新用戶優惠券的領…

5個好玩神奇還免費的工具網站收藏不后悔-搜嗖工具箱

生命倒計時 http://www.thismuchlonger.com 這是一個相哇塞的網站,可以讓我們靜下心來好好想想我們來這個世界究竟為了什么,因為當我們作為命運的主宰者。敲打鍵盤設定好自己一生長度的時候,我們的剩余壽命已經成絕對值,一旦生命…

創建型模式之原型模式

一、概述 1、工作原理:將一個原型對象傳給要發動創建的對象(即客戶端對象),這個要發動創建的對象通過請求原型對象復制自己來實現創建過程 2、通過克隆方法所創建的對象是全新的對象,它們在內存中擁有新的地址,每一個克隆對象都是獨立的 3…

MySQL 中的 varchar 和 char 有什么區別?MySQL中 in 和 exists 區別?

MySQL 中的 varchar 和 char 有什么區別? char 是一個定長字段,假如申請了char(10)的空間,那么無論實際存儲多少內容.該字段都占用 10 個字符,而 varchar 是變長的,也就是說申請的只是最大長度,占用的空間為實際字符長度1,最后一個字符存儲使用了多長的空間. 在檢索…

李沐動手學習深度學習——3.6練習

本節直接實現了基于數學定義softmax運算的softmax函數。這可能會導致什么問題?提示:嘗試計算exp(50)的大小。 可能存在超過計算機最大64位的存儲,導致精度溢出,影響最終計算結果。 本節中的函數cross_entropy是根據交叉熵損失函數…

JavaScript之數據類型

系列文章目錄 文章目錄 系列文章目錄前言 前言 前些天發現了一個巨牛的人工智能學習網站,通俗易懂,風趣幽默,忍不住分享一下給大家。點擊跳轉到網站,這篇文章男女通用,看懂了就去分享給你的碼吧。 數據類型   Java…

20.圖

圖的基本概念 1.圖的定義 由頂點和邊組成的集合,G(V,E) 2.基本概念 鄰接點: 對于無向圖u v來說,uv互為鄰接點 對于有向圖u->v來說,v是u的鄰接點,但u不是v的臨界點 路徑: 一個頂點到另一個頂點所經過的…

從Poincare猜想看中國數學的國際地位

2006年丘成桐學派利用北京晨興數學中心,宣布一名俄國學者Poincare猜想研究中存在錯誤,已經由華裔學者朱熹平和曹懷東糾正過來,但數年以后我發現作為千禧七問題之一的Poincazre猜想,英國克萊數學所還是把1百萬美元獎金送給俄國人。…

藍橋杯:卡片

題目 小藍有很多數字卡片,每張卡片上都是數字0 到9。 小藍準備用這些卡片來拼一些數,他想從1 開始拼出正整數,每拼一個,就保存起來,卡片就不能用來拼其它數了。 小藍想知道自己能從1 拼到多少。 例如,當小…

動態規劃-最長公共子串(c)

動態規劃 動態規劃(dynamic programming)是一種算法設計方法。基本思想是在對一個問題的多階段決策中,按照某一順序,根據每一步所選決策的不同,會引起狀態的轉移,最后會在變化的狀態中獲取到一個決策序列。…

vs code更新后json文件無法識別通配符 ,編譯多文件失敗的解決辦法

問題描述 在Mac或者LInux上,進行C/C相同路徑下進行多文件編譯時,之前設置好的json文件突然不能解釋通配符,并且將帶有單引號的地址傳給clang,由于*.c被擴在單引號中,clang找不到文件導致失敗。 如果將命令端中的指令復…

云服務器無法Ping通解決

問題: 使用公網IP地址PING云服務器,無法PING通 但是可SSH到服務器,表示通信鏈路是正常的,可能是端口或路徑規則未開放導致 登陸云服務器后臺,進行安全組規則查看,發現ICMP沒有放行 添加允許ICMP連接規則 成功PING通云服務器

LeetCode——二叉樹(Java)

二叉樹 簡介[簡單] 144. 二叉樹的前序遍歷、94. 二叉樹的中序遍歷、145. 二叉樹的后序遍歷二叉樹層序遍歷[中等] 102. 二叉樹的層序遍歷[中等] 107. 二叉樹的層序遍歷 II[中等] 199. 二叉樹的右視圖[簡單] 637. 二叉樹的層平均值[中等] 429. N 叉樹的層序遍歷[中等] 515. 在每個…