kafka進階(二)

文章目錄

  • 前言
  • 一、Ack機制
  • 二、ISR集合
  • 總結


前言

本篇主要介紹kafka 的 Ack機制ISR集合
在這里插入圖片描述

一、Ack機制

Kafka提供了三種不同的應答機制(ACK):
acks=0:這是最不可靠的模式。在這種模式下,生產者不會等待來自服務器的確認,這意味著消息可能會在發送之后丟失,而生產者將無法知道它是否成功到達服務器。
acks=1:這是默認模式,也是一種折衷方式。在這種模式下,生產者會在消息發送后等待來自分區領導者的確認,但不會等待所有副本的確認。這意味著只要消息被寫入分區領導者,生產者就會收到確認。如果分區領導者成功寫入消息,但在同步到所有副本之前宕機,消息可能會丟失。
acks=all:這是最可靠的模式。在這種模式下,生產者會在消息發送后等待所有副本的確認。只有在所有副本都成功寫入消息后,生產者才會收到確認。這確保了消息的可靠性,但會導致更長的延遲。

二、ISR集合

ISR(in-sync replica) 就是 Kafka 為某個分區維護的一組同步集合,即每個分區都有自己的一個 ISR 集合,處于 ISR 集合中的副本,意味著 follower 副本與 leader 副本保持同步狀態,只有處于 ISR 集合中的副本才有資格被選舉為 leader。一條 Kafka 消息,只有被 ISR 中的副本都接收到,才被視為“已同步”狀態。這跟 zk 的同步機制不一樣,zk 只需要超過半數節點寫入,就可被視為已寫入成功。

如果一個follower因為某種故障遲遲無法與leader 同步,那么如果選擇 ack 為 all 的話,leader 要一直等待follower 同步完才發 ack 嗎
顯然不是,in-sync replica set (ISR),意為和leader保持同步的follower集合。當ISR中的follower完成數據的同步之后,leader就會給producer發送ack。如果follower長時間未向leader同步數據,則該follower將被踢出ISR,該時間閾值由replica.lag.time.max.ms參數設定。Leader發生故障之后,就會從ISR中選舉新的leader。
被踢出 ISR 的 follower 在選舉新的 leader 時不被考慮,待該follower恢復后,follower會讀取本地磁盤記錄的上次的HW,并將log文件高于HW的部分截取掉,從HW開始向leader進行同步。等該follower的LEO大于等于該Partition的HW,即follower追上leader之后,就可以重新加入ISR了。
同樣的 leader 故障的話,會從ISR中選出一個新的leader,之后,為保證多個副本之間的數據一致性,其余的follower會先將各自的log文件高于HW的部分截掉,然后從新的leader同步數據。
LEO:指的是每個副本最大的offset;
HW:指的是消費者能見到的最大的offset,ISR隊列中最小的LEO。
在這里插入圖片描述


總結

千里之行,始于足下!

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/717168.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/717168.shtml
英文地址,請注明出處:http://en.pswp.cn/news/717168.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

三、軟考-系統架構設計師筆記-計算機系統基礎知識

計算機系統概述 計算機系統是指用于數據管理的計算機硬件、軟件及網絡組成的系統。 它是按人的要求接收和存儲信息,自動進行數據處理和計算,并輸出結果信息的機器系統。 馮諾依曼體系計算機結構: 1、計算機硬件組成 馮諾依曼計算機結構將…

正向代理的反爬蟲與防DDoS攻擊:保護網站免受惡意行為

目錄 前言 一、正向代理的原理 二、正向代理的反爬蟲功能 1. IP地址隱藏 2. 請求多樣化 三、正向代理的防DDoS攻擊功能 1. 均衡負載 2. IP過濾 結論 前言 在當前互聯網環境下,網站常常受到各種惡意行為的侵襲,其中包括爬蟲和DDoS攻擊。這些行為…

#WEB前端(DIV、SPAN)

1.實驗&#xff1a;DIV、SPAN 2.IDE&#xff1a;VSCODE 3.記錄&#xff1a; 類? 4.代碼&#xff1a; <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdev…

《中國計算機學會通訊》2022年第10期讀書筆記

試看&#xff1a;https://dl.ccf.org.cn/reading.html?_ack1&id6177027364096000 為計算機科學技術的大變局立言 重要的不是找答案&#xff0c;而是提出別人沒有想到或者還不重視的科學問題和技術方向。 幾乎沒有人愿意去去急需研發人才的中小企業。 CCCF應當關心作為…

數據庫系統架構與DBMS功能探微:現代信息時代數據管理的關鍵

?? 歡迎大家來訪Srlua的博文&#xff08;づ&#xffe3;3&#xffe3;&#xff09;づ╭?&#xff5e;?? &#x1f31f;&#x1f31f; 歡迎各位親愛的讀者&#xff0c;感謝你們抽出寶貴的時間來閱讀我的文章。 我是Srlua&#xff0c;在這里我會分享我的知識和經驗。&#x…

現代化數據架構升級:毫末智行自動駕駛如何應對年增20PB的數據規模挑戰?-OceanBase案例

毫末智行是一家致力于自動駕駛的人工智能技術公司&#xff0c;其前身是長城汽車智能駕駛前瞻分部&#xff0c;以零事故、零擁堵、自由出行和高效物流為目標&#xff0c;助力合作伙伴重塑和全面升級整個社會的出行及物流方式。 在自動駕駛領域中&#xff0c;是什么原因讓毫末智行…

Linux——基本指令

系列文章目錄 文章目錄 系列文章目錄一、Linux基本常識二、Linux基本指令2.1 mkdir指令&#xff08;重要&#xff09;2.2 rmdir指令2.3 rm指令&#xff08;重要&#xff09;2.4 touch指令2.5 ls指令2.6 pwd指令2.7 cd指令2.7.1 Linux中的目錄結構2.7.2 絕對路徑和相對路徑2.7.3…

對程序、進程、線程、并發、并行、高并發概念的講解

一、概述 程序、進程、線程、并發、并行和高并發是計算機科學領域中非常重要的概念。 了解進程、線程、并發和并行的概念&#xff0c;可以更好地利用計算機的多核處理器和并行計算能力&#xff0c;提高計算機性能。 了解進程和線程為操作系統中的資源管理提供了基礎&#xff…

【風格遷移】對比度保持連貫性損失 CCPL:解決圖像局部失真、視頻幀間的連貫性和閃爍

對比度保持連貫性損失 CCPL&#xff1a;解決圖像局部失真、視頻幀間的連貫性和閃爍 提出背景解法&#xff1a;對比度保持連貫性損失&#xff08;CCPL&#xff09; 局部一致性假設 對比學習機制 鄰域調節策略 互信息最大化對比學習&#xff1a;在無需標簽的情況下有效學習區分…

基于YOLOv8/YOLOv7/YOLOv6/YOLOv5的教室人員檢測與計數(Python+PySide6界面+訓練代碼)

摘要&#xff1a;開發教室人員檢測與計數系統對于優化教學資源和提升教學效率具有重要意義。本篇博客詳細介紹了如何利用深度學習構建此系統&#xff0c;并提供了完整的實現代碼。該系統基于強大的YOLOv8算法&#xff0c;并對比了YOLOv7、YOLOv6、YOLOv5的性能&#xff0c;展示…

藍橋杯第2章:基礎算法_3

1.聰明的小羊肖恩 - 藍橋云課 (lanqiao.cn) #include <bits/stdc.h> using namespace std; typedef long long LL; const int mod100000007; const int N200010; int n,L,R; int a[N]; LL calc(int v){//計算數組a中兩個數之和小于等于v的數對數量int l1,rn;LL ans0;whi…

[vue error] TypeError: AutoImportis not a function

問題詳情 問題描述: element plus按需導入后&#xff0c;啟動項目報錯&#xff1a; 問題解決 將unplugin-auto-import 回退到0.16.1 npm install unplugin-auto-import0.16.1 安裝完后再次運行就好了

差分題練習(區間更新)

一、差分的特點和原理 對于一個數組a[]&#xff0c;差分數組diff[]的定義是: 對差分數組做前綴和可以還原為原數組: 利用差分數組可以實現快速的區間修改&#xff0c;下面是將區間[l, r]都加上x的方法: diff[l] x; diff[r 1] - x;在修改完成后&#xff0c;需要做前綴和恢復…

PYTHON 自動化辦公:壓縮圖片(PIL)

1、介紹 在辦公還是學習過程中&#xff0c;難免會遇到上傳照片的問題。然而照片的大小限制一直都是個問題&#xff0c;例如照片限制在200Kb之內&#xff0c;雖然有很多圖像壓縮技術可以實現&#xff0c;但從圖像處理的專業來說&#xff0c;可以利用代碼實現 這里使用的庫函數是…

云計算之道:學習方法、實踐經驗與行業展望

一、云計算的理論 云計算是一種基于網絡的計算模型&#xff0c;通過將計算資源、存儲資源和服務等提供給用戶&#xff0c;實現按需獲取、靈活部署和按照使用量付費等特點。云計算的基本原理包括以下幾個方面&#xff1a; 虛擬化技術&#xff1a;云計算基于虛擬化技術&#xff…

Vue2-(jeecgBoot) img大圖預覽

img 圖片展示&#xff0c;大圖預覽失效解決&#xff0c;代碼中使用的預覽組件為&#xff1a;vue-photo-preview 使用場景&#xff1a;詳情頁面-model.images循環展示&#xff0c;點擊查看大圖&#xff0c;不能點擊。 解決方案&#xff1a; 在詳情數據請求完畢加 this.$previ…

觀成科技:加密C2框架Covenant流量分析

工具介紹 Covenant是一個基于.NET的開源C2服務器&#xff0c;可以通過HTTP/HTTPS 控制Covenant agent&#xff0c;從而實現對目標的遠程控制。Covenant agent在與C2通信時&#xff0c;使用base64/AES加密載荷的HTTP隧道構建加密通道。亦可選擇使用SSL/TLS標準加密協議&#xf…

Java網絡通信TCP

目錄 TCP兩個核心類 服務端 1.用ServerSocker類創建對象并且手動指定端口號 2.accept阻塞連接服務端與客戶端 3.給客戶端提供處理業務方法 4.處理業務 整體代碼 客戶端 1.創建Socket對象&#xff0c;并連接服務端的ip與端口號 2.獲取Socket流對象&#xff0c;寫入數據…

Linux: Network: socket: sendto 如果返回0,是否一定代表發送成功?

最近遇到一個問題&#xff0c;雖然應用層使用的系統調用send已經返回成功&#xff0c;而且沒有錯誤日志產生&#xff0c;也沒有errno的設置。那是不是代表一定是沒有問題&#xff1f;從抓包的結果看&#xff0c;雖然上層應用已經顯示發出去&#xff0c;但是實際抓包的時候&…

[python隊列廣搜]請佩戴好口罩

請佩戴好口罩 題目描述 疫情當下&#xff0c;希望同學們都認真佩戴口罩&#xff0c;保護自己&#xff0c;保護他人。 現假設有一個n*n的網格&#xff0c;每個人分別站在網格中的一個方格上&#xff0c;人們可以選擇佩戴/不佩戴口罩&#xff0c;口罩對于病毒的傳播有如下影響&…