Kafka中的 ISR 機制

ISR 是什么

ISR 的全稱叫做: In-Sync Replicas (同步副本集), 可以理解為和 leader 保持同步的所有副本的集合。ISR 動態維護了一個和 leader 副本保持同步副本集合,ISR 中的副本全部都和 leader 的數據保持同步。

設一個場景,有6個分區集合,分別為 [0,1,2,3,4,5],其中 leader-replica 是 0

其中 [1,2,3] 作為 follower 和 leader 的數據保持同步,而 [4,5] 未能和 leader 保持同步,那么此時,ISR=[0,1,2,3],OSR=[4,5]

如果此時副本 4 追上了 leader-replica,也就是和 leader 保持到了同步,那么此時,ISR=[0,1,2,3,4],OSR=[5]

ISR 的作用

我們知道了與 leader 保持同步的副本集后,可以做到哪些事情?

  • 當我們生產消息的時候,到底要寫入多少副本才能算成功呢?
  • 當 leader 掛了之后,我們應該選擇哪個 follower 來成為新的 leader 呢?

通過 ISR 就可以知曉了哪些 follower 與 leader 保持著同步,在寫入消息的時候,設置寫入處于 ISR 中所有的副本才算成功,在進行 leader 切換的時候,就可以從 ISR 中選擇對應的 follower 成為新的 leader。

ISR 的作用是通過副本機制實現消息高可靠,服務高可用時,不可缺少的一環;這也是為什么講到副本不得不提到 ISR 的原因。

總結

  • ISR 機制通過副本冗余機制,提供了 kafka 消息的高可靠性。
  • ISR 機制可以做到故障轉移,保障服務的可用性。
  • ISR 平衡了主從架構下,復制方案的選擇(同步 / 異步 / 少數服從多數),讓使用者根據參數自行選擇。

為什么要設計 ISR 機制

在一些中間件中,都有副本的概念,不同場景下寫入數據時,要求寫入副本的個數也不盡相同。例如 zk 中要求寫入的節點個數大于一半才算成功,或者有些要求高可靠性的場景,規定寫入所有副本才能算成功。

而 kafka 的 ISR 可以允許生產消息時,根據自己的業務場景自行配置 ACK 確認機制達到想要的效果:

  • acks=0:生產者發了就算完了,后續成不成功我都不管,這種設置下消息的高可靠性幾乎沒有保障,但是卻有著極大的吞吐量
  • acks=1:消息寫入主節點就算成功,這種設置,可以保障一定的高可靠性,也具有不錯的吞吐量
  • acks=-1或all:消息必須寫入 ISR 中所有的副本才算成功,這種設置下,就能提供較高的高可靠性,但是吞吐量就相對較低

ISR 雖然是動態伸縮的,可能會出現 follower 全部都掛了的情況,如果 ISR 中只剩下 leader,那么此時設置 acks=all 就等價于 acks=1 了。這樣就會對高可靠性要求的場景產生危險。

kafka 提供了 min.insync.replicas 參數配置,這個參數可以配置最少 ISR 中需要多少個副本,才能繼續提供寫服務。如果設置為 2,一旦 ISR 中的個數小于 2,那么就不再提供寫服務,犧牲一定的可用性,來保障這種高可靠的場景需求。

總結

ISR 機制的存在是 kafka 為了平衡可靠性和可用性,不指定提供高可靠或者高可用的服務,而是將決定權交給了使用者,讓使用者通過參數來控制,到底要實現什么程度的高可靠與高可用。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/41406.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/41406.shtml
英文地址,請注明出處:http://en.pswp.cn/news/41406.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

JupyterHub實戰應用

一、JupyerHub jupyter notebook 是一個非常有用的工具,我們可以在瀏覽器中任意編輯調試我們的python代碼,并且支持markdown 語法,可以說是科研利器。但是這種情況適合個人使用,也就是jupyter notebook以我們自己的主機作為服務器…

PostgreSQL邏輯備份pg_dump使用及其原理解析

一、原理分析 1、循環調用getopt_long解析命令行參數,將參數保存到static DumpOptions dopt;中 2、判斷參數是否相容,不相容則退出: options -s/--schema-only and -a/--data-only cannot be used togetheroptions -c/--clean and -a/--data…

uni-app中監聽網絡狀態,并在嵌入webView頁面的組件中添加網絡監測

uni-app中監聽網絡狀態,并在嵌入webView頁面的組件中添加網絡監測 uni-app中監聽網絡狀態 下載插件 打開網絡異常組件頁面,點擊"下載插件并導入HBuilderX"按鈕,打開HBuilderX軟件后,選擇需要導入插件的項目&#xff…

機器學習與模型識別1:SVM(支持向量機)

一、簡介 SVM是一種二類分類模型,在特征空間中尋找間隔最大的分離超平面,使得數據得到高效的二分類。 二、SVM損失函數 SVM 的三種損失函數衡量模型的性能。 1. 0-1 損失: 當正例樣本落在 y0 下方則損失為 0,否則損失為…

系統架構設計師-信息安全技術(1)

目錄 一、信息安全基礎 1、信息安全五要素 2、網絡安全漏洞 3、網絡安全威脅 4、安全措施的目標 二、信息加解密技術 1、對稱加密 2、非對稱加密 3、加密算法對比 三、密鑰管理技術 1、數字證書 2、PKI公鑰體系 四、訪問控制技術 1、訪問控制基本模型 2、訪問控制的實現技術…

【Linux命令詳解 | ssh命令】 ssh命令用于遠程登錄到其他計算機,實現安全的遠程管理

文章標題 簡介一,參數列表二,使用介紹1. 連接遠程服務器2. 使用SSH密鑰登錄2.1 生成密鑰對2.2 將公鑰復制到遠程服務器 3. 端口轉發3.1 本地端口轉發3.2 遠程端口轉發 4. X11轉發5. 文件傳輸與遠程命令執行5.1 文件傳輸5.1.1 從本地向遠程傳輸文件5.1.2 …

TensorFlow 的基本概念和使用場景

簡介 TensorFlow 是一個開源的人工智能框架,由 Google 公司開發,用于構建和訓練機器學習模型。 TensorFlow 的基本概念包括: 1. 張量 (Tensor): TensorFlow 中的基本數據結構,可以理解為多維數組。 2. 計算圖 (Graph): TensorF…

深度學習入門-3-計算機視覺-圖像分類

1.概述 圖像分類是根據圖像的語義信息對不同類別圖像進行區分,是計算機視覺的核心,是物體檢測、圖像分割、物體跟蹤、行為分析、人臉識別等其他高層次視覺任務的基礎。圖像分類在許多領域都有著廣泛的應用,如:安防領域的人臉識別…

軟考筆記——9.軟件工程

軟件工程的基本原理:用分階段的生命周期計劃嚴格管理、堅持進行階段評審、實現嚴格的產品控制、采用現代程序設計技術、結果應能清除的審查、開發小組的人員應少而精、承認不斷改進軟件工程事件的必要性。 軟件工程的基本要素:方法、工具、過程 軟件生…

babylonjs基于自定義網格生成圍欄動畫

效果: import { Vector3, Mesh, MeshBuilder, StandardMaterial, Texture, Animation, Color3 } from "babylonjs/core"; import imgUrl from "./image/headerwangge2.png" // 創建模型護欄特效 export default class CreateRail {constructor…

cocos creator 設置精靈鏡像翻轉效果

在 Cocos Creator 中,你可以通過代碼來設置精靈節點的鏡像翻轉效果。具體來說,你可以使用精靈節點的 setScale 方法來實現這一點。以下是在代碼中設置水平鏡像翻轉和垂直鏡像翻轉的示例: // 獲取精靈節點的引用 let spriteNode cc.find(&qu…

小程序swiper一個輪播顯示一個半內容且實現無縫滾動

效果圖&#xff1a; wxml&#xff08;無縫滾動&#xff1a;circular"true"&#xff09;&#xff1a; <!--components/tool_version/tool_version.wxml--> <view class"tool-version"><swiper class"tool-version-swiper" circul…

數模論文寫作細節要求

目錄 優秀論文必要條件 數學建模的基本思路 第一步&#xff1a;了解問題——查文獻、找數據 第二步&#xff1a;闡述要解決什么問題、用什么方法 其余步驟&#xff1a;給出數學模型、計算求解、對比結果與真實情況、應用于現實問題。 使用某種數學方法的理由和依據 創…

Python爬蟲性能優化:多進程協程提速實踐指南

各位大佬們我又回來了&#xff0c;今天我們來聊聊如何通過多進程和協程來優化Python爬蟲的性能&#xff0c;讓我們的爬蟲程序6到飛起&#xff01;我將會提供一些實用的解決方案&#xff0c;讓你的爬蟲速度提升到新的高度&#xff01; 1、多進程提速 首先&#xff0c;讓我們來看…

cs231n assignment2 q5 PyTorch on CIFAR-10

文章目錄 嫌啰嗦直接看源碼Q5 :PyTorch on CIFAR-10three_layer_convnet題面解析代碼輸出 Training a ConvNet題面解析代碼輸出 ThreeLayerConvNet題面解析代碼輸出 Train a Three-Layer ConvNet題面解析代碼輸出 Sequential API: Three-Layer ConvNet題面解析代碼輸出 CIFAR-1…

SpringBoot整合ArtemisMQ筆記

SpringBoot整合ArtemisMQ筆記 本案例是springboot2.4.2整合Apache ArtemisMQ, 發送jms信息和訂閱jms消息的代碼示例pom配置 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-artemis</artifactId><…

BT利器之wazuh

目錄 一、什么是wazuh 二、wazuh的安裝 1.倉庫安裝 2.虛擬機OVA安裝 3.其他安裝方式 三、淺析wazuh的規則、解碼器等告警原理以及主動響應 1.主動響應(active-response) 2.告警信息(alerts) 3.規則以及解碼器(rules and decoders) 3.1.規則 3.2.解碼器 4.linux后門r…

力扣75——圖深度優先搜索

總結leetcode75中的圖深度優先搜索算法題解題思路。 上一篇&#xff1a;力扣75——二叉搜索樹 力扣75——圖深度優先搜索 1 鑰匙和房間2 省份數量3 重新規劃路線4 除法求值1-4 解題總結 1 鑰匙和房間 題目&#xff1a; 有 n 個房間&#xff0c;房間按從 0 到 n - 1 編號。最初…

【Matter】基于Ubuntu 22.04搭建matter開發環境:chip-tool 配網之 matter-over-wifi

前言 主要是記錄一下學習過程&#xff0c;梳理下思路&#xff0c;拋轉~ 官方的開發環境&#xff0c;基于Linux版本&#xff0c;官方的環境是基于樹莓派環境的&#xff0c;原理其實也比較明了&#xff0c;目的也比較明確&#xff0c;就是達到Linux 主機和wifi 路由在同一局域網…

SpringBoot攜帶Jre綠色部署項目

文章目錄 SpringBoot攜帶Jre綠色部署運行項目1. 實現步驟2. 自測項目文件目錄及bat文件內容&#xff0c;截圖如下&#xff1a;2-1 項目文件夾列表&#xff1a;2-2. bat內容 3. 擴展&#xff1a; 1.6-1.8版本的jdk下載 SpringBoot攜帶Jre綠色部署運行項目 說明&#xff1a; 實…