flink端到端數據一致性

這里有一個注意點,就是flink端的精準一次

1.barrier對齊精準和一次非對齊精準一次?對比??

??維度????Barrier 對齊的精準一次????Barrier 非對齊的精準一次??
??觸發條件??需等待所有輸入流的 Barrier 對齊后才能觸發檢查點?收到第一個 Barrier 立即觸發,無需等待對齊?
??數據處理方式??對齊期間阻塞部分數據流,僅處理未到達 Barrier 的分區數據?允許所有數據繼續流動,將 Barrier 后的數據標記為 in-flight 并保存?
??狀態保存內容??僅保存算子自身的狀態(如累加器、窗口狀態)額外保存輸入/輸出緩沖區中的未處理數據(in-flight 數據)
??資源開銷??低(僅保存狀態),但可能因對齊阻塞導致吞吐下降?高(需保存大量緩沖區數據),但減少阻塞時間?
??適用場景??低延遲要求不高的場景,或輸入流速率均衡的場景?高吞吐、高延遲或反壓嚴重的場景

?

??1. Barrier 對齊的精準一次??
  • ??觸發邏輯??:
    當算子收到所有輸入流的 Barrier 后,才會觸發狀態快照。例如,若某個算子有兩個輸入流,需等待兩個流的 Barrier 均到達 。
  • ??數據處理流程??:
    • 部分輸入流的 Barrier 先到達時,該流后續數據會被緩存(阻塞),其他流的數據繼續處理 。
    • 所有 Barrier 對齊后,統一保存狀態并向下游廣播 Barrier;?

  • ??優點??:
    • 狀態體積小,恢復速度快;
    • 嚴格保證數據僅處理一次;?

??2. Barrier 非對齊的精準一次??
  • ??觸發邏輯??:
    收到任意一個輸入流的 Barrier 后立即觸發快照,無需等待其他流的 Barrier ;
  • ??數據處理流程??:
    • 繼續處理所有輸入流的數據,包括 Barrier 之后的數據;
    • 將 Barrier 到達時未處理的數據(輸入緩沖區)和已處理但未輸出的數據(輸出緩沖區)標記為 in-flight 數據,與狀態一起保存 ;
  • ??優點??:
    • 避免因對齊導致的阻塞,提升吞吐量和反壓容錯能力;
    • 適用于網絡延遲波動或輸入流速率差異大的場景

生產環境選擇建議??

??場景????推薦機制????理由??
輸入流速率均衡且延遲敏感Barrier 對齊避免額外存儲開銷,恢復效率高?

1

4

高吞吐或反壓嚴重Barrier 非對齊減少阻塞時間,緩解反壓影響?

6

7

狀態體積敏感(如 TB 級狀態)Barrier 對齊非對齊模式保存的 in-flight 數據可能顯著增加存儲成本?

3

7

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/81000.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/81000.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/81000.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

4月29號

級別越大,字體越小. CSS樣式控制: 例如把日期設為灰色字體

PHP代碼-服務器下載文件頁面編寫

內部環境的服務資源下載頁面有訪問需求&#xff0c;給開發和產品人員編寫一個簡潔的下載頁面提供資源下載。直接用nginxphp的形式去編寫了&#xff0c;這里提供展示index.php文件代碼如下&#xff1a; <?php // 配置常量 define(BASE_DIR, __DIR__); // 當前腳本所在目錄作…

MySQL基礎關鍵_001_認識

目 錄 一、概述 1.數據庫&#xff08;DB&#xff09;分類 &#xff08;1&#xff09;關系型數據庫 &#xff08;2&#xff09;非關系型數據庫 2.數據庫管理系統&#xff08;DBMS&#xff09; 3.SQL &#xff08;1&#xff09;說明 &#xff08;2&#xff09;分類 二、…

Shell、Bash 執行方式及./ 執行對比詳解

Shell、Bash 執行方式及./ 執行對比詳解 在 Linux 和 UNIX 系統的使用過程中&#xff0c;Shell 腳本是實現自動化任務、系統管理的重要工具。而在執行 Shell 腳本時&#xff0c;我們常常會用到bash命令以及./的執行方式&#xff0c;這兩種執行方式看似相似&#xff0c;實則存在…

P1494 [國家集訓隊] 小 Z 的襪子 Solution

Description 給定序列 a ( a 1 , a 2 , ? , a n ) a(a_1,a_2,\cdots,a_n) a(a1?,a2?,?,an?)&#xff0c;有 q q q 次查詢&#xff0c;每次查詢給定 ( l , r ) (l,r) (l,r). 你需要求出 2 ∑ i ≤ i < j ≤ r [ a i a j ] ( r ? l ) ( r ? l 1 ) \dfrac{2\sum…

解決vue3 路由query傳參刷新后數據丟失的問題

前言&#xff1a;在頁面刷新的時候&#xff0c;路由query數據會被清空&#xff0c;網上很多方法說query傳參可以實現&#xff0c;反正我是沒有實現 思路&#xff1a;將數據保存到本地&#xff0c;通過 “ &#xff1f;” 進行判斷是否有數據&#xff0c;頁面銷毀的時候刪除本地…

IIC小記

SCL 時鐘同步線&#xff0c;由主機發出。 當SCL為高電平&#xff08;邏輯1&#xff09;時是工作狀態&#xff0c;低電平&#xff08;邏輯0&#xff09;時是休息狀態。SCL可以控制通信的速度。 SDA 數據收發線 應答位&#xff1a;前八個工作區間是一個字節&#xff0c;在SCL…

Linux[開發工具]

vim(多模式編輯器) vim是一個多模式的編譯器!!命令模式是核心 vim 文件名 (數字)(進入編輯,光標處在第幾行) esc切換模式 shift; >:(:wq保存并退出) 命令模式: 鍵盤的輸入,默認被當做命令來看待 gg:光標快速定位到最開始 shiftgG:股那個表快速定位到最結尾 nshiftgG:光標…

hutools工具類中isNotEmpty與isNotBlank區分

基于以下兩種情況。在判斷的變量是String類型時&#xff0c; 判斷是否為空&#xff0c;推薦使用isNotBlank(). 1. isNotEmpty 不會驗證str中是否含有空字符串&#xff0c;而 isNotBlank方法會驗證 public static boolean isNotEmpty(CharSequence str) {return false isEmpty…

算法相關概念

1 算法概述 1.1 算法概念 算法是特定問題求解步驟的描述&#xff0c;也是獨立存在的一種解決問題的思想和方法 對于算法而言&#xff0c;實現他的編程語言無關緊要&#xff0c;重要的是思想和方法&#xff01;&#xff01;&#xff01; 公式&#xff1a;程序算法數據結構&a…

數據庫基礎與核心操作:從概念到實戰的全面解析

目錄 1 基本概念2 基本操作2.1 DCL2.2 DDL2.3 DML2.4 DQL(高級查詢) 3 高級功能3.1 視圖&#xff08;無參函數&#xff09;3.2 存儲過程(有參函數)3.3 觸發器 4 約束4.1 主鍵約束4.2 UNIQUE KEY&#xff08;唯一鍵約束&#xff09;4.3 FOREIGN KEY&#xff08;外鍵約束&#xf…

打造驚艷的漸變色下劃線動畫:CSS實現詳解

引言&#xff1a;為什么需要動態下劃線效果&#xff1f; 在現代網頁設計中&#xff0c;微妙的交互效果可以顯著提升用戶體驗。動態下劃線特效作為一種常見的視覺反饋方式&#xff0c;不僅能夠引導用戶注意力&#xff0c;還能為頁面增添活力。本文將深入解析如何使用純CSS實現一…

【11408學習記錄】考研英語語法核心:倒裝句考點全解+真題演練

倒裝句 英語語法總結——特殊句式倒裝全部倒裝介詞短語形容詞副詞There be 部分倒裝否定副詞或詞組位于句首only位于句首虛擬條件句省略if 每日一句詞匯第一步&#xff1a;找謂語第二步&#xff1a;斷句第三步&#xff1a;簡化主句定語從句 英語 語法總結——特殊句式 倒裝 …

upload-labs PASS 1-5通關

PASS-01 前端javascript檢查 1&#xff0c;第一個提示javascript對上傳的文件進行審查 2&#xff0c;javascript工作在前端頁面&#xff0c;可以直接刪除具有審查功能的代碼 3&#xff0c;刪除之后再上傳一句話木馬 上傳成功&#xff0c;可以使用蟻劍進行連接&#xff0c;控制網…

GoogleTest:在Ubuntu22.04安裝

1.首先克隆GoogleTest $ mkdir gtest $ cd gtest $ git clone git@github.com:google/googletest.git 克隆后的文件目錄結構為 gtest/googletest$ tree -L 1 ├── build ├── BUILD.bazel ├── ci ├── CMakeLists.txt ├── CONTRIBUTING.md ├── CONTRIBUTORS ├─…

Transformer-LSTM-SVM回歸

題目&#xff1a;Transformer-LSTM-SVM回歸 文章目錄 題目&#xff1a;Transformer-LSTM-SVM回歸前言一&#xff1a;Transformer1. Transformer的原理1.1 Transformer的核心結構1.2 注意力機制1.4 位置編碼1.5 損失函數 2. 完整案例 LSTMSVM 前言一&#xff1a;Transformer 1.…

AI正當時,國內AI HR領先廠商易路如何從“單點突破”到“全面融合”

所謂AI HR?&#xff0c;是指將人工智能&#xff08;AI&#xff09;技術&#xff08;如機器學習、自然語言處理、大數據分析等&#xff09;應用于人力資源管理的各個環節&#xff0c;以提升效率、優化決策并改善員工體驗。典型場景有&#xff1a; 在招聘、考勤、薪酬計算等重復…

淺析localhost、127.0.0.1 和 0.0.0.0的區別

文章目錄 三者的解釋三者的核心區別總結使用場景示例什么是回環地址常見問題開發工具中的地址使用為什么開發工具同時支持localhost和127.0.0.1&#xff1f;實際應用示例VSCode中的Live Server插件VSCode中的VUE項目IDEA中的Spring Boot應用 最佳實踐建議 localhost、 127.0.0…

微信小程序鮮花銷售系統設計與實現

概述 在鮮花電商行業快速發展的背景下&#xff0c;移動端銷售平臺成為花店拓展業務的重要渠道。幽絡源平臺今日分享一款功能完善的微信小程序鮮花銷售系統&#xff0c;該系統實現了多角色管理、在線訂購、會員服務等核心功能&#xff0c;為鮮花行業提供了完整的電商解決方案。…

端到端電力電子建模、仿真與控制及AI推理

在當今世界&#xff0c;電力電子不再僅僅是一個專業的利基領域——它幾乎是每一項重大技術變革的支柱。從可再生能源到電動汽車&#xff0c;從工業自動化到航空航天&#xff0c;對電力轉換領域創新的需求正以前所未有的速度增長。而這項創新的核心在于一項關鍵技能&#xff1a;…