Flink2.0未來趨勢中需要注意的一些問題

手機打字,篇幅不長,主要講一下FFA中關于Flink2.0的未來趨勢,直接看重點。

Flink Forward Asia 2024主會場有一場關于Flink2.0的演講,很精彩,官方也發布了一些關于Flink2.0的展望和要解決的問題。

1.0時代和2.0時代避免不了一些兼容性改動,例如配置文件、狀態兼容以及一些常見的API,當然這些問題都不是用戶需要考慮的,平臺要做好升級。

那么作為普通的開發者應該注意到的未來趨勢有哪些?

存算分離

13d9a864f2c175b18125a61f5bc0399e.jpeg

存算分離是所有數據領域組件都在解決的一個問題,比如Apache Doris、Apache Pulsar等等,Flink同樣面臨這樣的問題,因為在2.0中一個顯著的課題就是「存算分離云原生化架構升級」

Flink官方給出了四個要解決的訴求:

計算和存儲解綁容器化資源的均勻使用利用海量低價云存儲帶狀態的快速擴縮容

Flink 2.0 中的存算分離歸根結底是存儲的問題,因此引入了新開發的ForSt DB來解決這個問題。

如果存算分離能夠很好的實現,未來Flink任務的遷移和升級將會十分方便和快捷,尤其是帶大狀態的任務,目前這個痛點相信困擾了很多很多人。

批流一體的解決方案

b4cc472f5761cd8c51326474a92a57c2.png

Flink2.0引入了全新的流批一體 Materialized Table(物化表)的概念來解決Streaming任務和Batch任務在代碼層面的不一致性。

除了幫助用戶實現只寫一份代碼、提高開發運維效率之外,Materialized Table 還提供了更多的成本優化空間。Materialized Table 支持流式持續刷新、批式全量刷新以及增量刷新 3 種模式,通過修改數據新鮮度FRESHNESS的定義來實現代碼的批和流運行。

關于這一點,本人還是持謹慎懷疑的態度。

從某種意義上來說,代碼層面的統一僅僅是解決批流一體中的「代碼兼容性問題」,這是批流一體很小的一部分。

Flink社區對批流一體的關注點在于成本的節省,非常低成本的任務時效切換,但是其實這個點其實是批流一體場景中最不重要的一點。

因為能做到這種切換的業務場景其實并不多,大部分場景無法做到完全的批流一體,不過這仍然是一種進度。

Streaming WareHouse

這個已經是老生常談的話題了。社區未來會進行Flink和Paimon的深度集成。

但是我還是之前的觀點,Paimon并沒有給傳統的數倉開發模式帶來「革命性的進步」,但是的確解決了部分痛點。

Streaming warehouse要解決的是傳統的離線/實時數倉中的痛點,而不是為了構建「純流式的數據倉庫」。

Paimon未來作為批流一體存儲引擎前途仍然光明。

最后是關于一些AI的話題,這個就不過多介紹了,和大多數讀者沒關系。

0d28035453344037faaafc616de08f55.png300萬字!全網最全大數據學習面試社區等你來!

如果這個文章對你有幫助,不要忘記?「在看」?「點贊」?「收藏」?三連啊喂!

3fb64cc330d511560de2c2f0767a4b65.png

12e6608980eb674348e1818b74c7a29c.jpeg

全網首發|大數據專家級技能模型與學習指南(勝天半子篇)

互聯網最壞的時代可能真的來了

我在B站讀大學,大數據專業

我們在學習Flink的時候,到底在學習什么?

193篇文章暴揍Flink,這個合集你需要關注一下

Flink生產環境TOP難題與優化,阿里巴巴藏經閣YYDS

Flink CDC我吃定了耶穌也留不住他!| Flink CDC線上問題小盤點

我們在學習Spark的時候,到底在學習什么?

在所有Spark模塊中,我愿稱SparkSQL為最強!

硬剛Hive | 4萬字基礎調優面試小總結

數據治理方法論和實踐小百科全書

標簽體系下的用戶畫像建設小指南

4萬字長文 | ClickHouse基礎&實踐&調優全視角解析

【面試&個人成長】社招和校招的經驗之談

大數據方向另一個十年開啟 |《硬剛系列》第一版完結

我寫過的關于成長/面試/職場進階的文章

當我們在學習Hive的時候在學習什么?「硬剛Hive續集」

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/63420.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/63420.shtml
英文地址,請注明出處:http://en.pswp.cn/web/63420.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

智能座艙進階-應用框架層-Jetpack主要組件

Jetpack的分類 1. DataBinding:以聲明方式將可觀察數據綁定到界面元素,通常和ViewModel配合使用。 2. Lifecycle:用于管理Activity和Fragment的生命周期,可幫助開發者生成更易于維護的輕量級代碼。 3. LiveData: 在底層數據庫更…

個人秋招總結

秋招總結 個人基本情況拿到offer的公司希望比較大但是主動放棄的簡歷沒過的,有名氣的公司(一般的公司太多了不寫)秋招感觸 個人基本情況 前言 僅用于個人總結,主要是寫給自己看的,也給別人一點參考 學歷 中國農業大學計…

docker 使用 xz save 鏡像

適用場景 如果docker save -o xxx > xxx 鏡像體積過大,可以使用 xz 命令壓縮。 命令 例如 save busybox:1.31.1 鏡像,其中 -T 是使用多核心壓縮,可以加快壓縮。 docker save busybox:1.31.1 |xz -T 8 > /tmp/busybox:1.31.1安裝 xz Ubuntu/Debian sudo apt upda…

PowerMILL 客制化宏 - 變量

從PowerMILL2012起,命令起始支持變量。支持變量將使宏命令更加靈活和功能強大。可以對變量做一些運算而不依賴其它語言。 當前支持有變量類型為: INT; REAL; STRING; ENTITY; ARRAY LIST; OBJECT; 以下就…

arcgis for js實現地圖截圖、地圖打印

地圖截圖 效果 實現 復制運行即可 要實現復雜的截圖保存可以參考 官網案例 <!DOCTYPE html> <html lang"zn"><head><meta charset"UTF-8" /><meta http-equiv"X-UA-Compatible" content"IEedge" />…

【BUG】記一次context canceled的報錯

文章目錄 案例分析gorm源碼解讀gin context 生命周期context什么時候cancel的什么時候context會被動cancel掉呢&#xff1f; 野生協程如何處理 案例分析 報錯信息 {"L":"ERROR","T":"2024-12-17T11:11:33.0050800","file"…

信號槽【QT】

文章目錄 對象樹字符集信號槽QT坐標系信號與槽connect自定義槽自定義信號disconnect 對象樹 #ifndef MYLABEL_H #define MYLABEL_H#include<QLabel> class MyLabel : public QLabel { public:// 構造函數使用帶 QWidget* 版本的.// 確保對象能夠加到對象樹上MyLabel(QWi…

寫SQL太麻煩?免費搭建 Text2SQL 應用,智能寫 SQL | OceanBase AI 實踐

自OceanBase 4.3.3版本推出以來&#xff0c;向量檢索的能力受到了很多客戶的關注&#xff0c;也紛紛表達希望OB能拓展更多 多模數據庫大模型 的AI應用實踐。 在上篇文章 &#x1f449; OceanBase LLM&#xff0c;免費構建你的專屬 AI 助手 &#xff0c;我們介紹了如何去搭建一…

400G/800G光模塊崛起:AI時代的網絡基礎設施革命

隨著AI技術的不斷成熟&#xff0c;各行各業都在大規模投入AI。醫療行業通過AI技術實現了更精準的診斷和治療&#xff1b;金融行業通過AI技術提高了風險管理能力&#xff1b;制造行業通過AI技術優化了生產流程&#xff1b;娛樂行業通過AI技術創造了更加豐富的用戶體驗。AI在醫療…

Dalsa線陣CCD相機使用開發手冊

要使用Dalsa工業相機進行二次開發&#xff0c;看用戶開發手冊順便做下筆記&#xff1a;&#xff08;歡迎加QQ討論&#xff1a;77248031&#xff0c; 或QQ群&#xff1a;585068192&#xff09; 由于“本公主”用的.NET開發&#xff0c;軟件支持只翻譯了手冊中.NET部分&#xff0…

C++特殊類設計(單例模式等)

目錄 引言 1.請設計一個類&#xff0c;不能被拷貝 2. 請設計一個類&#xff0c;只能在堆上創建對象 為什么設置實例的方法為靜態成員呢 3. 請設計一個類&#xff0c;只能在棧上創建對象 4. 請設計一個類&#xff0c;不能被繼承 5. 請設計一個類&#xff0c;只能創建一個對…

分布式系統架構:服務容錯

1.為什么需要容錯 分布式系統的本質是不可靠的&#xff0c;一個大的服務集群中&#xff0c;程序可能崩潰、節點可能宕機、網絡可能中斷&#xff0c;這些“意外情況”其實全部都在“意料之中”。故障的發生是必然的&#xff0c;所以需要設計一套健壯的容錯機制來應對這些問題。 …

【Latex手冊】自用

收錄Latex使用文檔/工具 個人使用時候的tips&#xff0c;僅供個人使用 核心網頁&#xff1a;LaTeX 工作室 【1】首頁 | LaTeX 知識庫 &#xff08;有詳細的入門教程&#xff09; 【2】LaTeX工作室 - LaTeX工作室&#xff08;一些模板&#xff09; 【3】LaTeX 工作室 &…

Pytorch應用實戰(1)- 基于YOLO的視頻人臉馬賽克處理

免費鏈接: Blogger(需翻Q), Github 文章目錄 本文介紹給圖片的人臉打碼給視頻的人臉打碼本文介紹 YoloV11(Github)提供了非常方便的API幫助用戶實現目標檢測(detect)、語義分割(segement)、肢體識別(Pose)等功能。 本文將基于YoloV11的目標檢測來實現一個視頻人臉馬…

[IT項目管理]九.項目質量管理

九&#xff0e;項目質量管理 9.1項目質量管理的重要性 對于很多IT項目的差勁&#xff0c;大多數人只可以忍受。項目質量管理是IT項目管理的重要組成部分&#xff0c;對于提高項目成功率、降低項目成本、提升客戶滿意度至關重要。盡管很多人對IT項目的質量問題感到無奈&#x…

【Threejs】從零開始(六)--GUI調試開發3D效果

請先完成前置步驟再進行下面操作&#xff1a;【Threejs】從零開始&#xff08;一&#xff09;--創建threejs應用-CSDN博客 一.GUI界面概述 GUI&#xff08;Graphical User Interface&#xff09;指的是圖形化用戶界面&#xff0c;廣泛用在各種程序的上位機&#xff0c;能夠通過…

ffmpeg-SDL顯示BMP

效果圖如下 本文主要將我們通過創建窗口、渲染上下文工具、紋理工具、矩形框工具&#xff1b;其需要主要的是&#xff1a;首先我們在顯示BMP時&#xff0c;需要先創建好窗口&#xff0c;再使用渲染工具對窗口進行格式刷&#xff0c;使用紋理工具和渲染工具配合進行BMP圖片顯示…

多音軌視頻使用FFmpeg刪除不要音軌方法

近期給孩子找宮崎駿動畫&#xff0c;但是有很多是多音軌視頻但是默認的都是日語&#xff0c;電視上看沒辦法所以只能下載后刪除音軌文件只保留中文。 方法分兩步&#xff0c;先安裝FFmpeg在轉文件即可。 第一步FFmpeg安裝 FFmpeg是一個開源項目&#xff0c;包含了處理視頻的…

基礎二分查找總結題-單峰序列2類做法

&#x1f330;單峰序列題目描述 晴問算法 題目描述&#xff1a; 單峰序列是指&#xff0c;在這個序列中存在一個位置&#xff0c;滿足這個位置的左側&#xff08;含該位置&#xff09;是嚴格遞增的、右側&#xff08;含該位置&#xff09;是嚴格遞減的&#xff0c;這個位置被…

【SH】Ubuntu Server 24搭建Web服務器訪問Python程序研發筆記

文章目錄 說個問題寫個方案一、安裝Ubuntu Server二、安裝Web服務器采用Nginx服務器 三、安裝Python及依賴創建項目虛擬環境 四、安裝Python Web框架采用Flask框架創建和運行Flask應用&#xff08;以后的重點&#xff09; 五、安裝WSGI服務器采用Gunicorn 六、配置Nginx七、驗證…