Flink Forward Asia 2025 主旨演講精彩回顧

作為 Apache Flink 社區備受矚目的年度盛會之一,由阿里云承辦的 Flink Forward Asia 2025 于 7 月 3 日在新加坡正式拉開帷幕。

From Real-Time Data Analytics to Real-Time AI,Flink 生態全面擁抱 AI

本次大會上,Apache Flink 中文社區發起人、Apache Paimon PMC Member、阿里云開源大數據平臺負責人王峰帶來了演講《From Real-Time Data Analytics to Real-Time AI》。王峰表示,伴隨著 Agentic AI 的興起與發展,實時數據與實時 AI 相結合,正在成為 AI 大規模落地生產應用的關鍵環節。

我們認為 AI Agent 的未來必定是工業化的,除了用戶觸發的 AI Agent,將來會有更多 Agent 應用是由系統觸發的,比如在線交易、網站點擊、車輛行駛狀態、IoT 設備接收到的變化等等,這類 AI Agent 應用對計算規模和穩定性提出了更高的要求,也需要實時數據處理與實時 AI 處理的深度融合。”

為此,Apache Flink 社區正式發起全新的子項目 Flink Agents。Flink Agents 是專為事件驅動型的 AI 智能體(System-Triggered Agent)打造的 Agent 編程框架。依托于 Flink 流式引擎內核,Flink Agents 天然具備大規模、分布式、實時數據處理能力,以及成熟的狀態管理、一致性保障與容錯恢復能力,在此基礎上,Flink Agents 提供了開發 Agentic AI 系統所必需的 LLM、Memory、Tool、Prompt 等關鍵概念的封裝,以及動態執行計劃、循環執行、共享狀態、可觀測性等能力。目前,Flink Agents 項目正由阿里云、Confluent、Ververica、LinkedIn 等團隊聯合貢獻,將于今年 9 月左右發布首個 MVP 版本。

無數據,不 AI,多模態數據對大模型發展的價值日益凸顯。傳統的“數據清洗→特征提取→模型推理”的離散鏈路開發效率低下,且會帶來數據血緣斷裂、運維復雜度陡增等問題。Apache Flink 2.1 正式集成 AI Function,支持通過 Flink SQL 將模型注冊為元數據中的可管理對象,支持原生 AI Function 調用,開發者可直接在 SQL 中通過 ML_PREDICT 內置函數調用大模型服務,進而實現基于 Flink SQL 完成數據清洗、分析處理到 AI 推理的全鏈路實時計算。

Flink 2.0:存算分離,邁向云原生架構

從最初的流處理框架到全球流計算的事實標準,Flink 在性能優化和穩定性提升的路上持續升級。王峰介紹,Apache Flink 2.0 創新性地中提出了一種全新的“解耦式狀態管理架構(Disaggregated State Management)”,將狀態存儲與計算任務分離,利用廉價的對象存儲來共享數據,從而實現更靈活的資源調度、更高的可擴展性和更輕量穩定的容錯能力。

Flink 2.0 從架構上根本解決了長久以來快照消耗大、狀態恢復慢、狀態和計算捆綁造成成本高的問題,標志著 Flink 在分布式流處理系統狀態管理架構上的重大突破,也代表著 Flink 向云原生架構演進的重要里程碑據悉,該項研究成果《Disaggregated State Management in Apache Flink? 2.0 》由 Apache Flink 社區、阿里云實時計算 Flink 團隊以及多位學術界研究人員共同完成,已被數據庫領域頂級會議 VLDB 2025 正式接收。

Paimon:面向AI時代的多模態統一湖存儲

Apache Paimon PMC 主席、Apache Flink PMC 成員李勁松分享了 Apache Paimon 的最新進展。Paimon 是一個流批一體的存儲系統,與 Flink 結合構建Streaming Lakehouse 架構。在生態兼容方面,得益于 Iceberg V3發布的 Deletion Vectors 能力,用戶可以將 Iceberg 數據通過 Snapshots 實時同步到 Paimon,并保證分鐘級別的查詢延時。同時面向 AI 時代的多模態數據存儲,Paimon 集成了 Lance 文件格式,創新設計支持大體積 Blob(二進制大對象)的高效存儲,完美適配音視頻等非結構化數據場景。在列文件的隨機訪問、添加列數據方便也具有極強的性能。Paimon 已經實現廣泛的應用,在阿里巴巴集團內部,Paimon 處理了數百 PB 量級的數據,單表每秒處理高達 4000 萬行,實現了數據及時性提升一小時的目標。此外,Paimon 還成功應用于 vivo、小米、字節跳動和 Shopee 等企業,展示了其在實時數據湖和多模態數據存儲的強大能力。

阿里云將全托管的 Paimon 集成到了數據湖構建 DLF 產品中,針對 Paimon 進行智能存儲優化,存儲成本降低 30% 以上,查詢性能提升2倍以上。同時 DLF 還可以無縫對接多種計算引擎,實現一體化的元數據管理。在本次峰會上,DLF 宣布最新的 Paimon Catalog 在新加坡和雅加達地區開放公測,用戶可以直接申請試用。

Fluss:面向實時數據分析與AI負載的流表存儲系統

Apache Flink PMC 成員伍翀也分享了 Fluss 項目的最新進展。Fluss 是由阿里巴巴研發和開源的流表存儲系統,專為現代分析和 AI 工作負載而設計。Fluss 創新性地將列式存儲與流式更新能力融入流存儲,并與 Flink 等流計算引擎深度集成,同時與主流 Lakehouse 格式如 Paimon 和 Iceberg 進行一體化設計,能顯著降低實時數倉建設成本,提升數據開發效率。它通過統一的流處理和批處理能力,結合列式存儲、分區裁剪等優化技術,實現了高效的數據讀寫和零數據復制,顯著提升了數據處理效率。

自2024年12月開源以來,Fluss 社區持續活躍,吸引了來自字節跳動、螞蟻金服、小米、eBay、騰訊、Dream11 等公司的開發者參與共建。2025年6月,阿里巴巴正式將 Fluss 捐贈給 Apache 軟件基金會,標志著其邁入更加開放、中立的發展階段,也為 AI 時代的實時數據基礎設施建設奠定堅實基礎。

本次大會也請到了國際權威咨詢機構 Forrester 副總裁 Mike Gualtieri ,他表示:Apache Flink 作為實時數據處理的事實標準,為企業構建了支持 AI 的中樞神經系統。通過實時數據流,企業能夠整合多種數據源,支持事件驅動的架構,并構建實時 AI 代理和應用程序。這也印證了 Flink 社區的發展方向“The Future of AI is Real-Time”。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/88911.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/88911.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/88911.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

車道偏離預警(LDW)功能介紹

車道偏離預警(LDW)功能介紹 LDW功能 通過攝像頭監測前方車道線,當車輛偏離車道線時,系統發出報警提醒。 系統框圖報警條件 最早報警線最遲報警線報警臨界線 設置在 最早/最遲報警線 之間接口定義 輸入/輸出系統算法 橫向偏離速度模…

軟考(軟件設計師)計算機網絡-網絡層

obsidian做markdown筆記太爽了,康奈爾模板筆記看起來舒服,CSDN試了幾種方式,不支持,只能貼圖了,將就看吧😏(狗頭保命)工作原理圖解 #mermaid-svg-e5Tgpt26jUftujKn {font-family:&qu…

nginx反向代理實現跨域請求

記錄一個項目中遇到的跨域請求問題,解決跨域問題無非幾種辦法:1、后端解決,推薦的做法,可以看我之前寫的文章,fastadmin的后臺配置跨域;2、前端配置proxy代理(開發環境用)&#xff1…

利用Wisdom SSH高效搭建CI/CD工作流

在軟件開發流程中,CI/CD工作流對于提升效率與確保質量起著關鍵作用。Wisdom SSH作為一款強大工具,其官網為ssh.wisdomheart.cn,借助AI助手能大幅簡化CI/CD工作流的搭建過程。假設服務器已完成基礎配置,下面為您介紹如何利用Wisdom…

深度學習-循環神經網絡RNN

文章目錄序列模型循環神經網絡案例詞的表示輸出的表示矩陣運算表示交叉熵損失時間反向傳播算法BPTT梯度消失與梯度爆炸GRULSTM總結序列模型 循環神經網絡 st是上一個隱層的輸出,體現序列數據之間有很強的關聯性。 案例 > S0是初始輸入,一般是0&#…

【Linux網絡編程】Socket - TCP

目錄 V1版本 - Echo Server 初始化服務器 啟動服務器 客戶端 一些BUG與問題 解決服務器無法一次處理多個請求的問題 多進程版本 多線程版本 線程池版本 V2版本 - 多線程遠程執行命令 V1版本 - Echo Server 初始化服務器 TCP大部分內容與UDP是相同的,我們…

知識圖譜構建簡單分享

最近系統性地學習了知識圖譜構建的關鍵技術,并結合醫療領域知識,完成了一個醫療知識圖譜項目的實踐。以下是整理的項目架構,歡迎交流指正。說明:當前項目實際實現主要應用了數據預處理、模型設計與預訓練、模型優化與測試等核心技…

MCU中的系統控制器(System Controller)是什么?

MCU中的系統控制器(System Controller)是什么? 在微控制器(MCU)中,系統控制器(System Controller)是一個關鍵模塊,負責管理和協調MCU內部的核心功能,確保系統…

【Datawhale夏令營】用AI做帶貨視頻評論分析

文本分類、文本聚類 基礎庫: pandas, sklearn功能: 商品識別、情感分析、評論聚類商品識別: 視頻文本信息,預測推廣商品名稱 & 情感分析:四個維度(情感傾向、用戶場景、用戶疑問、用戶建議&#xff09…

[Meetily后端框架] AI摘要結構化 | `SummaryResponse`模型 | Pydantic庫 | vs marshmallow庫

第3章:摘要數據結構(Pydantic庫) 歡迎回來! 在之前的第2章:API文檔中,我們知道API網關提供了端點 而API文檔準確告訴我們如何與這些端點通信,包括需要發送的數據格式和期望接收的數據格式。 …

深度學習 tensor及其相關操作

目錄 Tensor 概念 數據類型 創建tensor 基本創建方式 1、 torch.tensor() 2、torch.Tensor() 3、torch.IntTensor() 等 創建線性張量和隨機張量 1、創建線性張量 2、創建隨機張量 切換設備 類型轉換 與 Numpy 數據轉換 1、張量轉 Numpy 2、Numpy 轉張量 tenso…

如何將FPGA設計的驗證效率提升1000倍以上(4)

本文為系列文章的完結篇。用戶應用設計中的信號,在經歷編譯器的多次迭代優化之后,在FPGA芯片內部運行時,可能已經被重新命名、“改頭換面”或“機里機氣”。要想以人工經驗進行追蹤,構建目標寄存器信號與RTL設計源碼之間的映射關系…

Linux驅動11 --- buildroot雜項驅動開發方法

目錄 一、Buildroot 1.1介紹 文件系統 1.一個完整的操作系統需要包含大量的文件 2.在嵌入式開發中目前應用最廣泛的文件系統制作工具就是 buildroot,busybox 3.buildroot 制作文件系統(了解) 二、雜項驅動編程 1.1 驅動編程做的內容 2.2…

Unity物理系統由淺入深第三節:物理引擎底層原理剖析

Unity物理系統由淺入深第一節:Unity 物理系統基礎與應用 Unity物理系統由淺入深第二節:物理系統高級特性與優化 Unity物理系統由淺入深第三節:物理引擎底層原理剖析 Unity物理系統由淺入深第四節:物理約束求解與穩定性 Unity 物理…

Docker一鍵安裝中間件(RocketMq、Nginx、MySql、Minio、Jenkins、Redis)腳步

1、Docker安裝RocketMq 2、Docker安裝Nginx 3、Docker安裝MySql 4、Docker安裝Minio 5、Docker安裝jenkins 6、Docker安裝Redis 1、Docker安裝RocketMq #!/bin/bash# 定義變量 NAMESRV_CONTAINER"rocketmq-namesrv" BROKER_CONTAINER"rocketmq-broker&quo…

WPF學習筆記(27)科學計算器

科學計算器1. 前端界面2. 功能代碼3. 效果展示1. 前端界面 <Window x:Class"Cal.MainWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://schemas.microsoft.com/winfx/2006/xaml"xmlns:d"http:/…

【Linux系列】unzip file 命令

博客目錄掌握 unzip -o 命令&#xff1a;高效解壓并覆蓋文件的完整指南一、unzip 命令基礎二、-o 選項的核心作用三、典型應用場景四、與其他選項的組合使用五、注意事項與風險防范六、替代方案與高級技巧掌握 unzip -o 命令&#xff1a;高效解壓并覆蓋文件的完整指南 在日常的…

1965–2022年中國大陸高分辨率分部門用水數據集,包含:灌溉用水、工業制造用水、生活用水和火電冷卻

1965–2022年中國大陸高分辨率部門用水數據集 高質量用水數據集對推進變化環境下的水資源研究至關重要。然而&#xff0c;現有中國用水數據通常按行政區劃或流域匯總&#xff0c;時空分辨率不足&#xff0c;難以支撐人類用水模式及時空變化特征的精細化分析。為此&#xff0c;…

git中的指令解釋

在 Git 的 diff 輸出中&#xff0c;---、 和 ... 塊的含義如下&#xff1a; 1. --- a/1.py 和 b/1.py --- a/1.py&#xff1a;表示舊版本的文件路徑&#xff08;通常是工作目錄或上一次提交的版本&#xff09;。 b/1.py&#xff1a;表示新版本的文件路徑&#xff08;通常是暫存…

STM32實現四自由度機械臂(SG90舵機)多功能控制(軟件篇freertos)

書接上回的硬件篇STM32控制四自由度機械臂&#xff08;SG90舵機&#xff09;&#xff08;硬件篇&#xff09;&#xff08;簡單易復刻&#xff09;-CSDN博客 此時硬件平臺已經搭建完畢&#xff0c;軟件總共設計了三種模式&#xff0c;分別為 模式1&#xff1a;搖桿&藍牙模…