VLDB 2025 論文
熱烈祝賀 Apache Flink 2.0 的重磅研究成果《Disaggregated State Management in Apache Flink? 2.0?》被數據庫領域頂級會議?VLDB 2025?正式接收！這項工作由?Apache Flink 社區?聯合?阿里巴巴實時計算 Flink 團隊?以及多位學術界研究人員共同完成，從架構上根本解決了在存算一體架構下長久以來快照消耗大、狀態恢復慢，以及狀態和計算捆綁造成成本高的問題，標志著 Flink 在分布式流處理系統狀態管理架構上的重大突破，也代表著 Flink 向云原生架構演進的重要里程碑。
背景與挑戰
隨著實時數據和實時 AI 處理需求的不斷增長，Apache Flink 憑借其優異的一致性狀態管理架構以及豐富的上下游生態，已成為全球流處理引擎標準。然而，面對 TB 級別的狀態存儲與高吞吐、低延遲的訪問要求，傳統耦合的狀態管理機制逐漸暴露出擴展性差、CP 消耗大以及恢復慢等問題。為了解決這一瓶頸，我們在?
Apache Flink 2.0?中提出了一種全新的“解耦式狀態管理架構（Disaggregated State Management）”，將狀態存儲與計算任務分離，利用廉價的對象存儲來共享數據，從而實現更靈活的資源調度、更高的可擴展性和更輕量穩定的容錯能力。
核心貢獻與創新點
為了解決上述挑戰，Flink 2.0 引入了兩項重大創新：
(i) 統一的異步執行框架（Asynchronous Execution Framework）
Flink 2.0 引入了全新的異步執行框架，支持非阻塞狀態訪問與并行異步操作，從而大幅降低延遲、提升整體吞吐能力。該框架具備以下特點：
完全兼容 Flink 1.x 的同步狀態訪問方式；
自動跳過不必要的異步開銷，在無需異步操作時保持高性能；
嚴格保障原有語義和狀態一致性，確保 Exactly-Once 語義不打折扣。
(ii) 解耦式狀態存儲引擎 ForSt（For Streaming）
ForSt 是 Flink 2.0 全新推出的解耦式狀態存儲引擎，它在不改變現有部署架構的前提下，提供統一的 LSM-tree 抽象，實現了本地與遠程狀態訪問的無縫融合：
補齊遠端與本地文件系統的能力差異；
支持共享 Working State 和 Checkpoint 文件，僅需維護一份狀態副本；
實現秒級快照與瞬時狀態恢復，極大提升作業恢復速度與容錯能力。
意義與展望
十年前，Apache Flink 的奠基之作《State Management in Apache Flink》發表于 VLDB，首次系統闡述了流計算中的一致性狀態管理機制，推動了流計算從簡單 ETL 管道向復雜業務邏輯處理的躍遷。
十年后的今天，Flink 已成為大數據領域的基礎設施，而 VLDB 2025 接收的這篇論文《Disaggregated State Management in Apache Flink? 2.0》，不僅代表了學術界對 Flink 技術創新能力的高度認可，更體現了阿里巴巴多年來持續投入 Flink 社區的技術傳承與產業影響力。
這也是 Flink 狀態管理的新起點，未來我們希望能通過 ForSt 存儲引擎的批量計算下推等能力進一步降低流計算的成本，兼具時效性和低成本的能力，開啟 Flink 近實時計算的新紀元，真正做到實時計算的普惠。
作者名單
Yuan Mei, Alibaba Cloud
Zhaoqian Lan, Alibaba Cloud
Lei Huang, Boston University?
Yanfei Lei, Alibaba Cloud
Han Yin, Alibaba Cloud
Rui Xia, Alibaba Cloud
Kaitian Hu, Alibaba Cloud
Paris Carbone, KTH Royal Institute of Technology
Vasiliki Kalavri, Boston University
Feng Wang Alibaba Cloud
致謝
感謝 Apache Flink 社區和兄弟團隊的大力支持與寶貴建議，特別感謝 Jark Wu，Lincoln Lee，Xuyang Zhong?對 Flink 社區 SQL 算子的改寫與適配使得 Flink 端到端存算分離成為可能！
)
