在剛剛落幕的 2025 Databricks Data + AI Summit 上,Databricks 重磅發布了多項 Lakehouse 相關功能更新。其中,面向數據湖治理場景的統一數據訪問與管理方案 —— Unity Catalog,迎來了三大關鍵升級:全面支持 Apache Iceberg、面向業務用戶的全新使用體驗,以及數據治理與安全能力的持續增強。
過去 Unity Catalog 更加依賴 Delta Lake,如今對 Apache Iceberg 的全面支持,意味著用戶可通過 StarRocks、Trino、EMR、Flink、Spark 等多種引擎訪問和共享同一份數據,真正擺脫格式鎖定。同時,外部 Iceberg Catalog 聯邦功能也讓用戶無需復制或遷移數據,即可統一治理 Glue、HMS、Snowflake 等系統中的 Iceberg 表。
對于采用多工具、多團隊或多云環境的企業來說,這些能力的提升,標志著開放湖倉生態正在加速走向成熟。
作為 Lakehouse 架構中的關鍵基礎設施,Unity Catalog 也為 Data + AI 提供了統一的數據治理與訪問控制框架,打造可信、可控、可共享的數據基礎,加速 AI 應用的規模化落地。
在本文中,我們將借由這條新聞,帶大家認識 Unity Catalog,解釋它對你的工作意味著什么,以及為什么現在正是采用更開放基礎設施策略的最佳時機。
什么是 Unity Catalog ?
在了解 Unity Catalog 之前,我們需要先認識當前數據目錄(Catalog)所面臨的三大挑戰:
首先,多數云數據平臺缺乏開放的訪問方式。許多云數倉采用專有表格式和元數據目錄,限制了外部系統的訪問與集成,且往往依賴持續運行的計算資源來支持查詢,不僅成本高,也缺乏靈活性。其次,數據與 AI 資產長期割裂,形成數據孤島,難以共享和復用。最后,缺乏統一的數據治理框架,企業難以在權限控制、安全合規、數據血緣等方面,對數據和 AI 資產進行集中管理。
Unity Catalog 正是為解決這些問題而生。它是一個統一的元數據與數據治理平臺,能夠集中管理數據湖和湖倉中的所有數據資產,支持跨多引擎(如 Spark、Trino、StarRocks)與多格式(如 Delta Lake、Iceberg、Hudi)的訪問控制、權限管理、血緣分析和審計。通過統一治理、安全合規和高效共享,Unity Catalog 顯著簡化了元數據管理,并支持企業級多租戶與細粒度的訪問策略,是構建開放、高效、可擴展湖倉架構的關鍵組件。
它帶來了兩大核心價值:一是靈活性更強,擺脫廠商鎖定,讓用戶真正擁有數據與元數據,自由選擇最佳技術路徑;二是強大的互操作性,在不同數據格式與計算引擎間實現無縫協作,尤其適配多樣化的 AI 應用場景,既提升集成效率,又保障一致的用戶體驗。
StarRocks x Unity Catalog:打破格式壁壘,加速湖倉進化
自 Databricks 于 2024 年 6 月宣布開源 Unity Catalog 起,StarRocks 作為首批開源生態合作伙伴,積極參與生態建設,助力全球用戶無縫接入開放湖倉體系。在統一治理、安全控制與多引擎互操作的基礎上,StarRocks 充分發揮其高性能分析引擎的優勢,成為開放數據架構中的關鍵計算支撐。
在 Unity Catalog 構建的開放湖倉生態中,StarRocks 提供三方面價值:
-
加速湖上分析:StarRocks 可通過 Iceberg REST 去查 Unity Catalog 管理的數據,支持高速、低延遲的多維即席分析,讓數據無需遷移即可高效使用。
-
簡化架構、拓展場景:通過與 Unity Catalog 的無縫集成,用戶可在湖上數據上直接構建 BI 報表,減少數據搬移與 ETL 成本,提升分析效率與實時性。
-
推動開放生態發展:作為開源計算引擎,StarRocks 與 Unity Catalog 的互操作性增強了企業對計算引擎的選擇自由,加速構建去中心化、可持續的湖倉生態系統。
StarRocks 與 Unity Catalog 的融合,不僅降低了用戶在多種解決方案間的遷移門檻,推動了計算引擎的專業化與差異化發展,也進一步夯實了開源基礎,打破廠商鎖定,構建出一個更開放、多元、靈活的技術生態,賦能企業實現更高效、更可靠的數據分析能力。
What's Next?
如果你對 Unity Catalog 感興趣,歡迎閱讀以下文章,深入了解本次在 Data + AI Summit 2025 上發布的重磅更新詳情: 👉 What's New in Databricks Unity Catalog | Data + AI Summit 2025
此外,我們還準備了一個實操 Demo,展示如何通過 Unity Catalog、Delta UniForm 與 StarRocks 實現跨引擎的無縫互操作性,歡迎體驗!
https://www.bilibili.com/video/BV1KyKazNENV/?vd_source=1cb452610138142d1300dd37a6162a88
參考資料:https://www.databricks.com/blog/announcing-full-apache-iceberg-support-databricks
https://www.databricks.com/blog/whats-new-databricks-unity-catalog-data-ai-summit-2025
https://www.starrocks.io/blog/build-a-more-open-lakehouse-with-unity-catalog
https://www.databricks.com/product/unity-catalog#features