Unity Catalog 三大升級:Data+AI 時代的統一治理再進化

在剛剛落幕的 2025 Databricks Data + AI Summit 上,Databricks 重磅發布了多項 Lakehouse 相關功能更新。其中,面向數據湖治理場景的統一數據訪問與管理方案 —— Unity Catalog,迎來了三大關鍵升級:全面支持 Apache Iceberg、面向業務用戶的全新使用體驗,以及數據治理與安全能力的持續增強

過去 Unity Catalog 更加依賴 Delta Lake,如今對 Apache Iceberg 的全面支持,意味著用戶可通過 StarRocks、Trino、EMR、Flink、Spark 等多種引擎訪問和共享同一份數據,真正擺脫格式鎖定。同時,外部 Iceberg Catalog 聯邦功能也讓用戶無需復制或遷移數據,即可統一治理 Glue、HMS、Snowflake 等系統中的 Iceberg 表。

對于采用多工具、多團隊或多云環境的企業來說,這些能力的提升,標志著開放湖倉生態正在加速走向成熟。

作為 Lakehouse 架構中的關鍵基礎設施,Unity Catalog 也為 Data + AI 提供了統一的數據治理與訪問控制框架,打造可信、可控、可共享的數據基礎,加速 AI 應用的規模化落地。

在本文中,我們將借由這條新聞,帶大家認識 Unity Catalog,解釋它對你的工作意味著什么,以及為什么現在正是采用更開放基礎設施策略的最佳時機。

什么是 Unity Catalog ?

在了解 Unity Catalog 之前,我們需要先認識當前數據目錄(Catalog)所面臨的三大挑戰:

首先,多數云數據平臺缺乏開放的訪問方式。許多云數倉采用專有表格式和元數據目錄,限制了外部系統的訪問與集成,且往往依賴持續運行的計算資源來支持查詢,不僅成本高,也缺乏靈活性。其次,數據與 AI 資產長期割裂,形成數據孤島,難以共享和復用。最后,缺乏統一的數據治理框架,企業難以在權限控制、安全合規、數據血緣等方面,對數據和 AI 資產進行集中管理。

Unity Catalog 正是為解決這些問題而生。它是一個統一的元數據與數據治理平臺,能夠集中管理數據湖和湖倉中的所有數據資產,支持跨多引擎(如 Spark、Trino、StarRocks)與多格式(如 Delta Lake、Iceberg、Hudi)的訪問控制、權限管理、血緣分析和審計。通過統一治理、安全合規和高效共享,Unity Catalog 顯著簡化了元數據管理,并支持企業級多租戶與細粒度的訪問策略,是構建開放、高效、可擴展湖倉架構的關鍵組件。

它帶來了兩大核心價值:一是靈活性更強,擺脫廠商鎖定,讓用戶真正擁有數據與元數據,自由選擇最佳技術路徑;二是強大的互操作性,在不同數據格式與計算引擎間實現無縫協作,尤其適配多樣化的 AI 應用場景,既提升集成效率,又保障一致的用戶體驗。

StarRocks x Unity Catalog:打破格式壁壘,加速湖倉進化

自 Databricks 于 2024 年 6 月宣布開源 Unity Catalog 起,StarRocks 作為首批開源生態合作伙伴,積極參與生態建設,助力全球用戶無縫接入開放湖倉體系。在統一治理、安全控制與多引擎互操作的基礎上,StarRocks 充分發揮其高性能分析引擎的優勢,成為開放數據架構中的關鍵計算支撐。

在 Unity Catalog 構建的開放湖倉生態中,StarRocks 提供三方面價值:

  1. 加速湖上分析:StarRocks 可通過 Iceberg REST 去查 Unity Catalog 管理的數據,支持高速、低延遲的多維即席分析,讓數據無需遷移即可高效使用。

  2. 簡化架構、拓展場景:通過與 Unity Catalog 的無縫集成,用戶可在湖上數據上直接構建 BI 報表,減少數據搬移與 ETL 成本,提升分析效率與實時性。

  3. 推動開放生態發展:作為開源計算引擎,StarRocks 與 Unity Catalog 的互操作性增強了企業對計算引擎的選擇自由,加速構建去中心化、可持續的湖倉生態系統。

StarRocks 與 Unity Catalog 的融合,不僅降低了用戶在多種解決方案間的遷移門檻,推動了計算引擎的專業化與差異化發展,也進一步夯實了開源基礎,打破廠商鎖定,構建出一個更開放、多元、靈活的技術生態,賦能企業實現更高效、更可靠的數據分析能力。

What's Next?

如果你對 Unity Catalog 感興趣,歡迎閱讀以下文章,深入了解本次在 Data + AI Summit 2025 上發布的重磅更新詳情: 👉 What's New in Databricks Unity Catalog | Data + AI Summit 2025

此外,我們還準備了一個實操 Demo,展示如何通過 Unity Catalog、Delta UniForm 與 StarRocks 實現跨引擎的無縫互操作性,歡迎體驗!

https://www.bilibili.com/video/BV1KyKazNENV/?vd_source=1cb452610138142d1300dd37a6162a88

參考資料:https://www.databricks.com/blog/announcing-full-apache-iceberg-support-databricks

https://www.databricks.com/blog/whats-new-databricks-unity-catalog-data-ai-summit-2025

https://www.starrocks.io/blog/build-a-more-open-lakehouse-with-unity-catalog

https://www.databricks.com/product/unity-catalog#features

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/89077.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/89077.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/89077.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

電容屏觸摸不靈敏及跳點問題分析

在電容屏的使用過程中,觸摸不靈敏和觸點不精準是極為常見且讓人困擾的問題。這些問題不僅影響用戶的操作體驗,在一些對觸摸精度要求較高的場景,如工業控制、繪圖設計等領域,還可能導致嚴重的后果。下面我們就來深入剖析一下這兩個…

小程序學習筆記:導航、刷新、加載、生命周期

在小程序開發的領域中,掌握視圖與邏輯相關的技能是打造功能完備、用戶體驗良好應用的關鍵。今天,咱們就來深入梳理一下小程序視圖與邏輯的學習要點,并結合代碼示例,讓大家有更直觀的理解。 一、頁面之間的導航跳轉 在小程序里實…

生成樹基礎實驗

以太網交換網絡中為了進行鏈路備份,提高網絡可靠性,通常會使用冗余鏈路。但是使用冗余鏈路會在交換網絡上產生環路,引發廣播風暴以及 MAC地址表不穩定等故障現象,從而導致用戶通信質量較差,甚至通信中斷。 為解決交換…

flex布局實例:把色子放進盒子里

目錄 一、flex布局實例:把色子放進盒子里 1、基礎樣式 二、justify-content 屬性 三、flex-direction 屬性 四、align-items 屬性 五、flex-wrap 屬性 二、flex布局應用到常見場景 非常詳細的講解flex布局,看一看,練一練! …

Netty編解碼器

目錄 1、概念 2、Netty提供的編解碼器類型 2.1 解碼器 2.1.1 ByteToMessageDecoder 2.1.2 ReplayingDecoder 2.1.3 MessageToMessageDecoder 2.2 編碼器 2.2.1 MessageToByteEncoder 2.2.2 MessageToMessageEncoder 2.3 編解碼器 2.3.1 ByteToMessageCodec 2.3.2 M…

企業內部安全組網技術解析:安全通道選型、零信任架構與數據合規加密防護

一、引言:企業內部安全組網的重要性 隨著企業數字化轉型的深入以及遠程辦公需求的增加,企業內部異地組網逐漸成為企業信息技術部門關注的重要話題。如何在合規合法的前提下,保障企業內部網絡連接的安全性、穩定性,并有效保護企業…

Windows 4625日志類別解析:未成功的賬戶登錄事件

Windows 4625日志類別解析:未成功的賬戶登錄事件 什么是Windows 4625日志? Windows 4625日志屬于安全日志(Security Log) 的一部分,記錄系統中未成功的賬戶登錄嘗試(Failed Logon)。它是追蹤非…

3D看房實現房屋的切換

作為3D看房的補充,在這里,我們講一下如何實現房屋的切換,我這里提供兩種思路, 切換貼圖,切換場景, 接下我們按照較復雜的場景切換來講,切換貼圖也就水到渠成: 初始化場景&#xf…

[Android]ANR的線程

ANR的原理是進行了超時告警,在執行一個需要被監控的任務時,注冊一個超時提醒,如果很快執行好了,刪除這個提醒,如果超時,這個提醒就被觸發,這個超時處理是通過handler方式來調用的,這…

RLVR來做Agent任務能力增強訓練

和上一篇其實有點承接 上一篇的爭論其實是因為要優化agent的任務規劃和實現能力的 所以有了self-learning之爭 當我們說Self-learning,其實是在說什么? 其實上一篇最后時候提了一點拿RLVR來做agent的任務提升 正好今天看到了一篇應景的論文&#xf…

如何運營一個開源項目并取得較大影響力?

開源不僅是主要的軟件開發方法論,還是助力快速創新、分散協作、 生態系統建設和職業發展的卓越戰略。如今,無論在哪里,都離不開與 開源的互動。開源存在于你的手機、汽車和冰箱中,它使你最喜歡的節 目或電影的制作和發行成為可能&…

華為高斯數據庫的數據類型

華為高斯數據庫的數據類型 國產數據庫華為高斯的GaussDB的數據類型 華為高斯數據庫的數據類型? 一、數值類型(Numeric Types)? 二、字符類型(Character Types)? 三、布爾類型(Boolean Type)? 四、日期和…

生物實驗室安全、化學品安全

zhihu.com/column/c_1922752541369800632 Docs 目錄 第七章 7.1 實驗室生物安全等級 7.1.1 生物安全基本概念 7.1.2 生物的危害等級 7.1.2.1 國內生物危害等級 7.1.3 實驗室生物安全防護水平分級 7.2 實驗室生物安全控制 7.2.1 實驗室生物儀器設備安全控制 7.2.1.1 生…

【QT】第一個QT程序 || 對象樹 || 編碼時的注意事項

一、編寫第一個 Qt 程序 1. 開發環境搭建 安裝 Qt Creator(推薦使用官方在線安裝器)安裝 Qt 庫(如 Qt 5.15.2 或 Qt 6.x)配置編譯器(MinGW / MSVC / GCC) 2. 創建一個簡單的 Qt GUI 應用程序 打開 Qt C…

多服務器IP白名單配置(使用redis stream實現)

應用背景 現在我有一個管理平臺,可以通過代理連接到內網網站,但是這個代理服務器沒有設置密碼,所以需要IP白名單讓指定用戶才可以使用代理。 添加白名單流程圖 流程描述: 登錄管理平臺成功后,管理平臺的后臺將這個登錄的IP地址添加到redis,并設置過期時間為24小時redis…

Vue 3 Teleport 特性

目錄 基本用法? 搭配組件使用? 禁用 Teleport? 多個 Teleport 共享目標? 延遲解析的 Teleport ? 總結 <Teleport> 是一個內置組件&#xff0c;它可以將一個組件內部的一部分模板“傳送”到該組件的 DOM 結構外層的位置去。 基本用法? 有時我們可能會遇到這…

常用指令合集(DOS/Linux/git/Maven等)

文章目錄 常用指令收集vmware 虛擬機聯網設置ubuntu 常見問題設置apt 相關指令&#xff1a;gcc 編譯相關指令 sqlite3VSCode 快捷鍵&#xff1a;收索引擎技巧&#xff08;google&#xff09;Intelideashell--LinxvimgitDOS:mavendockerkubectl 指令nginx配置redis-clientMySQLl…

ABP VNext + MassTransit:構建分布式事務與異步消息協作

ABP VNext MassTransit&#xff1a;構建分布式事務與異步消息協作 &#x1f680; &#x1f4da; 目錄 ABP VNext MassTransit&#xff1a;構建分布式事務與異步消息協作 &#x1f680;&#x1f4da; 1. 背景與動機&#x1f6e0;? 2. 環境與依賴&#x1f527; 3. 在 ABP 模塊…

語義網技術

用通俗語言說語義網技術&#xff0c;以及它和現在互聯網的關系 一、語義網技術&#xff1a;讓網絡“聽懂人話”的智能升級 現有互聯網就像一本巨大的“圖文報紙”&#xff1a;我們人類看文章、圖片能輕松理解意思&#xff0c;但計算機只能識別文字符號&#xff0c;不知道“蘋…

pytorch學習—4.反向傳播(用pytorch算梯度)

2. 線性模型 3.梯度下降算法 4.反向傳播_嗶哩嗶哩_bilibili 4.1 代碼復現 import torch import matplotlib.pyplot as pltx_data=[1.0,2.0,3.0] y_data=[2.0,4.0,6.0]#這里創建了一個PyTorch張量w,初始值為1.0,并且設置requires_grad=True, #這意味著在計算過程中,PyTo…