隨著數據分析需求的不斷演進，企業對數據處理架構的期望也在不斷提升。在這一背景下，StarRocks 憑借其高性能的實時分析能力，正引領數據分析進入湖倉一體的新時代。

4 月 18 日，鏡舟科技高級技術專家單菁茹做客開源中國直播欄目《技術領航》，深入分享了如何基于 StarRocks 搭建高效的大數據底座，解決 BI 報表、實時分析與機器學習三大場景的數據處理需求。

一、數據技術架構演進

在大數據技術發展的歷程中，數據分析架構經歷了從單一走向融合的漫長旅程。這一演進過程可以清晰地分為三個階段：

傳統數倉時代（2000-2010）：以 Oracle/DB2 為代表的單體架構占據主導地位，這一時期的數據處理能力有限，主要服務于結構化數據的分析和報表生成。數據倉庫承擔著數據整合與分析的重任，但也面臨著擴展性不足、成本高昂等問題。

大數據平臺期（2011-2018）：隨著業務復雜度提升和數據規模爆發，Hadoop+MPP 混搭架構應運而生。這一階段引入了數據湖的概念，可以容納更加多樣的數據類型。

然而，這種架構也帶來了新的挑戰——數據孤島問題、分析性能瓶頸以及數據一致性難題。

湖倉融合階段（2020 至今）：這一范式融合了數據湖與數據倉庫的優勢，極大地簡化了企業的數據處理流：

• 消除數倉與數據湖之間的邊界

• 在保持數據湖開放性和低成本的同時，提供數據倉庫級別的查詢性能
• 支持統一的元數據管理和數據治理，有效解決數據一致性問題

StarRocks 3.x 統一架構也進一步實現了"All data， one analytics"的業務價值，讓分析師能夠更加高效地從數據中提取價值。

二、StarRocks Lakehouse 三大核心特性

StarRocks Lakehouse 架構通過三大核心特性很好地解決了當前數據分析面臨的關鍵挑戰。

1. 存算分離架構：平衡彈性與成本

StarRocks 的存算分離架構在 2023 年 4 月正式發布，目前已有上百家企業成功上線。這一架構徹底解耦了計算與存儲，帶來顯著優勢。

以京東物流為例，他們面臨著海量數據實時寫入需求、長周期數據留存（從 7 天到 2 年不等）以及業務高峰期資源需求劇增等挑戰。

通過 StarRocks 的存算分離架構，京東物流實現計算節點完全無狀態，秒級完成擴縮容，同時不需要數據遷移和均衡，大幅提高資源利用率，另外，分析平臺支持按需、按時等多種擴容方式，輕松應對流量波動。存算分離帶來極具吸引力的成本效益：

• 從存算一體的三副本本地存儲轉變為一副本對象存儲，存儲成本降低 80%
• 數據可靠性從 3 個 9 提升至 11 個 9，顯著增強數據安全性
• 通過 data cache 機制保證熱數據訪問性能，確保查詢性能與存算一體架構相當

• 冷查詢性能達到存算一體的 1/3，仍能滿足常規分析需求

StarRocks 的存算分離架構不僅解決了傳統架構的彈性不足問題，還大幅降低了存儲成本，實現了資源利用的最優化。

企業級產品鏡舟數據庫提供的 Multi-Warehouse 能力，能夠解決 ETL 任務與即席查詢資源隔離的問題。支持動態調整資源分配，避免互相干擾，同時能夠基于優先級的任務調度，確保關鍵業務流暢運行，支持資源使用的細粒度控制，提高整體利用率。

2. 極速湖倉分析：打破數據孤島，實現無縫集成

數據孤島問題一直是企業數據分析的痛點。StarRocks 通過統一數據目錄機制提供了更高效的解決方案。通過跨源治理能力，StarRocks 能夠同時接入多種數據源，實現數據的統一管理：

• 支持 Hive、MySQL、Kafka 等多種數據源的無縫接入
• 統一的元數據管理層，解決數據散落各處的問題

• 開放的數據格式支持，兼容 Iceberg、Hudi、Paimon 等主流數據湖格式

統一數據目錄機制幫助企業建立真正的數據資產全景視圖，打破數據孤島，為數據分析提供堅實基礎。

通過優化的查詢執行計劃（CBO）向量化執行引擎，StarRocks 能夠加速數據湖查詢，減少資源消耗，加速數據處理，另外設計智能數據預取和緩存機制，顯著提升性能。TPC-H 基準測試表明，StarRocks 比 Trino 快 3-5 倍。

鏡舟數據庫通過權限統一管理，進一步提供企業級數據安全保障：行列級安全策略同步至所有數據源，支持 RBAC 權限管理，精細化控制數據訪問，同時通過集中式權限管理，簡化了安全運維工作。

3. 物化視圖：兼具性能與靈活性

StarRocks 的智能加速引擎是其卓越性能的核心所在，通過多項創新技術實現了查詢速度的質的飛躍：

StarRocks 的物化視圖技術為分析提供靈活性：支持基于多表的 JOIN 操作和復雜查詢場景，能自動感知基表分區變化，同步刷新物化視圖。并且 StarRocks 能通過透明查詢改寫實現加速，業務 SQL 無需調整。

StarRocks 的三大特性構建了一個強大的 Lakehouse 架構，真正實現了數據湖的開放性和數據倉庫的性能優勢相結合，為企業數據分析提供了全新范式。這一架構不僅解決了當前企業面臨的數據分析挑戰，還為未來發展奠定了堅實基礎。

三、企業案例：南京銀行湖倉融合數字化轉型實踐

作為企業級產品，鏡舟數據庫基于 StarRocks 開源項目打造，符合國家標準并適配國內外生態體系，已在多個行業成功落地湖倉一體化解決方案。尤其在金融領域，鏡舟數據庫幫助眾多企業實現數據驅動轉型，顯著提升了數據分析能力和業務創新效率。

南京銀行面臨零售業務量快速增長帶來的數據挑戰，累計沉淀原始數據量達 500TB，包含 800 多張復雜業務表。傳統數據處理架構難以滿足日益增長的實時分析需求，數據分析效能與業務創新逐漸脫節。

南京銀行選擇采用基于 StarRocks 的鏡舟數據庫替換原有的 Impala，完成湖倉一體平臺建設：

• 性能顯著提升：用 7 張 1.3 億數據量的大表做關聯和聚合，鏡舟數據庫可在 7 秒內返回結果，查詢性能提升 10 倍以上
• 數據時效性改善：克服了傳統 T+1 固定報表模式的延遲問題，實現數據價值的及時呈現

• 靈活用戶畫像分析：構建靈活的營銷中心，通過客戶資產總額、資產配置偏好、月收入等數據進行精準畫像，實現數字化獲客和銷售轉化

目前，基于鏡舟數據庫的大零售經營管理平臺已覆蓋南京銀行多種業務類型，支持從業務系統自動接入推薦人信息，實現線上化業績分配認領，提升了全行考核有效性和透明度。

四、結語：鏡舟科技進一步為客戶打造價值全景

StarRocks 作為新一代 Lakehouse 架構的引領者，已經在多個行業展現出其強大的價值創造能力。通過 StarRocks 的湖倉一體架構，企業能夠真正實現"一套架構解決 BI 報表、實時分析與機器學習三大場景"，為業務決策提供堅實的數據基礎。

通過鏡舟科技的企業級解決方案，客戶能夠獲得全方位的價值提升。隨著數據分析需求的不斷演進，鏡舟科技將攜手 StarRocks 繼續引領行業創新，為企業提供更加高效、靈活的數據分析解決方案，助力企業在數字化轉型的道路上走得更快、更遠。