Starrocks存算一體和存算分離

網上整理了一下starrocks兩種部署方式的區別差異性,個人感覺生產環境還是盡量存算分離部署,防止資源爭奪等問題影響線上生產數據,雖然存算一體部署起來更方便一些


📊 1. 架構設計

  • 存算一體

    • 節點類型:僅包含 FE(Frontend)和 BE(Backend)兩類節點。
    • 數據存儲:BE 節點同時負責數據存儲和計算,數據本地化存儲在節點磁盤中。
    • 數據分布:數據通過分區分桶(Tablet)機制分散在多個 BE 節點上,默認三副本保證高可用。
  • 存算分離

    • 節點類型:FE 和 CN(Compute Node)兩類節點,BE 被無狀態的 CN 取代。
    • 數據存儲:數據持久化在外部低成本存儲(如 AWS S3、HDFS、OSS),CN 僅負責計算和緩存熱數據。
    • 緩存機制:CN 通過三級緩存(內存 → 本地磁盤 → 遠端存儲)動態管理熱數據,減少 I/O 延遲。

? 2. 性能表現

  • 存算一體

    • 優勢:數據本地化減少網絡傳輸,適合實時分析和高并發查詢,延遲可低至毫秒級。
    • 瓶頸:擴容需數據重分布,可能影響服務連續性;存儲與計算綁定,資源利用率低。
  • 存算分離

    • 優化能力:3.1 版本后,通過智能緩存(Data Cache)和向量化引擎,查詢性能追平存算一體(緩存命中時)。
    • 冷數據挑戰:未命中緩存的查詢需從遠端拉取數據,延遲增加約 50%(但可通過預取策略緩解)。

💰 3. 成本與彈性

  • 成本

    • 存算分離的存儲成本降低 70–80%(對象存儲單價遠低于本地 SSD。
    • 存算一體的存儲需多副本冗余,擴容時需同步增加計算資源,綜合成本更高。
  • 彈性

    • 存算分離支持 秒級擴縮容:CN 節點增減無需數據遷移,適合業務峰谷場景。
    • 存算一體擴容需數據重平衡,可能耗時數小時。

🛠? 4. 運維復雜度

  • 存算一體
    • 需管理數據分片、副本均衡,運維復雜度較高。
  • 存算分離
    • 架構簡化(僅 FE + CN + 對象存儲),但需維護外部存儲系統(如 S3 權限、HDFS 配置)。
    • 支持 K8s 部署,更適合云原生環境。

🔧 5. 功能支持

  • 核心功能對齊
    • 3.1 版本后,存算分離已支持全部表模型(主鍵表、聚合表等)、物化視圖、數據湖分析等功能。
  • 特有優勢
    • 存算分離支持 虛擬數倉(Multi-Warehouse),實現計算資源隔離與共享數據。
    • 存算一體在部分列更新(Update)場景仍有約 20% 性能優勢。

📌 6. 適用場景

場景存算一體存算分離
實時分析? 毫秒級響應(如風控場景)?? 依賴緩存命中率
低成本存儲? 存儲成本高? 對象存儲成本優勢顯著
彈性伸縮需求? 擴容慢? 秒級擴縮容
數據湖集成?? 需數據導入? 直接分析 Iceberg/Hudi
高頻數據更新? 更優的部分列更新性能?? 3.1 版本后基本持平

💎 總結建議

  • 選擇存算一體:業務需極致實時性能、數據更新頻繁,且資源預算充足。
  • 選擇存算分離:追求存儲成本優化、彈性伸縮能力,或需深度集成數據湖

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/86969.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/86969.shtml
英文地址,請注明出處:http://en.pswp.cn/web/86969.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

多線程編程 ----線程主動退出pthread_exit與線程被動退出pthread_cancel

主動退出 pthread_exit 與 pthread_cancel 的區別 1. 核心區別 特性pthread_exitpthread_cancel調用者線程自身調用,主動退出。其他線程調用,異步請求終止目標線程。行為方式立即終止線程,資源需手動釋放。發送取消請求,線程在取…

電腦開機加速工具,優化啟動項管理

軟件介紹 今天為大家推薦一款專業的電腦啟動項管理工具,這款軟件能有效優化電腦開機速度,幫助用戶管理開機自啟動程序。 使用方式 軟件無需安裝,以管理員身份直接雙擊運行即可使用。為確保安全,軟件特別設計為不添加注冊表…

設備管理的11個指標、七大誤區、六大特征

1、設備的完好率 在這些指標里用得最多,但其對管理的促進作用有限。所謂的完好率,是在檢查期間,完好設備與設備總臺數的比例(設備完好率=完好設備數/設備總數)很多工廠的指標可以達到95%以上。理由很簡單,在檢查的那一刻,如果設備是運轉的,沒出故障,就算是完好的,于…

11OAuth2

目錄 本節大綱 一、OAuth2 簡介 二、OAuth2 授權總體流程 三、四種授權模式 授權碼模式 簡化模式 密碼模式 客戶端模式 四、OAuth2 標準接口 五、GitHub 授權登錄 1. 創建 OAuth 應用 2. 項目開發 六、Spring Security OAuth2 七、授權、資源服務器 1. 授權服務器…

Github Copilot協助解決cucumber插件不支持async/await

一、提示詞 問題描述 在使用了badeball/cypress-cucumber-preprocessor插件后,存在不支持nodejs原生的promise和async/await語法問題 執行用例命令 npx cypress run --env configFilemhesi-staging,TAGS"API005" --spec "cypress/integration/AL…

C++多線程【Linux】

Linux的多線程 Linux的子線程實際上也是個進程&#xff0c;但是比傳統的進程輕量化。 pthread pthread是用于Linux系統下的線程庫&#xff0c;頭文件是<pthread.h>。C11 之前的多線程開發高度依賴平臺原生 API&#xff0c;Windows 以 CreateThread 和內核對象為核心&am…

Windows 環境下 NVM 命令詳解:多版本 Node.js 管理利器

“一個 Node.js 版本走天下&#xff1f;太局限了&#xff01;試試 nvm&#xff0c;版本切換如絲般順滑。” 什么是 NVM NVM&#xff08;Node Version Manager&#xff09;是一個命令行工具&#xff0c;允許你安裝并在多個 Node.js 版本之間自由切換。 在 Linux/macOS 下常用的…

一二級路由之間的傳參方式以及高亮問題

實現如下圖所示的一二級路由的高亮情況&#xff1a; 在一級路由APP.vue下設置&#xff1a; .head a.router-link-active {background-color: rgb(235, 221, 204); }在二級路由Mycenter.vue下設置&#xff1a; /* 要求在點擊跳轉到mycenter_lianxi頁面時候父路由保持高亮…

前端JavaScript力扣HOT100刷題【51-100】

注&#xff1a;純手打&#xff0c;如有錯誤歡迎評論區交流&#xff01; 轉載請注明出處&#xff1a;https://blog.csdn.net/testleaf/article/details/148953015 編寫此文是為了更好地學習前端知識&#xff0c;如果損害了有關人的利益&#xff0c;請聯系刪除&#xff01; 本文章…

智能制造數字孿生集成交付生態鏈:智慧產線極速克隆,孿生重構生產周期

在智能制造的浪潮中&#xff0c;數字孿生技術正以前所未有的速度重塑制造業的生產模式。從產品設計到生產制造&#xff0c;再到運維管理&#xff0c;數字孿生通過構建物理世界的虛擬鏡像&#xff0c;實現了生產全流程的數字化映射與優化。 山東融谷信息以“智能制造數字孿生集成…

非常詳細版: dd.device.geolocation 釘釘微應用獲取定位,移動端 PC端都操作,Vue實現釘釘微應用獲取精準定位并渲染在地圖組件上

dd.device.geolocation 釘釘微應用獲取定位,釘釘微應用獲取精準定位并渲染在地圖組件上 ,手機端 PC端要都可用 【dd.device.geolocation是需要鑒權的哦】 想要的數據和效果圖 想要的數據格式 代碼 <template><div class="dialogStyles"

鴻蒙5:組件狀態共享

目錄 1. 組件狀態共享 1.1 狀態共享-父子傳值&#xff1a;Local、Param、Event 1.2 狀態共享-父子雙向綁定!! 1.3 跨代共享&#xff1a;Provider和Consumer 1.3.1 aliasName和屬性名 1.3.2 實現跨代共享 1.3.3 裝飾復雜類型&#xff0c;配合Trace一起使用 1.3.4 支持共…

【MySQL】12. C語言與數據庫的連接

1. 下載MySQL的連接庫 sudo apt install -y libmysqlclient-dev 2. MySQL連接庫的常用接口介紹 通過下面的樣例了解MYSQL的常用接口&#xff1a; #include <iostream> #include <mysql/mysql.h> using namespace std;const char *host "localhost";…

[springboot系列] 探秘JUnit 5: Java單元測試利器

介紹 JUnit 5 是一個用于 Java 編程語言的單元測試框架&#xff0c;它是 JUnit 框架的第五個版本&#xff0c;與 JUnit 4 相比&#xff0c;JUnit 5 提供了許多改進和新特性&#xff0c;包括更好的擴展性、靈活性和對現代 Java 特性的支持。 JUnit 5 由三個主要的子模塊組成&a…

開源 java android app 開發(十三)繪圖定義控件、搖桿控件的制作

文章的目的為了記錄使用java 進行android app 開發學習的經歷。本職為嵌入式軟件開發&#xff0c;公司安排開發app&#xff0c;臨時學習&#xff0c;完成app的開發。開發流程和要點有些記憶模糊&#xff0c;趕緊記錄&#xff0c;防止忘記。 相關鏈接&#xff1a; 開源 java an…

Python 庫 包 sentence-transformers

sentence-transformers 是一個非常流行的 Python 庫&#xff0c;專門用于將文本&#xff08;句子、段落、文檔&#xff09;轉換為高質量的語義向量&#xff08;嵌入&#xff09;。它基于 Transformer 架構&#xff08;如 BERT、RoBERTa、DistilBERT 等&#xff09; 的預訓練模型…

《聚類算法》入門--大白話篇:像整理房間一樣給數據分類

一、什么是聚類算法&#xff1f; 想象一下你的衣柜里堆滿了衣服&#xff0c;但你不想一件件整理。聚類算法就像一個聰明的助手&#xff0c;它能自動幫你把衣服分成幾堆&#xff1a;T恤放一堆、褲子放一堆、外套放一堆。它通過觀察衣服的顏色、大小、款式這些特征&#xff0c;把…

AutoGen(五) Human-in-the-Loop(人類在環)實戰與進階:多智能體協作與Web交互全流程(附代碼)

AutoGen Human-in-the-Loop&#xff08;人類在環&#xff09;實戰與進階&#xff1a;多智能體協作與Web交互全流程&#xff08;附代碼&#xff09; 引言&#xff1a;AI自動化的極限與人類參與的價值 在大模型&#xff08;LLM&#xff09;驅動的AI應用開發中&#xff0c;完全自…

并查集 Union-Find

目錄 引言 簡單介紹 淺淺總結 算法圖解 初始化 根節點查找 集合合并 連通性檢查 例題 大概思路 完整代碼&#xff1a; 引言 一個小小的并查集讓我們在ccpc卡了那么久(還有unordered_map,如果不是忘了map自動排序這么一回事也不至于試那么多發)&#xff0c;至今仍然心有…

書籍在行列都排好序的矩陣中找數(8)0626

題目&#xff1a; 給定一個有N*M的整型矩陣matrix和一個整數K&#xff0c;matrix的每一行和每一列都是排好序的。實現一個函數&#xff0c;判斷K是否在matrix中。 0 1 2 5 2 3 4 7 4 4 4 8 5 …