了解篇 | StarRocks 是個什么數據庫?

今天簡要介紹一下StarRocks?這個強大的數據庫。

注意:本文章內容僅供個人學習,不包含任何推薦性質。

圖片

StarRocks(原名?Doris)是一個高性能、全場景的MPP(大規模并行處理)分析型數據庫。它專為極速的多維聯機分析處理(OLAP) 而設計,能夠對海量數據進行實時和批量的多維分析、即席查詢和高并發報表。

官方網站獲取文檔和下載:https://www.starrocks.io

一、 特性與優勢

1.?性能

  • 列式存儲引擎:數據按列存儲,在查詢時只需讀取相關列,極大減少了I/O消耗。

  • 向量化執行引擎:利用CPU的SIMD指令,一次處理一批數據(一個向量),而不是一行數據,顯著提高了CPU利用率和查詢效率。

  • MPP架構: 查詢任務被并行分發到集群中的所有節點,各節點獨立處理自己負責的數據,最后匯總結果,實現了線性擴展。

  • CBO(基于成本的優化器): 擁有非常智能的優化器,能夠為復雜查詢選擇最優的執行計劃。

2.?實時分析

支持實時數據導入,數據寫入后立即可查。它支持從多種數據源(如Kafka、Flink、Spark等)通過物化視圖(Materialized View) 和?Bitmap?索引 等技術進行預聚合和加速,使得即使在大數據量下,聚合查詢也能在亞秒級返回。

3.?高并發

架構設計上避免了外部系統依賴(如ZooKeeper),并進行了大量優化,能夠支持數千甚至上萬的高并發查詢,非常適合作為企業統一的分析門戶或數據中臺的查詢引擎。

4.全面兼容?MySQL?協議

支持標準SQL-92,并且兼容MySQL網絡協議。這意味著你可以使用任何常見的MySQL客戶端、BI工具(如Tableau、Superset、FineBI)或應用程序直接連接StarRocks,學習成本和遷移成本極低。

5.?物化視圖

用戶可以在基表上創建多個物化視圖。StarRocks的優化器能夠自動、智能地選擇最優的物化視圖來響應查詢,無需在查詢語句中顯式指定,對應用透明,極大地加速了聚合查詢。

6.?易于運維

提供簡潔的前端(FE)和后臺(BE)架構,部署和運維相對簡單。

支持在線彈性擴縮容,可通過簡單的SQL命令添加或刪除節點,集群會自動進行數據重分布。

二、 技術架構

StarRocks?采用了一個非常簡潔的架構,主要由兩個角色組成:

1. Frontend (FE)

職責:負責元數據管理、客戶端連接管理、查詢規劃與調度。

組件:

nLeader FE: 主節點,負責元數據的寫入和日志。

nFollower FE: 從節點,參與選舉,提供元數據讀取服務。

nObserver FE: 觀察者節點,僅擴展元數據的讀取能力,不參與選舉。

通常通過BDB JE進行Leader和Follower之間的元數據同步。

2. Backend (BE)

職責:負責數據存儲和查詢執行。每個BE節點存儲一部分數據(Tablet),并執行FE下發的查詢任務。

數據分片:表的數據被水平分區為多個Tablet,每個Tablet有多個副本(通常為3),分布在不同BE上,保證了高可用和高性能。

三、適用場景:

  • 實時數據看板與BI報表: 為業務人員提供高并發的自助分析平臺。

  • 用戶行為分析:支持對海量用戶數據進行多維度、即席的探查與分析。

  • 日志分析:替代ELK等方案,進行結構化的日志存儲與查詢。

  • 統一查詢入口(數據網關):通過External Table功能,可以直接查詢Hive、Iceberg、Hudi、Elasticsearch等外部數據源,無需數據導入,實現“湖倉一體”分析。

  • 高并發精準查詢:例如電商的訂單查詢、用戶畫像的標簽查詢等。

四、與其他OLAP數據庫的對比

特性

StarRocks

ClickHouse

Apache Druid

Snowflake

架構

MPP

無共享(Share-Nothing)

分布式、列式

云原生、存儲計算分離

并發能力

極高

一般(單表)

極高

實時攝入

支持

支持

非常擅長

支持(Streaming)

查詢延遲

亞秒到秒級

亞秒級(簡單查詢)

秒級

秒級

SQL兼容性

高(兼容MySQL)

中等(方言)

中等(方言)

極高(標準SQL)

易用性

簡單

較復雜

復雜

極簡(全托管)

運維成本

無(SaaS)

成本

開源/低成本

開源/低成本

開源/低成本

商業/按量付費

文章小結

StarRocks?是一個在性能、并發、實時性和易用性之間取得出色平衡的MPP數據庫,其極簡架構、向量化引擎和智能物化視圖,成為了大數據實時分析領域的一個OLAP解決方案。;適合需要高并發、低延遲查詢的企業級分析場景,支持自建數據中心和云上部署。

文章至此。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/100340.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/100340.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/100340.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

SSL部署完成,https顯示連接不安全如何處理?

在部署 SSL 后,如果瀏覽器仍然顯示 “連接不安全” 或 “Not Secure”,通常是由以下幾種原因導致的。針對每種可能的原因和問題,以下提供了詳細的排查和解決方案。 1. 排查問題的可能原因 1.1 SSL 證書未正確安裝 如果 SSL 證書安裝不完整或…

LeetCode熱題100--105. 從前序與中序遍歷序列構造二叉樹--中等

1. 題目 給定兩個整數數組 preorder 和 inorder ,其中 preorder 是二叉樹的先序遍歷, inorder 是同一棵樹的中序遍歷,請構造二叉樹并返回其根節點。 示例 1: 輸入: preorder [3,9,20,15,7], inorder [9,3,15,20,7] 輸出: [3,9,20,null,n…

【WitSystem】詳解JWT在系統登錄過程中前端做了什么事,后端又做了什么事?

要理解 JWT(JSON Web Token)登錄流程中前端與后端的職責分工,需先明確 JWT 的核心定位:它是一種無狀態的身份認證令牌,用于替代傳統 Session 認證,解決跨服務、跨域登錄的問題。其流程本質是“后端生成令牌…

MongoDB 在線安裝-一鍵安裝腳本(CentOS 7.9)

1. 腳本概述本腳本用于在 CentOS 7.9 系統上在線安裝 MongoDB,自動處理端口占用和重復安裝問題,并創建管理員用戶 test8,密碼 test123。2. 功能停止并關閉防火墻檢查 27017 端口占用并結束進程如果已安裝 MongoDB,卸載重裝配置 Mo…

樹形數據結構之樹狀基礎-算法賽

今天給分享的是一道算法決賽的題目,這道題目的綜合要求比較高,希望大家可以好好理解,同時這道題用到的是樹狀樹形結構的有關知識。可以用這幾天學的相關內容結合起來。問題描述給定兩個長度為 N的排列 A 和 B。若一對二元組下標 (i,j) 滿足以…

Jenkins 構建清理策略:自帶功能 vs Discard Old Build 插件,全場景實操指南

前言:在 Jenkins 持續集成過程中,構建記錄、工作空間、產物包會不斷積累,既占用磁盤空間,也會讓構建歷史變得臃腫。Jenkins 自帶的“丟棄舊的構建”功能和 Discard Old Build 插件,是兩種常見的構建清理方案。本文將詳…

Leetcode | Hot100

文章目錄兩數之和字母異位詞分組最長連續序列移動零盛水最多的容器三數之和接雨水無重復字符的最長子串找到字符串中所有字母異位詞和為 K 的子數組滑動窗口最大值最小覆蓋子串最大子數組和合并區間輪轉數組除自身以外數組的乘積缺失的第一個正數矩陣置零螺旋矩陣旋轉圖像搜索二…

【論文閱讀】Uncertainty Modeling for Out-of-Distribution Generalization (ICLR 2022)

論文題目:Uncertainty Modeling for Out-of-Distribution Generalization 論文來源:ICLR 2022 論文作者: 論文鏈接:https://arxiv.org/pdf/2202.03958 論文源碼:https://github.com/lixiaotong97/DSU ? 一、摘要…

分布式系統單點登錄(SSO)狀態管理深度解析:從Cookie+Session到JWT的演進之路

分布式系統單點登錄(SSO)狀態管理深度解析:從CookieSession到JWT的演進之路作者:默語佬 | CSDN博主 在分布式微服務架構盛行的今天,單點登錄已成為企業級應用的標準配置。本文將深入探討SSO狀態管理的技術演進,從傳統的CookieSess…

從 WPF 到 Avalonia 的遷移系列實戰篇7:EventTrigger 的遷移

從 WPF 到 Avalonia 的遷移系列實戰篇7:EventTrigger 的遷移 在 WPF 中,EventTrigger 是非常常用的功能,它可以讓我們直接在 XAML 中綁定事件與動畫或動作,實現 UI 的交互效果。例如按鈕點擊時旋轉、鼠標懸停時變色等。 然而&…

深圳比斯特|電池組PACK自動化生產線廠家概述

電池組PACK自動化生產線是指用于生產電池模組的一套自動化系統。這類生產線主要用于生產各類電池組,如鋰離子電池組,應用于電動汽車、儲能系統等領域。自動化生產線通過機械設備和計算機控制系統,實現電池組生產過程的自動化和高效率。整條生…

基于librdkafa C++客戶端生產者發送數據失敗問題處理#2

https://blog.csdn.net/qq_42896627/article/details/149025452?fromshareblogdetail&sharetypeblogdetail&sharerId149025452&sharereferPC&sharesourceqq_42896627&sharefromfrom_link 上次我們介紹了認證失敗的問題。這次介紹另一個問題生產者發送失敗…

pg卡死處理

[postgresapm ~]$ ps -ef|grep postgres:|grep -v grep|awk {print $2}|xargs kill -9 鎖: 1 查找鎖表的pid select pid from pg_locks l join pg_class t on l.relation t.oid where t.relkind r and t.relname lockedtable; 2 查找鎖表的語句 select pid, …

Spring Boot 與 Elasticsearch 集成踩坑指南:索引映射、批量寫入與查詢性能

前言Elasticsearch 作為分布式搜索和分析引擎,憑借其高性能、可擴展性和豐富的查詢能力,被廣泛應用于日志分析、全文檢索、電商搜索推薦等場景。 在 Spring Boot 項目中集成 Elasticsearch 已成為很多開發者的日常需求,但真正落地時往往會踩到…

windows 10打開虛擬機平臺時,出現錯誤“找不到引用的匯編”解決辦法

通過dism.exe開啟虛擬機平臺時,出現了以下錯誤:找不到引用的匯編,如下圖所示 通過以下命令進行修復均無效: dism /online /cleanup-image /scanhealth sfc /scannow 最后通過加載windows系統的安裝光盤iso, 雙擊setup.exe以【保…

設計模式(C++)詳解——建造者模式(1)

<摘要> 建造者模式是一種創建型設計模式&#xff0c;通過將復雜對象的構建過程分解為多個步驟&#xff0c;使相同的構建過程能夠創建不同的表示形式。本文從背景起源、核心概念、設計意圖等角度深入解析該模式&#xff0c;結合電腦組裝、文檔生成等實際案例展示其實現方式…

移動端觸摸事件與鼠標事件的觸發機制詳解

移動端觸摸事件與鼠標事件的觸發機制詳解 在移動端開發中&#xff0c;我們經常會遇到一個現象&#xff1a;一次簡單的觸摸操作&#xff0c;不僅會觸發touch系列事件&#xff0c;還會觸發一系列mouse事件&#xff0c;最終甚至會觸發click事件。這其實是瀏覽器為了兼容傳統桌面端…

如何科學評估CMS系統性能優化效果?

為什么要評估性能優化效果&#xff1f; 在投入時間精力優化CMS系統后&#xff0c;很多開發者只憑"感覺"判斷網站變快了&#xff0c;但這種主觀判斷往往不可靠。科學評估性能優化效果可以幫助我們&#xff1a; 量化優化成果&#xff1a;用數據證明優化的價值發現潛在問…

中控平臺數據監控大屏

中控平臺數據監控大屏前言&#xff1a;什么是數據大屏&#xff1f; 數據大屏就像是一個"數字儀表盤"&#xff0c;把復雜的數據用圖表、動畫等方式直觀展示出來。想象一下汽車的儀表盤&#xff0c;能讓你一眼看到速度、油量、轉速等信息——數據大屏也是這個原理&…

【Vue2手錄13】路由Vue Router

一、Vue Router 基礎概念與核心原理 1.1 路由本質與核心要素 本質定義&#xff1a;路由是URL路徑與頁面組件的對應關系&#xff0c;通過路徑變化控制視圖切換&#xff0c;實現單頁應用&#xff08;SPA&#xff09;的無刷新頁面切換。核心三要素&#xff1a; router-link&#x…