Doris

Apache Doris(原名:Palo)是一個高性能、實時的MPP分析型數據庫,非常適合海量數據的即席查詢、報表分析、指標統計等 OLAP 場景。Doris 的設計目標是:極致查詢性能、簡單易用、支持高并發分析和明細查詢


一、Doris 核心特點

特性說明
MPP 架構支持大規模分布式并行計算,橫向擴展能力強
列式存儲支持高壓縮比,聚合類查詢性能優異
高并發、低延遲查詢支持上萬并發,秒級查詢響應
極簡架構、易部署無需依賴 HDFS 或 YARN,單機即可運行
向量化執行引擎支持 SIMD 加速,提高 CPU 使用效率
支持實時更新支持流式數據導入(Kafka、Flume、Routine Load)
MySQL 協議兼容無縫對接 BI 工具、JDBC 直連、可視化友好
完備的多維建模能力支持寬表、星型/雪花建模

二、Doris 架構組成

                    +--------------------+|    FE(Frontend)  ||   元數據管理/調度   |+--------------------+|+---------------------+----------------------+|                    |                      |
+-------------+     +-------------+        +-------------+
|    BE-1     |     |    BE-2     |  ...   |    BE-n     |
| Backend 節點|     | 存儲 + 計算 |        |             |
+-------------+     +-------------+        +-------------+- FE: 管理元數據、查詢計劃、調度
- BE: 實際執行查詢、存儲數據

三、數據導入方式

模式場景說明
Broker Load離線批量導入支持從 HDFS/OSS/OBS 加載
Stream Load實時小批量支持 HTTP 方式上傳文件
Routine Load實時流式導入支持 Kafka 實時導入
Insert Into手動插入支持 SQL insert
DataX / Flink-Doris-Connector集成方案與離線/流處理框架結合

四、表模型類型

類型適合場景特點
Duplicate Key明細表所有數據原樣存儲,無聚合
Aggregate Key指標匯總支持聚合函數,如 SUM、MAX
Unique Key明細去重主鍵唯一,支持更新
Primary Key(新版)事務語義更強更好支持 UPSERT 更新操作

五、典型查詢性能對比(以 1 億行數據為例)

查詢類型Doris 耗時傳統 MySQL 耗時
條件聚合(SUM)0.2s10s+
分組聚合(GROUP BY)0.3s15s+
高并發(上萬請求)支持容易 OOM
多維分析支持多表 JOIN 效率低

六、使用場景

類型描述
實時 BI 報表分析高并發、多維聚合統計
用戶行為分析埋點日志分析、路徑追蹤
運維/日志監控秒級日志聚合、異常定位
指標平臺建設PV/UV、DAU、留存率分析
數據中臺查詢引擎明細 + 匯總兼顧,替代傳統 Hive
IoT 時序數據分析實時指標計算、大規模聚合

七、與 ClickHouse 對比

特性DorisClickHouse
架構復雜度簡單(無依賴)中等
實時導入強(Kafka Routine Load)弱(寫入延遲大)
更新能力支持更新/刪除(Primary Key)不支持
查詢性能優異優異(復雜 SQL 更好)
MySQL 兼容完全兼容部分支持
使用門檻中等偏高
社區活躍度Apache 頂級項目商業公司主導

八、生態集成

工具/平臺是否兼容
BI 工具(如 Superset、FineBI)?
Flink / Kafka / DataX?
Grafana(SQL 數據源)?
Spark / Hive 數據打通?
Java 應用(JDBC)?

九、簡單示例:建表 + 查詢

-- 建表
CREATE TABLE user_behavior (user_id BIGINT,event_type VARCHAR(20),event_time DATETIME
)
ENGINE=OLAP
DUPLICATE KEY(user_id, event_time)
DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES("replication_num" = "1");-- 插入
INSERT INTO user_behavior VALUES (1001, 'click', '2024-05-10 10:00:00');-- 查詢
SELECT event_type, COUNT(*) FROM user_behavior GROUP BY event_type;

十、適合 Doris 的技術選型建議

場景選型建議
實時明細查詢 + BI 報表? Doris
多維指標統計 + 秒級響應? Doris
離線大數據批處理? 推薦 Hive/Trino
實時流計算 + 明細查詢? Doris + Flink
實時埋點行為分析? Doris or ClickHouse

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/81193.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/81193.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/81193.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

# 2-STM32F103-復位和時鐘控制RCC

STM32-復位和時鐘控制RCC 2-STM32-復位和時鐘控制RCC摘要說明本文參考資料如下: 一、STM32最小系統回顧STM32F103C8T6核心板原理圖 二、復位三、時鐘3.1 時鐘樹3.2 STM32啟動過程3.2 SystemInit()函數3.2.1 SystemInit()第1句:3.2.2 SystemInit()第2句&a…

rk3576 gstreamer opencv

安裝gstreamer rk3588使用gstreamer推流_rk3588 gstreamer-CSDN博客 rk3588使用gstreamer推流_rk3588 gstreamer-CSDN博客 Installing on Linux sudo apt-get install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libgstreamer-plugins-bad1.0-dev gstreamer1.0-pl…

Quic如何實現udp可靠傳輸

QUIC(Quick UDP Internet Connections)是由 Google 設計并被 IETF 標準化的傳輸層協議,它基于 UDP 實現,但提供了類似 TCP 的可靠性和更高級的功能(如多路復用、0-RTT 握手、TLS 加密等)。 盡管 UDP 是不可…

uniapp-商城-59-后臺 新增商品(屬性的選中,進行過濾展示,filter,some,every和map)

前面講了屬性的添加,添加完成后,數據庫中已經存在數據了,這時再繼續商品的添加時,就可以進行屬性的選擇了。 在商品添加過程中,屬性選擇是一個關鍵步驟。首先,界面需要展示嵌套的屬性數據,用戶通…

負載均衡 ELB 在 zkmall開源商城高流量場景下的算法優化

在電商大促、直播帶貨等高頻交易場景下,流量突發增長對系統穩定性提出嚴峻挑戰。ZKmll 開源商城通過對負載均衡 ELB(Elastic Load Balancer)算法的深度優化,結合業務場景特性設計動態加權輪詢 地域感知 熱點分流的混合策略&…

Linux干貨(三)

前言 從B站黑馬程序員Linux課程摘選的學習干貨,新手友好!若有侵權,會第一時間處理。 目錄 前言 1.which find命令 1.which命令 2.find命令 2.grep wc 管道符 1.grep命令 2.wc命令 3.管道符 3.echo tail 重定向符 1.echo命令 2.反…

Sigmoid與Softmax:從二分類到多分類的深度解析

Sigmoid與Softmax:從二分類到多分類的深度解析 聯系 函數性質:二者都是非線性函數 ,也都是指數歸一化函數,可將輸入值映射為0到1之間的實數 ,都能把輸出轉化成概率分布的形式,在神經網絡中常作為激活函數使用。Softmax是Sigmoid的推廣:從功能角度看,Softmax函數可視為…

文件系統交互實現

關于之前的搭建看QT控件文件系統的實現-CSDN博客,接下來是對本程序的功能完善,我想著是這樣設計的,打開一個目錄以后,鼠標選中一個項可以是目錄,也可以是文件,右鍵可以出現一個菜單選擇操作,比如…

[ctfshow web入門] web75

信息收集 啟用了open_basedir,所以之前的方法又不能用了 解題 cforeach(new DirectoryIterator("glob:///*") as $a){echo($a->__toString(). ); } ob_flush();cif ( $a opendir("glob:///*") ) {while ( ($file readdir($a)) ! false …

Vulfocus靶場-文件上傳-3

WSO2 文件上傳 (CVE-2022-29464) WSO2是一家成立于 2005 年的開源技術提供商。它提供了一個企業平臺,用于在本地和整個 Internet 上 集成應用程序編程接口(API)、應用程序和 Web 服務。 某些 WSO2 產品允許無限制的文件上傳和遠程代碼執行。…

基于MCP的橋梁設計規范智能解析與校審系統構建實踐

引言 今天本文準備盤一個大活,聊一聊偏特定行業一點的AI技術深入應用思考及實踐。 一、傳統設計行業項目背景與行業痛點 在橋梁設計領域,標準規范是設計的基礎,直接關系到橋梁結構的安全性、耐久性和經濟性。然而,傳統的規范應…

遠程連接電腦的方法?異地遠程桌面連接和三方軟件實現

遠程連接電腦,是指通過網絡技術,在一臺設備上操控另一臺設備的電腦桌面,實現跨地域的操作和管理。在日常工作、技術支持、遠程辦公等場景中,遠程連接電腦都發揮著重要作用。實現遠程連接電腦主要有系統自帶工具和第三方軟件兩種方…

win11 安裝 wsl ubuntu 18.04后換源失敗!

記錄幾個問題是如何解決的。 一 下載wsl后,有報錯: Installing, this may take a few minutes... WslRegisterDistribution failed with error: 0x8007019e Error: 0x8007019e ??????? Linux ? Windows ???? Press any key to continue... …

PY32系列單片機離線燒錄器,可配置選項字節和上機臺批量燒錄

PY32離線燒錄器采用 MINI-USB 接口,提供穩定的物理連接。設備與電腦采用串口方式通訊,波特率固定為 1M。需配合我們的上位機使用。PY32離線燒錄器現支持芯片型號在PY32F002A/002B/002/003/030/071/072/040/403/303各封裝和XL32F001/003。燒錄器僅提供 3.…

深入理解 this 指向與作用域解析

引言 JavaScript 中的 this 關鍵字的靈活性既是強大特性也是常見困惑源。理解 this 的行為對于編寫可維護的代碼至關重要,但其動態特性也會讓我們感到困惑。 與大多數編程語言不同,JavaScript 的 this 不指向函數本身,也不指向函數的詞法作…

# IntelliJ IDEA企業版開發入門:包、類與項目結構詳解

--- ## 一、項目結構與包的概念 ### 1. 標準項目目錄解析 在IntelliJ IDEA中,一個Java項目通常包含以下核心目錄: - **src**:源代碼根目錄。 - **main**:主代碼目錄,存放業務邏輯代碼。 - **java**:Java…

NGINX 開源與社區動態:從基石到浪潮,持續演進的生態力量

NGINX 之所以能夠成為全球應用最為廣泛的 Web 服務器和反向代理軟件之一,其成功的核心驅動力無疑是開源。開放的源代碼、活躍的社區參與以及透明的開發過程,共同鑄就了 NGINX 的輝煌。然而,正如所有大型開源項目一樣,NGINX 的開源之路也并非一帆風順,其社區動態也時常涌現…

Electron(一)

前言: 參考尚硅谷視頻記錄:b站尚硅谷視頻-1小時上手electron 一、什么是electron? 是一款應用廣泛的、跨平臺的、桌面應用開發框架。 應用廣泛:很多桌面應用都是這個框架寫的,例如騰訊qq、百度云跨平臺:跨window、…

AI Agent開發第64課-DIFY和企業現有系統結合實現高可配置的智能零售AI Agent(上)

開篇 我們之前花了將近10個篇章講Dify的一些基礎應用,包括在講Dify之前我們講到了幾十個AI Agent的開發例子,我不知道大家發覺了沒有,在AI Agent開發過程中我們經常會伴隨著這樣的一些問題: 需要經常改貓娘;需要經常改調用LLM的參數,甚至在一個流程中有3個節點,每個節點…

ssti刷刷刷

[NewStarCTF 公開賽賽道]BabySSTI_One 測試發現過濾關鍵字,但是特殊符號中括號、雙引號、點都能用 可以考慮拼接或者編碼,這里使用拼接 ?name{{()["__cla"~"ss__"]}}?name{{()["__cla"~"ss__"]["__ba&…