記錄一下 StarRocks 點查的 Profile Metrics

背景

Starrocks 3.5
補充兩個點查的 profile
一個是沒有開啟點查的情況,也就是SET enable_short_circuit = false;
一個是開啟點查的情況,也就是SET enable_short_circuit = true;
其中建表語句如下:


CREATE TABLE `ac_account` (`id` bigint(20) NOT NULL COMMENT "",`date_created` datetime NOT NULL DEFAULT "1970-01-01 00:00:00" COMMENT "",`date_updated` datetime NOT NULL DEFAULT "1970-01-01 00:00:00" COMMENT "修改時間",) ENGINE=OLAP
PRIMARY KEY(`id`, `date_created`)
COMMENT ""
PARTITION BY date_trunc('day', date_created)
DISTRIBUTED BY HASH(`id`) BUCKETS 2
PROPERTIES (
"compression" = "ZSTD",
"enable_persistent_index" = "true",
"fast_schema_evolution" = "true",
"replicated_storage" = "true",
"replication_num" = "3"
); |

執行的命令如下:

select * from ac_account where id=8469586 and  date_created ='2018-10-01 00:13:02'

差別與時間

指標點查非點查
總時間6ms14ms
optimzer時間01ms
optimzer rule只經過RBOCBO和RBO
scheduler 步驟只經過scheduler中的pending時間,以及獨有的DeploySerializeTime序列化時間經過scheduler的完整周期,如Pending,Prepare,Deploy
deploy時間02ms
execution時間857.455us6.773ms
execution 步驟直接到節點獲取執行的數據scan(io),PipelineDriver調度(Ready、Blocked 和 Running), 節點執行運算

指標的說明參考:Query Profile Metrics
具體的BE端的流程參考StarRocks Pipeline 執行框架

這兩個之間的的profile如下

Query:Summary:- Query ID: c37b81df-796e-11f0-89a6-00163e164034- Start Time: 2025-08-15 08:28:28- End Time: 2025-08-15 08:28:28- Total: 6ms- Query Type: Query- Query State: Finished- StarRocks Version: 3.3.5-6d81f75- User: root- Default Db: ams- Sql Statement: select * from ac_account where id=8469586 and  date_created ='2018-10-01 00:13:02'- Variables: parallel_fragment_exec_instance_num=8,max_parallel_scan_instance_num=-1,pipeline_dop=0,enable_adaptive_sink_dop=true,enable_runtime_adaptive_dop=false,runtime_profile_report_interval=10,resource_group=default_wg- NonDefaultSessionVariables: {"big_query_profile_threshold":{"defaultValue":"0s","actualValue":"5ms"},"parallel_fragment_exec_instance_num":{"defaultValue":1,"actualValue":8},"enable_adaptive_sink_dop":{"defaultValue":false,"actualValue":true},"enable_short_circuit":{"defaultValue":false,"actualValue":true},"enable_profile":{"defaultValue":false,"actualValue":true}}- Collect Profile Time: 0- IsProfileAsync: truePlanner:- -- Parser[1] 0- -- Total[1] 2ms-     -- Analyzer[1] 0-         -- Lock[1] 0-         -- AnalyzeDatabase[1] 0-         -- AnalyzeTemporaryTable[1] 0-         -- AnalyzeTable[1] 0-     -- Transformer[1] 0-     -- Optimizer[1] 1ms-         -- MVPreprocess[1] 0-             -- MVChooseCandidates[1] 0-             -- MVGenerateMvPlan[1] 0-             -- MVValidateMv[1] 0-             -- MVProcessWithView[1] 0-         -- MVTextRewrite[1] 0-         -- RuleBaseOptimize[1] 1ms-     -- ExecPlanBuild[1] 0- -- Pending[1] 0- -- DeploySerializeTime[1] 0Reason:Short Circuit Executor:TNetworkAddress(hostname:xxx.xxx.xxx.251, port:8060):(Active: 857.455us[857455ns], % non-child: 12.85%)- CloseTime: 7.243us- ExecuteTime: 764.279us- PrepareTime: 81.675usOLAP_SCAN_NODE (id=0):(Active: 747.286us[747286ns], % non-child: 87.15%)- PeakMemoryUsage: 0.000 B- RowsReturned: 1- RowsReturnedRate: 1.338K (1338) /sec
Query:Summary:- Query ID: 7f3db82a-796e-11f0-89a6-00163e164034- Start Time: 2025-08-15 08:26:33- End Time: 2025-08-15 08:26:33- Total: 14ms- Query Type: Query- Query State: Finished- StarRocks Version: 3.3.5-6d81f75- User: root- Default Db: ams- Sql Statement: select * from ac_account where id=8469586 and  date_created ='2018-10-01 00:13:02'- Variables: parallel_fragment_exec_instance_num=8,max_parallel_scan_instance_num=-1,pipeline_dop=0,enable_adaptive_sink_dop=true,enable_runtime_adaptive_dop=false,runtime_profile_report_interval=10,resource_group=default_wg- NonDefaultSessionVariables: {"big_query_profile_threshold":{"defaultValue":"0s","actualValue":"5ms"},"parallel_fragment_exec_instance_num":{"defaultValue":1,"actualValue":8},"enable_adaptive_sink_dop":{"defaultValue":false,"actualValue":true},"enable_profile":{"defaultValue":false,"actualValue":true}}- Collect Profile Time: 2ms- IsProfileAsync: truePlanner:- -- Parser[1] 0- -- Total[1] 2ms-     -- Analyzer[1] 0-         -- Lock[1] 0-         -- AnalyzeDatabase[1] 0-         -- AnalyzeTemporaryTable[1] 0-         -- AnalyzeTable[1] 0-     -- Transformer[1] 0-     -- Optimizer[1] 1ms-         -- MVPreprocess[1] 0-             -- MVChooseCandidates[1] 0-             -- MVGenerateMvPlan[1] 0-             -- MVValidateMv[1] 0-             -- MVProcessWithView[1] 0-         -- MVTextRewrite[1] 0-         -- RuleBaseOptimize[1] 1ms-         -- CostBaseOptimize[1] 0-         -- PhysicalRewrite[1] 0-         -- PlanValidate[1] 0-             -- InputDependenciesChecker[1] 0-             -- TypeChecker[1] 0-             -- CTEUniqueChecker[1] 0-             -- ColumnReuseChecker[1] 0-     -- ExecPlanBuild[1] 0- -- Pending[1] 0- -- Prepare[1] 0- -- Deploy[1] 1ms-     -- DeployLockInternalTime[1] 1ms-         -- DeploySerializeConcurrencyTime[1] 0-         -- DeployStageByStageTime[3] 0-         -- DeployWaitTime[3] 0-             -- DeployAsyncSendTime[1] 0- DeployDataSize: 14654Reason:Execution:- Topology: {"rootId":0,"nodes":[{"id":0,"name":"OLAP_SCAN","properties":{"sinkIds":[],"displayMem":false},"children":[]}]}- FrontendProfileMergeTime: 1.041ms- QueryAllocatedMemoryUsage: 15.679 MB- QueryCumulativeCpuTime: 1.715ms- QueryCumulativeNetworkTime: 0ns- QueryCumulativeOperatorTime: 5.447ms- QueryCumulativeScanTime: 4.506ms- QueryDeallocatedMemoryUsage: 14.438 MB- QueryExecutionWallTime: 6.773ms- QueryPeakMemoryUsagePerNode: 8.513 MB- QueryPeakScheduleTime: 43.383us- QuerySpillBytes: 0.000 B- QuerySumMemoryUsage: 8.513 MB- ResultDeliverTime: 0nsFragment 0:- BackendAddresses: xxx.xxx.xxx.252:9060- InstanceIds: 7f3db82a-796e-11f0-89a6-00163e164035- BackendNum: 1- BackendProfileMergeTime: 897.164us- FragmentInstancePrepareTime: 315.315us- prepare-fragment-ctx: 731ns- prepare-pipeline-driver: 100.410us- prepare-pipeline-driver-factory: 127.601us- prepare-query-ctx: 2.816us- prepare-runtime-state: 81.784us- InitialProcessDriverCount: 0- InitialProcessMem: 2.773 GB- InstanceAllocatedMemoryUsage: 15.679 MB- InstanceDeallocatedMemoryUsage: 14.438 MB- InstanceNum: 1- InstancePeakMemoryUsage: 8.500 MB- JITCounter: 0- JITTotalCostTime: 0ns- QueryMemoryLimit: -1.000 BPipeline (id=1):- isGroupExecution: false- ActiveTime: 595.473us- BlockByInputEmpty: 2- BlockByOutputFull: 0- BlockByPrecondition: 0- DegreeOfParallelism: 1- DriverPrepareTime: 61.877us- DriverTotalTime: 4.997ms- OverheadTime: 0ns- PeakDriverQueueSize: 0- PendingTime: 4.358ms- InputEmptyTime: 4.360ms- FirstInputEmptyTime: 80.913us- FollowupInputEmptyTime: 4.280ms- OutputFullTime: 0ns- PendingFinishTime: 0ns- PreconditionBlockTime: 0ns- ScheduleCount: 3- ScheduleTime: 43.383us- TotalDegreeOfParallelism: 1- YieldByLocalWait: 0- YieldByPreempt: 0- YieldByTimeLimit: 0RESULT_SINK (plan_node_id=-1):CommonMetrics:- IsFinalSink- CloseTime: 20.519us- OperatorAllocatedMemoryUsage: 6.883 KB- OperatorDeallocatedMemoryUsage: 7.578 KB- OperatorPeakMemoryUsage: 0.000 B- OperatorTotalTime: 60.605us- PrepareTime: 8.947us- PullChunkNum: 0- PullRowNum: 0- PullTotalTime: 0ns- PushChunkNum: 1- PushRowNum: 1- PushTotalTime: 39.926us- SetFinishedTime: 40ns- SetFinishingTime: 120nsUniqueMetrics:result sink:- AppendChunkTime: 14.727us- ResultRendTime: 24.487us- TupleConvertTime: 6.703us- NumSentRows: 1CHUNK_ACCUMULATE (plan_node_id=-1):CommonMetrics:- IsSubordinate- CloseTime: 100ns- OperatorTotalTime: 1.643us- PrepareTime: 6.552us- PullChunkNum: 1- PullRowNum: 1- PullTotalTime: 221ns- PushChunkNum: 1- PushRowNum: 1- PushTotalTime: 1.262us- SetFinishedTime: 30ns- SetFinishingTime: 30nsUniqueMetrics:CHUNK_ACCUMULATE (plan_node_id=0):CommonMetrics:- IsSubordinate- CloseTime: 260ns- OperatorTotalTime: 2.535us- PrepareTime: 13.475us- PullChunkNum: 1- PullRowNum: 1- PullTotalTime: 181ns- PushChunkNum: 1- PushRowNum: 1- PushTotalTime: 1.894us- SetFinishedTime: 110ns- SetFinishingTime: 90nsUniqueMetrics:OLAP_SCAN (plan_node_id=0):CommonMetrics:- CloseTime: 503.420us- JoinRuntimeFilterEvaluate: 0- JoinRuntimeFilterHashTime: 0ns- JoinRuntimeFilterInputRows: 0- JoinRuntimeFilterOutputRows: 0- JoinRuntimeFilterTime: 0ns- OperatorAllocatedMemoryUsage: 15.419 MB- OperatorDeallocatedMemoryUsage: 13.469 MB- OperatorPeakMemoryUsage: 8.247 MB- OperatorTotalTime: 801.854us- PrepareTime: 14.758us- PullChunkNum: 1- PullRowNum: 1- PullTotalTime: 297.772us- PushChunkNum: 0- PushRowNum: 0- PushTotalTime: 0ns- RuntimeBloomFilterNum: 0- RuntimeInFilterNum: 0- SetFinishedTime: 101ns- SetFinishingTime: 561nsUniqueMetrics:- MorselQueueType: fixed_morsel_queue- Predicates: 1: id = 8469586, 2: date_created = '2018-10-01 00:13:02'- Rollup: ac_account- SharedScan: False- Table: ac_account- AccessPathHits: 0- AccessPathUnhits: 0- BytesRead: 689.000 B- CachedPagesNum: 0- ChunkBufferCapacity: 64- CompressedBytesRead: 332.227 KB- DefaultChunkBufferCapacity: 64- IOTaskExecTime: 4.493ms- CreateSegmentIter: 59.722us- GetDelVec: 1.392us- GetDeltaColumnGroup: 3.567us- GetRowsets: 380ns- IOTime: 192.835us- LateMaterialize: 3.237ms- ReadPKIndex: 0ns- SegmentInit: 519.510us- BitmapIndexFilter: 0ns- BitmapIndexFilterRows: 0- BitmapIndexIteratorInit: 13.225us- BloomFilterFilter: 261ns- BloomFilterFilterRows: 0- ColumnIteratorInit: 90.231us- GinFilter: 0ns- GinFilterRows: 0- RemainingRowsAfterShortKeyFilter: 1- SegmentRuntimeZoneMapFilterRows: 0- SegmentZoneMapFilterRows: 12- ShortKeyFilter: 221.909us- ShortKeyFilterRows: 33.069K (33069)- ShortKeyRangeNumber: 0- ZoneMapIndexFilterRows: 0- ZoneMapIndexFiter: 10.420us- SegmentRead: 10.108us- BlockFetch: 11.472us- BlockFetchCount: 1- BlockSeek: 203.304us- BlockSeekCount: 1- ChunkCopy: 30ns- DecompressT: 1.055ms- DelVecFilterRows: 0- PredFilter: 810ns- PredFilterRows: 0- RowsetsReadCount: 3- SegmentsReadCount: 2- TotalColumnsDataPageCount: 168- IOTaskWaitTime: 12.934us- MorselsCount: 1- PeakChunkBufferMemoryUsage: 892.337 KB- PeakChunkBufferSize: 2- PeakIOTasks: 1- PeakScanTaskQueueSize: 0- PrepareChunkSourceTime: 272.224us- PushdownAccessPaths: 0- PushdownPredicates: 2- RawRowsRead: 1- ReadPagesNum: 55- RowsRead: 1- ScanTime: 4.506ms- SubmitTaskCount: 1- SubmitTaskTime: 3.136us- TabletCount: 1- UncompressedBytesRead: 497.217 KBPipeline (id=0):- isGroupExecution: false- ActiveTime: 74.642us- BlockByInputEmpty: 0- BlockByOutputFull: 0- BlockByPrecondition: 0- DegreeOfParallelism: 1- DriverPrepareTime: 36.199us- DriverTotalTime: 94.930us- OverheadTime: 252ns- PeakDriverQueueSize: 0- PendingTime: 0ns- InputEmptyTime: 0ns- FirstInputEmptyTime: 0ns- FollowupInputEmptyTime: 0ns- OutputFullTime: 0ns- PendingFinishTime: 0ns- PreconditionBlockTime: 0ns- ScheduleCount: 1- ScheduleTime: 20.288us- TotalDegreeOfParallelism: 1- YieldByLocalWait: 0- YieldByPreempt: 0- YieldByTimeLimit: 0NOOP_SINK (plan_node_id=0):CommonMetrics:- IsSubordinate- CloseTime: 341ns- OperatorTotalTime: 440ns- PrepareTime: 6.772us- PullChunkNum: 0- PullRowNum: 0- PullTotalTime: 0ns- PushChunkNum: 0- PushRowNum: 0- PushTotalTime: 0ns- SetFinishedTime: 30ns- SetFinishingTime: 69nsUniqueMetrics:OLAP_SCAN_PREPARE (plan_node_id=0):CommonMetrics:- IsSubordinate- CloseTime: 3.225us- OperatorTotalTime: 73.950us- PrepareTime: 13.447us- PullChunkNum: 0- PullRowNum: 0- PullTotalTime: 70.584us- PushChunkNum: 0- PushRowNum: 0- PushTotalTime: 0ns- RuntimeBloomFilterNum: 0- RuntimeInFilterNum: 0- SetFinishedTime: 40ns- SetFinishingTime: 101nsUniqueMetrics:- CaptureTabletRowsetsTime: 3.626us

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/93523.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/93523.shtml
英文地址,請注明出處:http://en.pswp.cn/web/93523.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

react echarts圖表監聽窗口變化window.addEventListener(‘resize’)與ResizeObserver()

發生問題場景 系統頁面使用tabs標簽頁,當有多個組件,有使用eCharts圖表的頁面時,其中的一個頁面或其他頁面使用了F11的頁面全屏,關閉全屏后圖表會收縮起來(注:固定eCharts的width、height 的參數值是無影響,按照固定參數大小展示)…

Leaflet賦能:WebGIS視角下的省域區縣天氣可視化實戰攻略

目錄 前言 一、空間數據基礎 1、省域空間檢索 2、區縣天氣信息檢索 二、天氣數據簡介 1、省域天氣數據獲取 2、區縣名稱不一致 三、SpringBoot后臺實現 1、Java后臺天氣數據查詢 2、控制層實現 四、WebGIS前端實現 1、氣溫顏色及圖例初始化 2、氣溫數據展示實現 五…

《SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents》論文精讀筆記

前言 論文鏈接:[2401.10935] SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents SeeClick是一種只依賴截圖就能執行自動化任務的方法。 在這篇論文中,還提出了ScreenSpot數據集,涵蓋移動端、桌面和Web環境的真實benchma…

校園綜合數據分析可視化大屏 -Vue純前端靜態頁面項目

最近一直在學習用vue來制作 一些 大屏報表的網站,今天就來分享一個我最近做的一個 關于校園綜合數據分析可視化大屏的網站。 使用的技術是vue2 element-uiVue2:Element-UI:ECharts:Node版本 16.20 安裝依賴:n…

【adb端口5555】烽火hg680-gy_烽火hg680-gc安卓9線刷燒錄包 解決用一段時間就提示升級的問題

烽火hg680-gy_烽火hg680-gc安卓9線刷燒錄包 解決提示升級的問題本固件可用于那些adb打不開或無法用U盤成功刷機的盒子;本固件需要準備一個TTL線哦;CH340型號的 可以網上自購;TTL鏈接點 參考下圖:其他也沒有特別需要說明了的&#…

大模型應用發展與Agent前沿技術趨勢(中)

大模型與Agent結合的深度技術架構 分層式Agent架構設計 隨著大模型規模的不斷增長,傳統的Agent實現方式已難以滿足高性能、高可擴展性的需求。現代大模型Agent系統通常采用分層式架構設計,將復雜的決策過程分解為多個功能模塊,每個模塊負責特…

Python可視化工具-Bokeh:動態顯示數據

目錄 概述 1 認識Bokeh 1.1 Bokeh介紹 1.2 安裝Bokeh 1.3 范例介紹 2 Bokeh的應用 2.1 Bokeh應用的框架結構 2.2 實時性數據核心原理 3 具體案例 3.1 代碼實現 3.2 部署和運行 概述 Bokeh是一個用于創建交互式可視化的Python庫,特別適合在Web瀏覽器中展示…

Elasticsearch「kNN Retriever」把向量檢索裝進一條 \_search 管線

1. kNN retriever 是什么? kNN retriever 是 Retriever 框架中的首階段召回器,負責對一個向量字段做近鄰搜索,返回 Top-K 文檔。相比早期的 knn 頂級語法,Retriever 讓我們能在一個請求里組合多種策略(如 RRF/Rescorer…

第四天~在CANFD或CAN2.0的ARXML文件中實現Multiplexor多路復用信號實戰

【ARXML專題】-解鎖CAN信號超能力:Multiplexor多路復用技術深度解析 "當你的CAN幀需要傳輸100種信號卻只有64字節時,就像試圖用行李箱裝下一整個衣櫥——Multiplexor就是你的真空壓縮袋" 信號擁堵時代的救世主 現代豪華汽車中,單個ECU可能需處理500+信號,而傳統…

JavaScript 基礎入門:從零開始學 JS

一、JavaScript 簡介JavaScript(簡稱 JS)是一種高級的、解釋型的編程語言,由 Netscape 公司的 Brendan Eich 在 1995 年開發,最初命名為 LiveScript,后因與 Java 的合作關系而改名為 JavaScript。作為 Web 開發的三大核…

pytest中使用loguru的問題及解決

引語 上一篇文章,我們向大家推薦了python語言的一個第三方日志庫loguru,使用非常簡單且功能完備。 但對于我們做自動化測試,經常使用 pytest 框架的小伙伴來說,卻有點小問題。就是 Pytest 內建的日志捕獲機制是在標準庫 logging 的基礎上進行優化過的。 這樣我們在使用 p…

Qt異步編程:QFuture與QPromise深度解析

在現代GUI應用中,異步操作是保證界面流暢性的關鍵。本文將深入探討Qt框架中強大的異步工具——QFuture和QPromise,揭示它們如何簡化多線程編程并提升應用性能。 為什么需要QFuture/QPromise? 在Qt開發中,我們經常面臨這樣的挑戰&a…

基于Python的電影評論數據分析系統 Python+Django+Vue.js

本文項目編號 25008 ,文末自助獲取源碼 \color{red}{25008,文末自助獲取源碼} 25008,文末自助獲取源碼 目錄 一、系統介紹1.1 用戶功能1.2 管理員功能 二、系統錄屏三、啟動教程四、功能截圖五、文案資料5.1 選題背景5.2 國內外研究現狀 六、…

數據結構:在二叉搜索樹中插入元素(Insert in a BST)

目錄 插入的本質是什么? 如何尋找“合法”的位置?—— 模擬查找過程 遞歸插入(Recursive Insert)—— 優雅的實現 代碼逐步完善 總結 上一節我們從第一性原理搞清楚了二叉搜索樹(BST)是什么&#xff0…

【論文閱讀】美 MBSE 方法發展分析及啟示(2024)

文章目錄 論文摘要 論文框架 1. MBSE 方法概述 2. 美國防部的 MBSE 方法政策要求 在這里插入圖片描述 3. 美軍兵種的 MBSE 方法政策要求 4. 啟示 5.總結 參考文獻 論文摘要 本文梳理了美國防部基于模型的系統工程(MBSE)方法的發展歷程,并剖析 其技術原理;跟蹤《數字工程戰略…

人工智能訓練師復習題目實操題1.1.1 - 1.1.5

列出所有的python 庫和 apiimport pandas as pd import numpy as np就這兩個庫pandas 庫 - apinumpy 庫 - apimatplotlib.pyplot - apipd.read_csv()np.where(condition,x,y)fillna(methodffill,inplaceTrue)methodbfill,pd.read_excel()np返回結果 series 對象 data[A列].valu…

旅游管理實訓室:旅游教育實踐育人的關鍵支撐

在中等職業教育旅游服務與管理專業教學中,旅游管理實訓室并非簡單的教學場所,而是落實專業教學標準、實現 “理實一體化” 育人的核心陣地。它通過模擬真實職業場景、配置專業實訓設備、設計實踐教學活動,將抽象的專業知識轉化為具體的操作技…

http工作流程

HTTP(Hypertext Transfer Protocol,超文本傳輸協議)是互聯網中客戶端與服務器之間傳輸超文本(如HTML、圖片、JSON等)的核心協議,基于請求-響應模型和TCP/IP協議族工作。其完整工作流程可拆解為以下9個核心步…

正則表達式實用面試題與代碼解析專欄

正則表達式是前端表單驗證、字符串匹配的核心工具,簡潔高效的正則能大幅提升代碼性能。本專欄整理了7道高頻面試題,包含核心正則表達式、代碼實現及關鍵知識點解析,幫你快速掌握正則實用技巧。 一、正則基礎:核心概念與語法 在學習面試題前,先明確幾個高頻基礎語法,這是…

【數據可視化-89】基孔肯雅熱病例數據分析與可視化:Python + pyecharts洞察疫情動態

🧑 博主簡介:曾任某智慧城市類企業算法總監,目前在美國市場的物流公司從事高級算法工程師一職,深耕人工智能領域,精通python數據挖掘、可視化、機器學習等,發表過AI相關的專利并多次在AI類比賽中獲獎。CSDN…