【Apache Doris】周FAQ集錦:第 29 期

引言

歡迎查閱本周的 Apache Doris 社區 FAQ 欄目!
在這里插入圖片描述

在這個欄目中,每周將篩選社區反饋的熱門問題和話題,重點回答并進行深入探討。旨在為廣大用戶和開發者分享有關 Apache Doris 的常見問題。

通過這個每周 FAQ 欄目,希望幫助社區小伙伴更好地了解和應用 Apache Doris,促進經驗交流和技術共享。

SQL問題

Q1 dori建完倒排索引后,如何判斷sql是否走了索引

A1 可以通過 Query Profile 中的下面幾個指標分析倒排索引的加速效果:

  1. RowsInvertedIndexFiltered 倒排過濾掉的行數,可以與其他幾個 Rows 值對比分析索引過濾效果
  2. InvertedIndexFilterTime 倒排索引消耗的時間
  3. InvertedIndexSearcherOpenTime 倒排索引打開索引的時間
  4. InvertedIndexSearcherSearchTime 倒排索引內部查詢的時間
    倒排索引內容可查閱:
    https://doris.apache.org/zh-CN/docs/dev/table-design/index/inverted-index
Q2 doris動態分區的修改有什么注意事項

A2 注意數據不要出現分區交集,要注意歷史數據的保留時間,如果分區的區間設置不對可能出現歷史分區被刪除的情況:

ALTER TABLE example_db.my_table set (
"dynamic_partition.enable" = "true", 
"dynamic_partition.time_unit" = "DAY", -- 注意區間start"dynamic_partition.start " = "",-- 注意區間history"dynamic_partition.history_partition_num " = "",-- 注意區間end
"dynamic_partition.end" = "3", 
"dynamic_partition.prefix" = "p", 
"dynamic_partition.buckets" = "32"
);

分區修改內容可查閱

Q3 doris查詢時報runtime filter如何處理

A3 如下:

  1. 適當調大Session 變量:runtime_filter_wait_time_ms
  2. 后續Doris會發布一個更智能的等待策略
    Runtime Filter內容可查閱

數據操作問題

Q4 JDBC 連接2.1.x 版本的Power BI報:Character set ‘utf8mb3’ is not supported by .Net.Framework

A4 該問題易在2.1.x 版本容易遇到,如果遇到該問題則需要把 JDBC Driver 升級到8.0.32。

Q5 Tableau連接Doris時報:SSL connection error:protocol version mismatch 無法連接到 MySQL 服務器

A5 該報錯原因是 Doris 開啟了 SSL 驗證,但是連接過程中未使用 SSL 連接,需要在 fe.conf 里面關閉 enable_ssl 變量。

Q6 連接 Hive Catalog 報:Caused by: java.lang.NullPointerException

如 fe.log 中有如下堆棧:

Caused by: java.lang.NullPointerExceptionat org.apache.hadoop.hive.ql.security.authorization.plugin.AuthorizationMetaStoreFilterHook.getFilteredObjects(AuthorizationMetaStoreFilterHook.java:78) ~[hive-exec-3.1.3-core.jar:3.1.3]at org.apache.hadoop.hive.ql.security.authorization.plugin.AuthorizationMetaStoreFilterHook.filterDatabases(AuthorizationMetaStoreFilterHook.java:55) ~[hive-exec-3.1.3-core.jar:3.1.3]at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getAllDatabases(HiveMetaStoreClient.java:1548) ~[doris-fe.jar:3.1.3]at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getAllDatabases(HiveMetaStoreClient.java:1542) ~[doris-fe.jar:3.1.3]at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[?:1.8.0_181]

A6 可以嘗試在 create catalog 語句中添加 如下參數 解決:

"metastore.filter.hook" = 
"org.apache.hadoop.hive.metastore.DefaultMetaStoreFilterHookImpl"

Hive Catalog可查閱

Q7 使用 Stream Load 訪問 FE 的公網地址導入數據,被redirect重定向到內網 IP?

A7 當 stream load 的連接目標為 FE 的 http 端口時,FE 僅會隨機選擇一臺 BE 節點做 http 307 redirect 操作,因此用戶的請求實際是發送給 FE 指派的某一個 BE 的。
而 redirect 返回的是 BE 的 ip,也即內網 IP。所以如果你是通過 FE 的公網 IP 發送的請求,很有可能因為 redirect 到內網地址而無法連接。
通常的做法,一種是確保自己能夠訪問內網 IP 地址,或者是給所有 BE 上層架設一個負載均衡,然后直接將 stream load 請求發送到負載均衡器上,由負載均衡將請求透傳到 BE 節點。

運維常見問題

Q8 doris表drop后,如何讓對應的tablet快速清理掉

A8 如下:

-- 先設置回收站時間為0
ADMIN SET FRONTEND CONFIG ("catalog_trash_expire_second" = "0");
-- 再清空回收站
ADMIN CLEAN TRASH              
-- 再恢復回收站時間
ADMIN SET FRONTEND CONFIG ("catalog_trash_expire_second" = "86400");
-- 查看回收站中可回收的庫,表或分區元數據信息
SHOW CATALOG RECYCLE BIN;
Q9 通過 DECOMMISSION 下線 BE 節點時,為什么總會有部分 tablet 殘留?

A9 在下線過程中,通過 show backends 查看下線節點的 tabletNum,會觀察到 tabletNum 數量在減少,說明數據分片正在從這個節點遷移走。當數量減到 0 時,系統會自動刪除這個節點。
但某些情況下,tabletNum 下降到一定數值后就不變化。這通常可能有以下兩種原因:

1. 這些 tablet 屬于剛被刪除的表、分區或物化視圖。
而剛被刪除的對象會保留在回收站中。而下線邏輯不會處理這些分片。
可以通過修改 FE 的配置參數 catalog_trash_expire_second 來修改對象在回收站中駐留的時間。
當對象從回收站中被刪除后,這些 tablet 就會被處理了。2. 這些 tablet 的遷移任務出現了問題。
此時需要通過 show proc "/cluster_balance" 來查看具體任務的錯誤了。

對于以上情況,可以先通過
show proc “/cluster_health/tablet_health”;
查看集群是否還有 unhealthy 的分片,如果為 0,
則可以直接通過 drop backend 語句刪除這個 BE。
否則,還需要具體查看不健康分片的副本情況。
Doris BE節點下線卡住?快速排障技巧全攻略!

其它問題

Q10 初識Doris,有什么方式可以快速體驗下Doris實時數倉的鏈路?

A10 基于Docker搭建一套演示環境,分鐘級快速體驗Doris實時數倉的"采-存-用"鏈路:Doris之旅基礎篇|Docker快速體驗(二)

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/66240.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/66240.shtml
英文地址,請注明出處:http://en.pswp.cn/web/66240.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Linux:文件描述符fd、系統調用open

目錄 一、文件基礎認識 二、C語言操作文件的接口 1.> 和 >> 2.理解“當前路徑” 三、相關系統調用 1.open 2.文件描述符 3.一切皆文件 4.再次理解重定向 一、文件基礎認識 文件 內容 屬性。換句話說,如果在電腦上新建了一個空白文檔&#xff0…

鴻蒙動態路由實現方案

背景 隨著CSDN 鴻蒙APP 業務功能的增加,以及為了與iOS、Android 端統一頁面跳轉路由,以及動態下發路由鏈接,路由重定向等功能。鴻蒙動態路由方案的實現迫在眉睫。 實現方案 鴻蒙版本動態路由的實現原理,類似于 iOS與Android的實…

計算機網絡 (42)遠程終端協議TELNET

前言 Telnet(Telecommunication Network Protocol)是一種網絡協議,屬于TCP/IP協議族,主要用于提供遠程登錄服務。 一、概述 Telnet協議是一種遠程終端協議,它允許用戶通過終端仿真器連接到遠程主機,并在遠程…

汽車網絡信息安全-ISO/SAE 21434解析(上)

目錄 概述 第四章-概述 1. 研究對象和范圍 2. 風險管理 第五章-組織級網絡安全管理 1. 網絡安全治理(cybersecurity governance) 2. 網絡安全文化(cybersecurity culture) 3. 信息共享(Information Sharing) 4. 管理體系…

【0393】Postgres內核 checkpointer process ③ 構建 WAL records 工作緩存區

1. 初始化 ThisTimeLineID、RedoRecPtr 函數 InitXLOGAccess() 內部會初始化 ThisTimeLineID、wal_segment_size、doPageWrites 和 RedoRecPtr 等全局變量。 下面是這四個變量初始化前的值: (gdb) p ThisTimeLineID $125 = 0 (gdb) p wal_segment_size $126 = 16777216 (gdb…

cursor+deepseek構建自己的AI編程助手

文章目錄 準備工作在Cursor中添加deepseek 準備工作 下載安裝Cursor (默認安裝在C盤) 注冊deepseek獲取API key 在Cursor中添加deepseek 1、打開cursor,選擇設置 選擇Model,添加deepseek-chat 注意這里去掉其他的勾選項&…

微調神經機器翻譯模型全流程

MBART: Multilingual Denoising Pre-training for Neural Machine Translation 模型下載 mBART 是一個基于序列到序列的去噪自編碼器,使用 BART 目標在多種語言的大規模單語語料庫上進行預訓練。mBART 是首批通過去噪完整文本在多種語言上預訓練序列到序列模型的方…

潯川社團官方文章被 Devpress 社區收錄!

潯川社團官方文章被 Devpress 社區收錄! 親愛的潯川社團成員們以及關注我們的朋友們: 在這個充滿活力與機遇的社團發展歷程中,我們迎來了一則令人振奮的喜訊!潯川社團精心創作的官方文章,成功被 Devpress 社區收錄啦&a…

STM32網絡通訊之CubeMX實現LWIP項目設計(十五)

STM32F407 系列文章 - ETH-LWIP-CubeMX(十五) 目錄 前言 一、軟件設計 二、CubeMX實現 1.配置前準備 2.CubeMX配置 1.ETH模塊配置 2.時鐘模塊配置 3.中斷模塊配置 4.RCC及SYS配置 5.LWIP模塊配置 3.生成代碼 1.main文件 2.用戶層源文件 3.…

簡單組合邏輯

多路選擇器 在多路數據傳輸過程中,能夠將任意一路選出來的電路叫做數據選擇器,也稱多路選擇器。對于一個具有2^n個輸入和一個輸出的多路選擇器,有n個選擇變量,多路選擇器也是FPGA內部的一個基本資源,主要用于內部信號的…

【Unity-Game4Automation PRO 插件】

Game4Automation PRO 插件 是一個用于 Unity 引擎 的工業自動化仿真工具,它提供了對工業自動化領域的仿真和虛擬調試支持,特別是在與工業機器人、生產線、PLC 系統的集成方面。該插件旨在將工業自動化的實時仿真與游戲開發的高質量 3D 可視化能力結合起來…

【安卓開發】【Android】總結:安卓技能樹

【持續更新】 對筆者在安卓開發的實踐中認為必要的知識點和遇到的問題進行總結。 一、基礎知識部分 1、Android Studio軟件使用 軟件界面 最新的版本是瓢蟲(Ladybug),bug的確挺多。筆者更習慣使用電鰻(Electric Eel&#xff0…

鴻蒙打包發布

HarmonyOS應用/元服務發布(打包發布) https://developer.huawei.com/consumer/cn/doc/harmonyos-guides-V13/ide-publish-app-V13?catalogVersionV13 密鑰:包含非對稱加密中使用的公鑰和私鑰,存儲在密鑰庫文件中,格式…

Spring Boot 下的Swagger 3.0 與 Swagger 2.0 的詳細對比

先說結論: Swgger 3.0 與Swagger 2.0 區別很大,Swagger3.0用了最新的注釋實現更強大的功能,同時使得代碼更優雅。 就個人而言,如果新項目推薦使用Swgger 3.0,對于工具而言新的一定比舊的好;對接于舊項目原…

神經網絡基礎-價格分類案例

文章目錄 1. 需求分析2. 導入所需工具包3. 構建數據集4. 構建分類網絡模型5. 訓練模型6. 模型訓練7. 評估模型8. 模型優化 學習目標: 掌握構建分類模型流程動手實踐整個過程 1. 需求分析 小明創辦了一家手機公司,他不知道如何估算手機產品的價格。為了…

SAP 固定資產常用的數據表有哪些,他們是怎么記錄數據的?

在SAP系統中,固定資產管理(FI-AA)涉及多個核心數據表,用于記錄資產主數據、折舊、交易等。以下是常用的數據表及其記錄數據的邏輯: 1. ANKT - 資產主數據表 功能:存儲資產主數據的文本描述。 字段&#x…

光伏儲能電解水制氫仿真模型Matlab/Simulink

今天更新的內容為光伏儲能制氫技術,這個方向我之前在21年就系統研究并發表過相關文章,經過這幾年的發展,綠色制氫技術也受到更多高校的注意,本篇博客也是在原先文章的基礎上進行更新。 首先讓大家熟悉一下綠氫制取技術這個概念&a…

Redis 3.2.1在Win10系統上的安裝教程

諸神緘默不語-個人CSDN博文目錄 這個文件可以跟我要,也可以從官網下載:https://github.com/MicrosoftArchive/redis/releases 這個是微軟以前維護的Windows版Redis安裝包,如果想要比較新的版本可以從別人維護的項目里下(https://…

基于springboot+vue.js+uniapp技術開發的一套大型企業MES生產管理系統源碼,支持多端管理

企業級智能制造MES系統源碼,技術架構:springboot vue-element-plus-admin 企業級云MES全套源碼,支持app、小程序、H5、臺后管理端 MES指的是制造企業生產過程執行系統,是一套面向制造企業車間執行層的生產信息化管理系統。MES系…

【Redis】Redis事務和Lua腳本的區別

Redis事務 概念 事務:Redis事務是一組命令的集合,這些命令會被序列化地執行,中間不會被其他命令插入。 MULTI/EXEC:Redis事務通過MULTI命令開始,通過EXEC命令執行所有已入隊的命令。 特點 原子性: 事務…