【Apache Doris】周FAQ集錦:第 4 期
- SQL問題
- 數據操作問題
- 運維常見問題
- 其它問題
- 關于社區
歡迎查閱本周的 Apache Doris 社區 FAQ 欄目!
在這個欄目中,每周將篩選社區反饋的熱門問題和話題,重點回答并進行深入探討。旨在為廣大用戶和開發者分享有關 Apache Doris 的常見問題。
引用
通過這個每周 FAQ 欄目,希望幫助社區小伙伴更好地了解和應用 Apache Doris,促進經驗交流和技術共享。
SQL問題
?Q1 查詢報錯:[HY000][1105] Can not connect to jdbc due to error: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packet sent successfully to the server was 0 milliseconds ago
💡A1 JDBC連接異常處理流程參考:
- jdbc的url中加autoReconnect=true參數,并且wait_timeout設置24小時后觀察
- 如果是使用catalog時出現的,可以看看mysql信息是否填寫錯誤或者mysql驅動版本的原因
- testOnBorrow打開,可查閱:https://github.com/alibaba/druid/issues/5262
?Q2 查詢報錯:[E-230]missed_versions is empty
💡A2 如下:
解決方案:調大be.conf的tablet_rowset_stale_sweep_time_sec參數,并重啟BE節點
參數說明:這個參數主要是加大了合并版本的清理時間,盡可能避免剛好查詢時需要的版本被合并清理了(寫入過于頻繁場景容易出現),舉個例子:有張表table_a里未合并清理的版本號是1-9,那么這個時候去執行 select * from table_a 它會去查詢最新的version 9的數據,如果這段時間table_a同時有寫入,版本變成了1-10并且觸發compaction及滿足tablet_rowset_stale_sweep_time_sec要去清理合并過的版本,變成了一個最新的查詢版本1-10,那么這個時候version 9(1-9)就無法查詢了,則會出現 select * from table_a 需要的version 9不存在miss從而報missed_versions is empty
BE參數說明可以查閱BE配置項:
https://doris.apache.org/zh-CN/docs/admin-manual/config/be-config
數據操作問題
?Q1 doris沒有時間戳的數據類型,時區是和數據庫服務器的時區嗎?
💡A1 如下:
- 可以用bigint映射,或者使用datetime是否能滿足需求
- 默認東八區,2.1開始支持時間戳類型
Release 2.1,可以查閱:
https://doris.apache.org/zh-CN/docs/dev/releasenotes/release-2.1.0
?Q2 對已有數據的分區表調整分區分桶數,是否會對歷史數據進行重新分桶分區?
💡A2 不會對歷史數據進行重新分桶分區,只會影響新分區的分桶數。
?Q3 分區分桶字段建表后還能變更?
💡A3 不能;和底層數據存儲結構有關,當前改bucket只能重新建表導數。
?Q4 stream load怎么查看對應的profile信息?
💡A4 1.2.7版本后在stream load中設置:-H “enable_profile: true”;當 enable_profile
為 true 時,stream load profile 將會被打印到 be.INFO 日志中。
具體可查閱:
https://doris.apache.org/zh-CN/docs/data-operate/import/import-way/stream-load-manual
?Q5 doris進行insert時結果數據和預期條數不匹配?
💡A5 如下:
- 源數據到目標端根據key去重了
- 沒開嚴格模式,異常數據(schema不匹配等情況)被過濾了;可以SET enable_insert_strict = true; 后再跑試試看有沒有errorURL
- create table 臨時表 as select xxx,測下結果記錄數是否正確
運維常見問題
?Q1 be節點出現磁盤損壞了如何處理?
💡A1 如下:
1.>=2副本2be的集群:a. 下掉壞盤b. be配置中將壞盤的存儲目錄移除c. 重啟對應be即可,數據多副本會自動修復
2.單副本集群:a. 下掉壞盤b. 排查異常表,重新建表刷數據
生成環境建議>=3副本3be,提高doris的可用性、容錯性、負載均衡和并行處理能力,具體可查閱:
https://doris.apache.org/zh-CN/docs/admin-manual/maint-monitor/tablet-repair-and-balance
?Q2 doris支持windows嗎?
💡A2 暫無計劃支持Windows系統,可以用虛擬機或者WLS2。
其它問題
?Q 編譯doris時報錯:Failed to parse plugin descriptor for net.sourceforge.czt.dev:cup-maven-plugin:1.6-cdh
💡A net.sourceforge.czt.dev 相關 jar 包下載失敗問題,可參考如下方案處理:
1.先更換 mirror 源 url 為如下路徑,保存后繼續編譯,1.6-cdh 下載成功后可再恢復至原有 url 完成編譯:
<mirror><id>aliyunmaven</id><mirrorOf>central</mirrorOf><name>aliyun maven</name><url>https://repository.cloudera.com/repository/libs-release-local/</url>
</mirror>
2.通過以下連接下載 pom 及 jar 包,放至 .m2/net/sourceforge/czt/dev 倉庫目錄下,完成編譯
https://repository.cloudera.com/#browse/search=keyword%3Dnet.sourceforge.czt.dev
具體可以查閱Doris論壇帖子:
https://ask.selectdb.com/questions/D1Jc/yi-jie-jue-docker-bian-yi-shi-cpu-maven-plugin-bao-wen-ti
關于社區
Apache Doris 是一個基于 MPP 架構的高性能、實時的分析型數據庫,以極速易用的特點被人們所熟知,僅需亞秒級響應時間即可返回海量數據下的查詢結果,不僅可以支持高并發的點查詢場景,也能支持高吞吐的復雜分析場景。
如果您對 Apache Doris 感興趣,可以通過以下入口訪問官方網站、社區論壇、GitHub和dev郵件組:
💡官方文檔
💡社區論壇
💡GitHub
💡dev郵件組:dev@doris.apache.org
非常歡迎您在社區論壇中與其他用戶分享您的使用經驗和技巧,或者向dev郵件組提交反饋和意見。
相信,您的參與將幫助Apache Doris變得更加完善。
一臻數據