Apache Doris 3.0.6 版本正式發布

親愛的社區小伙伴們,Apache Doris 3.0.6 版本已于 2025 年 06 月 16 日正式發布。 該版本進一步提升了系統的性能及穩定性,歡迎大家下載體驗。

  • GitHub 下載

  • 官網下載

行為變更

  • 禁止 Unique 表使用時序 Compaction
  • 存算分離場景下 Auto Bucket 單分桶容量調整為 10GB

新特性

Lakehouse

  • 支持訪問 AWS S3 Table Buckets 中的 Iceberg 表格式
    • 詳情請參考文檔:Iceberg on S3 Tables

存儲

  • 對象存儲訪問支持 IAM Role 授權 適用于導入/導出、備份恢復及存算分離場景
    • 詳情請參考文檔

新增函數

  • json_extract_no_quotes
    • 詳情請參考文檔
  • unhex_null
    • 詳情請參考文檔
  • xpath_string
    • 詳情請參考文檔
  • str_to_map
    • 詳情請參考文檔
  • months_between
    • 詳情請參考文檔
  • next_day
    • 詳情請參考文檔
  • format_round
    • 詳情請參考文檔

改進

導入

  • 引入黑名單機制:避免 Routine Load 將元信息分發至不可用 BE 節點
  • 提高負載優先級閾值load_task_high_priority_threshold_second 默認值增大

主鍵模型

  • 減少冗余日志輸出

存儲優化

  • 精簡 Compaction Profile 及日志
  • 優化調度策略提升 Compaction 吞吐量

存算分離

  • 啟動優化:加速 File Cache 初始化
  • 查詢加速:優化 File Cache 查詢性能
  • 元數據獲取優化:解決 get_version 導致的性能瓶頸
  • 對象回收加速:提升存算分離模式垃圾回收效率
  • 穩定性提升:優化對象存儲重試策略
  • Profile 細化:增強 Tablet/Segment Footer 維度統計
  • Schema Change 容錯:默認啟用 New Tablet Compaction 規避 -230 錯誤

Lakehouse

Catalog 增強
  • Hive Catalog 支持分區緩存 TTL 控制(partition.cache.ttl-second
    • 詳情參考文檔:元數據緩存
  • 支持 Hive 表 skip.header.line.count 屬性
  • 兼容 org.openx.data.jsonserde.JsonSerDe 格式的 Hive 表
    • 詳情參考文檔:文本格式
  • Paimon 版本升級至 1.0.1
  • Iceberg 版本升級至 1.6.1
功能擴展
  • 支持阿里云 OSS-HDFS Root Policy 功能
  • 方言兼容:返回 Hive 格式查詢結果
    • 詳情參考文檔:SQL 轉換器

異步物化視圖

  • 內存優化:降低透明改寫內存占用

查詢優化器

  • 分桶剪枝性能提升
  • Lambda 表達式增強:支持引用閉包外部 Slot

查詢執行

  • TopN 查詢加速:優化存算分離場景性能
  • 函數擴展substring_index 支持變量參數
  • 地理信息函數:新增 ST_CONTAINS/ST_INTERSECTS/ST_TOUCHES/ST_DISJOINT

核心組件

  • 內存追蹤優化:高并發場景性能提升約 10%
  • 審計日志增強:通過 audit_plugin_max_insert_stmt_length 限制 INSERT 語句長度
    • 詳情請參考文檔:審計插件
  • SQL 轉換器控制:新增會話變量 sql_convertor_configenable_sql_convertor_features
    • 詳情請參考文檔:SQL 轉換器

缺陷修復

導入

  • 修復 BE 事務清理失敗問題
  • 優化 Routine Load 任務報錯準確性
  • 禁止向 disable_load=true 節點分發元信息任務
  • 修復 FE 重啟后消費進度回退
  • 修復 Group Commit 與 Schema Change 沖突導致的 Core Dump
  • 解決 S3 Load 使用 HTTPS 協議報錯

主鍵模型

  • 修復競爭導致的主鍵重復問題

存儲

  • 解決 CCR 與磁盤均衡競爭
  • 修復默認分區 Key 未持久化問題
  • CCR 支持 Rollup 表
  • 修復 cooldown_ttl=0 邊界問題
  • 解決數據 GC 與 Publish 競爭導致數據丟失
  • 修復 Delete Job 分區剪枝失效

存算分離

  • 修復 Schema Change 阻塞 Compaction
  • 解決 storage_vault_prefix 為空時對象回收失敗
  • 修復 Tablet Cache 導致的查詢性能問題
  • 消除殘留 Tablet Cache 引起的性能抖動

Lakehouse

Export 修復
  • 解決 FE 內存泄漏
  • 避免 FE 死鎖
Catalog 修復
  • JDBC Catalog 支持組合條件下推
  • 修復阿里云 OSS Paimon 表 Deletion Vector 讀取
  • 支持含逗號的 Hive 表分區值
  • 修正 MaxCompute Timestamp 列類型解析
  • Trino Catalog 支持顯示 information_schema 系統表
文件格式
  • 修復 LZO 壓縮格式讀取失敗
  • 兼容舊版 ORC 文件
  • 修正 ORC 復雜類型解析錯誤

異步物化視圖

  • 修復同時指定 start time 與立即觸發模式時的少刷新問題

查詢優化器

  • 修復 Lambda 表達式改寫錯誤
  • 解決 Group By 常量鍵規劃失敗
  • 修正常量折疊邏輯
  • 補全系統表信息
  • 修復 NULL Literal 創建 View 的列類型錯誤

查詢執行

  • 解決 JSON 導入非法值導致 BE Core
  • 修復 Intersect 輸入 NULL 常量結果錯誤
  • 修正 Variant 類型謂詞錯誤執行
  • 修復 get_json_string JSON Path 非法時的結果錯誤
  • 對齊 MySQL 函數行為(JSON_REPLACE/INSERT/SET/ARRAY)
  • 解決 array_map 空參數 Core
  • 修復 Variant 轉 JSONB 異常 Core
  • 修復 explode_json_array_json_outer 函數缺失
  • 對齊 percentilepercentile_array 結果
  • 優化 UTF8 編碼函數行為(url_encode/strright/append_trail_char_if_absent)

其他

  • 修復高并發下審計日志丟失
  • 解決動態分區建表導致元數據回放失敗
  • 避免 Global UDF 重啟丟失
  • 對齊 MySQL View 元數據返回格式

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/88536.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/88536.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/88536.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

安全帽檢測數據集簡介(約2萬張圖片)

安全帽檢測數據集簡介(約2萬張圖片) 📦 已發布目標檢測數據集合集(持續更新)安全帽檢測數據集簡介(約2萬張圖片)📁 數據集概況🖼? 數據樣本展示 YOLOv8 訓練實戰&#x…

RJ45 網口實現千兆傳輸速率(1Gbps)的原理,涉及物理層傳輸技術、線纜標準、信號調制及網絡協議等多方面的協同設計。以下從技術維度展開詳細解析:

一、千兆以太網的標準與物理層基礎 1. 標準規范 千兆以太網遵循 IEEE 802.3ab(針對雙絞線)和 IEEE 802.3z(針對光纖)標準,其中 RJ45 接口對應雙絞線場景,核心是通過四對雙絞線(CAT5e/CAT6 線纜…

Node.js爬蟲 CheerioJS ?輕量級解析、操作和渲染HTML及XML文檔

簡介 ? CheerioJS ? 是一個專為 Node.js 設計的輕量級庫&#xff0c;用于解析、操作和渲染 HTML 及 XML 文檔&#xff0c;語法類似 Jquery。 安裝 npm install cheerio 示例 const cheerio require("cheerio");const html <html><head><tit…

華為運維工程師面試題(英語試題,內部資料)

華為運維工程師面試題(英語試題,內部資料) 一、英文自我介紹,重點突出自己運維經驗(10分) 二、短語翻譯(英譯中)(15*3分=45分) 1. Data is a collection of un-organized facts, which can include words, numb ers, images, and sounds. 1. 數據是未經組織的事…

【趙渝強老師】使用mydumper備份MySQL

MySQL在備份方面包含了自身的mysqldump工具&#xff0c;但其只支持單線程工作&#xff0c;這就使得它無法迅速的備份數據。而mydumper作為一個實用工具&#xff0c;能夠良好支持多線程工作&#xff0c;這使得它在處理速度方面十倍于傳統的mysqldump。其特征之一是在處理過程中需…

華為云 Flexus+DeepSeek 征文|華為云單機部署 Dify-LLM 開發平臺全流程指南【服務部署、模型配置、知識庫構建全流程】

華為云 FlexusDeepSeek 征文&#xff5c;華為云單機部署 Dify-LLM 開發平臺全流程指南【服務部署、模型配置、知識庫構建全流程】 文章目錄 華為云 FlexusDeepSeek 征文&#xff5c;華為云單機部署 Dify-LLM 開發平臺全流程指南【服務部署、模型配置、知識庫構建全流程】前言1、…

?通義萬相 2.1(Wan2.1)環境搭建指南:基于 CUDA 12.4 + Python 3.11 + PyTorch 2.5.1 GPU加速實戰

&#x1f680;【超詳細】基于 CUDA 12.4 Python 3.11 構建 Wan2.1 項目的集成推理環境&#xff08;含 PyTorch 2.5.1 GPU 安裝教程&#xff09; 本文將一步一步帶你搭建一個可用于構建和運行 Wan2.1 的深度學習環境&#xff0c;完全兼容 CUDA 12.4&#xff0c;并基于官方鏡像 …

PROFIBUS DP轉ETHERNET/IP在熱電項目中的創新應用

在熱電項目中&#xff0c;多種設備的高效協同是保障能源穩定供應的關鍵。PROFIBUS DP與ETHERNET/IP兩種工業通信協議因特性不同而應用場景各異。通過協議轉換技術實現JH-PB-EIP疆鴻智能PROFIBUS DP轉ETHERNET/IP&#xff0c;可整合西門子PLC與電力儀表、變頻器等設備&#xff0…

精準把脈 MySQL 性能!xk6-sql 并發測試深度指南

在數據庫性能測試領域&#xff0c;xk6-sql憑借其強大的功能和靈活性&#xff0c;成為眾多開發者和測試人員的得力工具。它能夠模擬高并發場景&#xff0c;精準測試數據庫在不同負載下的性能表現。然而&#xff0c;在一些網絡受限的環境中&#xff0c;實現xk6-sql的離線安裝以及…

【文件】Linux 內核優化實戰 - fs.inotify.max_user_instances

目錄 一、參數作用與原理1. 核心功能2. 應用場景 二、默認值與影響因素1. 默認配置2. 影響因素 三、調整方法與示例1. 查看當前值2. 臨時修改&#xff08;生效至系統重啟&#xff09;3. 永久修改&#xff08;修改配置文件&#xff09;4. 合理值建議 四、常見報錯與解決方案1. 報…

c++系列之特殊類的設計

&#x1f497; &#x1f497; 博客:小怡同學 &#x1f497; &#x1f497; 個人簡介:編程小萌新 &#x1f497; &#x1f497; 如果博客對大家有用的話&#xff0c;請點贊關注再收藏 &#x1f31e; 僅在堆上創建對象的類 將類的構造函數&#xff0c;拷貝構造私有,防止在棧上生…

SpringBoot的國際化

國際化&#xff08;internationalization&#xff09;是設計容易適應不同區域要求的產品的一種方式。它要求從產品中抽離所有地域語言元素。換言之&#xff0c;應用程序的功能和代碼設計考慮了在不同地區運行的需要。開發這樣的程序的過程&#xff0c;就稱為國際化。 那么當我…

prometheus+grafana+Linux監控

prometheusgrafanaLinux監控 環境說明 操作前提&#xff1a; 先去搭建Docker部署prometheusgrafana...這篇文章的系統 Docker部署prometheusgrafana...的參考文章&#xff1a; Docker部署prometheusgrafana…-CSDN博客 Linux部署docker參考文章&#xff1a; 02-Docker安裝_doc…

文檔處理控件Aspose.Words教程:在.NET中將多頁文檔轉換為單個圖像

在Aspose.Words for .NET 25.6版本中&#xff0c;我們引入了一項新功能&#xff0c;允許您將多頁文檔導出為單個光柵圖像。當您需要將文檔作為單個可視文件共享或顯示時&#xff0c;此功能非常有用。 Aspose.Words for .NET 25.6 的新功能 在 25.6 版之前&#xff0c;將多頁文…

vuex4.0用法

VUEX 狀態管理&#xff0c;多個組件有共享數據的時候&#xff0c;就叫狀態管理 什么情況下會用到vuex , 如果你不知道vuex的情況也能完成你的需求&#xff0c;就說你的項目中不需要用到狀態管理。 組件層級比較復雜的時候&#xff0c;還是用組件傳值的方式來傳值&#xff0c;…

2025.6.24總結

今天發生了兩件事&#xff0c;這每件事情都足以影響我的工作狀態。 1.團隊中有人要轉崗 這算是最讓我有些小震驚的事件了。我不明白&#xff0c;那個同事干得好好的&#xff0c;為啥會轉崗&#xff0c;為啥會被調到其他團隊。雖然團隊有正編&#xff0c;有od,但我自始自終覺得…

狀態模式詳解

概述 結構設計類似責任鏈模式&#xff0c;但是在各個狀態進行遍歷的過程中&#xff0c;更注重的是條件的判斷&#xff0c;只有符合條件的狀態才能正常匹配進行處理。條件不成功的會立即切換到下一個狀態。 有限狀態機 狀態機一般指的是有限狀態機&#xff08;FSM&#xff1a…

Lua 調試(Debug)

Lua 調試(Debug) 引言 Lua 是一種輕量級的編程語言&#xff0c;廣泛應用于游戲開發、嵌入式系統、腳本編寫等領域。在 Lua 開發過程中&#xff0c;調試是確保程序正確運行的重要環節。本文將詳細介紹 Lua 調試的基本方法、常用工具以及調試技巧&#xff0c;幫助開發者提高編程…

Windows安裝Emscripten?/emsdk(成功)

安裝git安裝python 不要自行下載版本&#xff0c;先卸載其他版本的python。 使用管理員打開cmd&#xff0c;輸入python3&#xff0c;直接跳轉到應用商店&#xff0c;安裝即可。 為什么一定要這么安裝&#xff1f;好像是跟路徑有關。 下載emsdk git clone https://github.c…

AI網頁部署在本地_windows

用bolt.new寫了一個網頁&#xff0c;下載ZIP至本地 以下是在 Windows 上本地運行你用 Node.js 搭建的網頁服務&#xff0c;并在瀏覽器中訪問的常見流程&#xff1a; 1、安裝 Node.js 訪問官網 Node.js — Run JavaScript Everywhere &#xff0c;下載適合 Windows 的 LTS 版本…