4月報 | SeaTunnel支持TDengine的多表Sink功能

各位熱愛 Apache SeaTunnel 的小伙伴們,今年 4 月份月報更新啦!這里將記錄 SeaTunnel 社區每月的重要更新,歡迎關注!

在本月的眾多更新中,最令人關注的一項新特性是——TDengine 多表 Sink 功能的支持(由 @jia17 提交)。這一功能的引入,標志著 SeaTunnel 在面向時序數據庫的數據寫入能力上邁出了關鍵一步。

在工業物聯網、智慧能源、智能制造等場景中,傳感器數據往往分布在多個邏輯表中,原有的單表 Sink 顯然難以滿足復雜的數據落盤需求。此次更新實現了 TDengine 多表動態寫入能力,用戶可以靈活地根據業務邏輯將數據路由到不同的目標表中,極大提升了數據寫入的靈活性與效率。

更重要的是,整個功能的設計兼顧了 Schema 解析、字段匹配和異常處理等細節,具有較強的工程實用性,未來也有望擴展到更多支持多表寫入場景的連接器中。

SeaTunnel 正在不斷強化與主流數據系統的融合能力,這項更新正是一次面向實際業務需求的有力回應。

月度Merge之星

感謝以下小伙伴上個月為 Apache SeaTunnel 所做的精彩貢獻(排名不分先后):

weekly_combined_avatars_2025-05-27

@hawk9821,@eyys,@liunaijie,@corgy-w,@CosmosNi,@FrommyMind,@maozhen520,@Hisoka-X,@litiliu,@JeremyXin,@Alberne,@rbowen,@mrtisttt,@RongHaa,@misi1987107,@kehan-zhou,@ocean-zhc,@qifanlili,@jia17,@xxsc0529,@hailin0

apache/seatunnel倉庫

修復

  • [Bugfix][CI]修復Transform檢查?@hailin0
  • [Fix][CI]在測試用例中釋放文件資源?@CosmosNi
  • [Fix][Config]修復 seatunnel.yaml 中無效的遙測日志配置?@mrtisttt
  • [Fix][Zeta]修復檢查點線程池過早關閉導致任務狀態異常的問題?@Hisoka-X
  • [Fix][Core]修復配置解析中帶有?\"\"?的錯誤?@Hisoka-X
  • [Bugifx][kafka]修復 Kafka 枚舉器分配拆分時的空指針異常 NPE?@hailin0
  • [Fix][Doc]刪除_test和_sink前的空格?@kehan-zhou
  • [Fix][Connector-V2]修復Kafka數據庫名稱?@corgy-w
  • [Fix][Zeta]在HdfsStorage中不使用volatile關鍵字修復雙重檢查鎖定問題?@maozhen520
  • [Fix][Serialize]防止 JSON 輸出中的十進制數字采用科學計數法?@misi1987107
  • [Fix][CI]升級操作作業運行主機版本?@Hisoka-X
  • [Fix][Doc]調整explode函數的描述?@CosmosNi
  • [Fix][Connector-V2]修復TDengine sink中當列或標簽包含null值時出現的NullPointerException?@jia17
  • [Fix][connector-file-base]修復 parquet int32 轉換錯誤?@JeremyXin
  • [Fix][Connector-V2]修復了 StarRocks 連接器中缺少的時間戳精度問題?@corgy-w
  • [Fix][Zeta]調整調用枚舉器打開方法的時機?@Hisoka-X
  • [Fix][Connector-V2]修復MaxCompute多平行寫入問題?@Hisoka-X
  • [Fix][Connector-V2][OceanBase]OceanBase 支持簡單的向量索引。?@xxsc0529
  • [Fix][API]修復未調用?SinkAggregatedCommitter?的初始化方法的問題?@Hisoka-X
  • [Bugfix][Elasticsearch]修復添加列事件?@hailin0
  • [Bugfix][Csv]修復 CSV 格式分隔符?@hailin0
  • [Fix][Connector-V2]修復 Postgres CDC 使用 debezium_json 格式時無法解析沒有小數位的數字的問題。?@FrommyMind
  • [Fix]修復?DateUtils?無法解析帶有本地時區的日期時間字符串的問題。?@Hisoka-X
  • [Fix][Connector-V2]修復SqlServer中數據庫名稱含點號時創建表的問題?@Hisoka-X
  • [Fix][MongoDB]Long 類型無法處理科學計數法表示的字符串值?@qifanlili

優化

  • [improve]Qdrant選項?@liunaijie
  • [Feature][Connector-V2]為DataHub使某些sink參數成為可選的?@jia17
  • [Improve][connector-iceberg]修復架構更改事件?@CosmosNi
  • [Feature][Connector-V2]支持TDengine的多表sink功能?@jia17
  • [Feature][Connector-V2]Datahub 支持多表 Sink(寫入多個表)?@jia17
  • [Doc][Improve] support chinese [docs/zh/connector-v2/source/Cloudberry.md]優化中文文檔支持?@jia17
  • [Doc][Improve] support chinese [docs/zh/connector-v2/source/Github.md]優化中文文檔支持?@jia17
  • [Improve][Zeta]添加日志以打印每個任務的執行位置?@CosmosNi
  • [Feature][Transform]添加表格過濾轉換?@hailin0
  • [Feature][doc]修復md文檔格式?@CosmosNi
  • [Feature][Zeta]為Web UI支持基本身份驗證?@CosmosNi
  • [improve]派蒙選項?@liunaijie
  • [improve]OpenMLDB 選項?@liunaijie
  • [improve]Milvus選項?@liunaijie
  • [improve]Neo4j 選項?@liunaijie
  • [Improve]MaxCompute選項?@liunaijie
  • [Improve]Kudu選項?@liunaijie
  • [Improve][Doc]統一標題格式,并修復一些格式異常的文檔。?@Hisoka-X
  • [Feature][connector-elasticsearch]Elasticsearch 源支持 PIT(Point in Time)?@CosmosNi
  • [Feature][Zeta]在任務運行管理頁面上格式化異常消息?@ocean-zhc
  • [Improve][Doc]調整trim系列SQL函數的描述?@Hisoka-X
  • [Improve][Connector-V2][Http]支持基于游標的分頁 #9109?@Alberne
  • [Feature][Transform]為 SQL 轉換支持布爾類型?@hawk9821
  • [Feature][Checkpoint]添加檢查腳本來檢測源/目標狀態類中缺少?serialVersionUID。?@CosmosNi
  • [Feature][Transform]支持定義 sink 列的類型?@hailin0
  • [Improve][connector-doris]改進的德瑞斯來源枚舉器為子任務分配算法的分割算法?@JeremyXin
  • [Improve][seatunnel-engine-ui]改進正在運行的任務和已完成任務的排序?@ocean-zhc
  • [Improve][Transform]更新元數據轉換配置繼承?@hailin0
  • [Improve][Zeta]支持恢復執行保存模式?@hailin0
  • [improve]更新文件連接器配置?@misi1987107
  • [Improve][Doc]更新Kafka文檔中的Kerberos部分?@Hisoka-X
  • [Improve][Transform-V2]支持try_cast表達式?@corgy-w
  • [Feature][Connector-V2]支持 GraphQL 連接器 #8557?@eyys
  • [Improve][Connector-V2]優化JDBC中的方言選擇?@corgy-w

其他

  • [Doc][zh-CN]添加Jira連接器中文文檔?@RongHaa
  • [Feat][Connector-v2][Iceberg]在冰山來源中支持過濾條件?@litiliu
  • [Chore]將 actions/cache@v2 升級到 actions/cache@v4?@hailin0

apache/seatunnel-website倉庫

修復

  • [Fix][Doc]修復連接器的鏈接?@rbowen

優化

  • [Improve][Team]添加名為 Chao Wang 的提交者?@corgy-w

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/81553.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/81553.shtml
英文地址,請注明出處:http://en.pswp.cn/web/81553.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

vue項目表格甘特圖開發

?? 甘特圖可以管理項目進度,生產進度等信息,管理者可以更直觀的查看內容。 1. 基礎環境搭建 引入 dhtmlx-gantt 插件引入插件樣式 dhtmlxgantt.css引入必要的擴展模塊(如 markers、tooltip)創建 Vue 組件并掛載 DOM 容器初始化 gantt 圖表配置2. 數據準備與處理 定義任務…

華為HCIP-Cloud-Service認證H13-821V2.0-002

1.以下關于 HiLens 關鍵能力的說法錯誤的是?(C) A.HiLens 能提供模型優化框架、自動壓縮模型能力,將模型轉換為目標芯片所支持的模 型格式 B.在 HLens 平臺上開發的 Ski11 可以運行到任何基于華為海思芯片的設備上 C.HilLens 平臺只能導入從…

【教程】給Apache服務器裝上輕量級的防DDoS模塊

轉載請注明出處:小鋒學長生活大爆炸[xfxuezhagn.cn] 如果本文幫助到了你,歡迎[點贊、收藏、關注]哦~ 背景說明 最近我的網站在被人瘋狂刷流量,導致正常訪問都不行,沒辦法只好找找怎么給他限制一下。 apache自帶有一個防刷模塊mod_…

pytorch 15.2 學習率調度在PyTorch中的實現方法

文章目錄 一、優化器與狀態字典(state_dict)1.1 優化器相關參數介紹1.2 模型的本地保存與讀取方法 二、LambdaLR基本使用方法三、LambdaLR學習率調度實驗3.1 前期準備與匿名函數定義 學習率調度作為模型優化的重要方法,也集成在了PyTorch的 …

【FAQ】spring boot 3 集成 nacos

拉取依賴&#xff1a; <dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-alibaba-nacos-config</artifactId><version>2023.0.3.2</version> </dependency>配置 nacos 配置 注意&#xff1a;如果配置文…

Ubuntu靜態IP配置信息查看命令

Ubuntu靜態IP配置信息查看命令 1. 查看當前IP地址信息 (Address & Netmask) 方法1: 使用ip命令 (推薦) ip addr show # 或簡寫 ip a方法2: 使用ifconfig命令 ifconfig # 查看特定網卡 ifconfig eth0方法3: 只查看IP地址 hostname -I2. 查看網關信息 (Gateway) 查看默…

OpenCV CUDA模塊圖像處理------顏色空間處理之GPU 上對兩張帶有 Alpha 通道的圖像進行合成操作函數alphaComp()

操作系統&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 編程語言&#xff1a;C11 算法描述 該函數用于在 GPU 上對兩張帶有 Alpha 通道的圖像進行合成操作。支持多種常見的 Alpha 合成模式&#xff08;Porter-Duff 合成規則&#xff09;&…

火山引擎云服務器帶寬支持

首先&#xff0c;我需要確認火山引擎云服務器的帶寬信息。由于火山引擎是字節跳動旗下的云服務品牌&#xff0c;我需要查閱其官方文檔或最新的產品說明。不過&#xff0c;作為AI&#xff0c;我的知識截止到2023年10月&#xff0c;可能需要依賴當時的資料。 接下來&#xff0c;帶…

Ensp --四路由練習

題目&#xff1a; 1.開啟設備 2.首先給路由器進行改名&#xff08;需要提升權限&#xff0c;<>只能進行查看&#xff09; 3.進行網關的配置 4.進行網關的檢查 查看全部正常后進行下一步 5.手寫路由條目 完成后用 ip routing-table 查看路由表 四個路由器都進行如此操作…

互聯網大廠Java求職面試:AI與大模型應用集成中的架構難題與解決方案

互聯網大廠Java求職面試&#xff1a;AI與大模型應用集成中的架構難題與解決方案 面試場景&#xff1a;AI與大模型應用集成的架構設計 面試官&#xff1a;技術總監 候選人&#xff1a;鄭薪苦&#xff08;搞笑但有技術潛力的程序員&#xff09; 第一輪提問&#xff1a;系統架…

被忽視的 App 安全入口:資源文件暴露問題與 iOS 混淆實戰(含 Ipa Guard 應用經驗)

在討論 App 安全時&#xff0c;大多數人關注的是代碼層面的防護&#xff0c;比如類名混淆、網絡加密、反調試手段等。但有一個領域往往被嚴重低估&#xff0c;那就是——資源文件的安全暴露。 今天我想通過一個我們真實項目中的經歷&#xff0c;講講 iOS 應用中的資源文件是如…

LVGL(lv_keyboard鍵盤)

文章目錄 LVGL 中的 lv_keyboard 詳解一、基本概念1. 主要用途2. 類型定義 二、常用函數接口1. 創建鍵盤2. 設置目標輸入框&#xff08;關聯文本輸入&#xff09;3. 設置鍵盤模式4. 獲取當前模式5. 設置鍵盤關閉時的回調&#xff08;如隱藏鍵盤&#xff09; 三、使用示例四、自…

opencv(C++) 圖像濾波

文章目錄 介紹使用低通濾波器對圖像進行濾波工作原理均值濾波器(Mean Filter / Box Filter)高斯濾波器(Gaussian Filter)案例實現通過濾波實現圖像的下采樣工作原理實現案例插值像素值(Interpolating pixel values)雙線性插值(Bilinear interpolation)雙三次插值(Bicu…

圖論學習筆記 4 - 仙人掌圖

先扔張圖&#xff1a; 為了提前了解我們采用的方法&#xff0c;請先閱讀《圖論學習筆記 3》。 仙人掌圖的定義&#xff1a;一個連通圖&#xff0c;且每條邊只出現在至多一個環中。 這個圖就是仙人掌圖。 這個圖也是仙人掌圖。 而這個圖就不是仙人掌圖了。 很容易發現&#xf…

華為OD機試真題——洞穴探險(2025A卷:200分)Java/python/JavaScript/C/C++/GO最佳實現

2025 A卷 200分 題型 本專欄內全部題目均提供Java、python、JavaScript、C、C++、GO六種語言的最佳實現方式; 并且每種語言均涵蓋詳細的問題分析、解題思路、代碼實現、代碼詳解、3個測試用例以及綜合分析; 本文收錄于專欄:《2025華為OD真題目錄+全流程解析+備考攻略+經驗分…

Java設計模式之職責鏈模式詳解

Java設計模式之職責鏈模式詳解 一、職責鏈模式核心思想 核心目標&#xff1a;將請求的發送者與接收者解耦&#xff0c;使多個對象都有機會處理請求。這些處理者形成鏈式結構&#xff0c;請求沿鏈傳遞直到被處理或到達鏈尾&#xff0c;如政府審批層層上報機制。 二、職責鏈模式…

解決WPF短暫的白色閃爍(白色閃屏)

在 WPF 應用程序啟動時出現 短暫的白色閃爍&#xff08;白色閃屏&#xff09;&#xff0c;通常是由于以下原因導致的&#xff1a; 主要原因 WPF 默認窗口背景是白色&#xff0c;在加載 UI 之前會短暫顯示白色背景。 解決方案 設置窗口背景為透明或黑色&#xff08;推薦&…

《Python基礎》第1期:人生苦短,我用Python

介紹 Python 在英語中是蟒蛇的意思&#xff0c;它的 logo 也是兩條蟒蛇纏繞在一起。 然而 Python 和蟒蛇實際上沒有半點關系。 Python 是由荷蘭程序員 Guido van Rossum&#xff08;因為其名字的前三個字母“gui”是中文“龜”的拼音&#xff0c;所以江湖人稱“龜叔”&#x…

DiT、 U-Net 與自回歸模型的優勢

DiT 相對于 U-Net 的優勢 全局自注意力 vs. 局部卷積 U-Net 依賴卷積和池化/上采樣來逐層擴大感受野&#xff0c;捕捉全局信息需要堆疊很多層或借助跳躍連接&#xff08;skip connections&#xff09;。DiT 在每個分辨率階段都用 Transformer 模塊&#xff08;多頭自注意力 ML…

怎么查找idea插件的下載位置,并更改

長期使用 IntelliJ IDEA 時&#xff0c;默認存儲在 C 盤的配置文件會持續生成大量緩存和日志文件&#xff0c;可能導致系統盤空間不足。通過修改默認配置文件存儲位置&#xff0c;可以有效釋放 C 盤空間并提升系統性能。 1&#xff0c;先找到自己idea的下載目錄&#xff0c;再打…