各位熱愛 Apache SeaTunnel 的小伙伴們,今年 4 月份月報更新啦!這里將記錄 SeaTunnel 社區每月的重要更新,歡迎關注!
在本月的眾多更新中,最令人關注的一項新特性是——TDengine 多表 Sink 功能的支持(由 @jia17 提交)。這一功能的引入,標志著 SeaTunnel 在面向時序數據庫的數據寫入能力上邁出了關鍵一步。
在工業物聯網、智慧能源、智能制造等場景中,傳感器數據往往分布在多個邏輯表中,原有的單表 Sink 顯然難以滿足復雜的數據落盤需求。此次更新實現了 TDengine 多表動態寫入能力,用戶可以靈活地根據業務邏輯將數據路由到不同的目標表中,極大提升了數據寫入的靈活性與效率。
更重要的是,整個功能的設計兼顧了 Schema 解析、字段匹配和異常處理等細節,具有較強的工程實用性,未來也有望擴展到更多支持多表寫入場景的連接器中。
SeaTunnel 正在不斷強化與主流數據系統的融合能力,這項更新正是一次面向實際業務需求的有力回應。
月度Merge之星
感謝以下小伙伴上個月為 Apache SeaTunnel 所做的精彩貢獻(排名不分先后):
@hawk9821,@eyys,@liunaijie,@corgy-w,@CosmosNi,@FrommyMind,@maozhen520,@Hisoka-X,@litiliu,@JeremyXin,@Alberne,@rbowen,@mrtisttt,@RongHaa,@misi1987107,@kehan-zhou,@ocean-zhc,@qifanlili,@jia17,@xxsc0529,@hailin0
apache/seatunnel倉庫
修復
- [Bugfix][CI]修復Transform檢查?@hailin0
- [Fix][CI]在測試用例中釋放文件資源?@CosmosNi
- [Fix][Config]修復 seatunnel.yaml 中無效的遙測日志配置?@mrtisttt
- [Fix][Zeta]修復檢查點線程池過早關閉導致任務狀態異常的問題?@Hisoka-X
- [Fix][Core]修復配置解析中帶有?\"\"?的錯誤?@Hisoka-X
- [Bugifx][kafka]修復 Kafka 枚舉器分配拆分時的空指針異常 NPE?@hailin0
- [Fix][Doc]刪除_test和_sink前的空格?@kehan-zhou
- [Fix][Connector-V2]修復Kafka數據庫名稱?@corgy-w
- [Fix][Zeta]在HdfsStorage中不使用volatile關鍵字修復雙重檢查鎖定問題?@maozhen520
- [Fix][Serialize]防止 JSON 輸出中的十進制數字采用科學計數法?@misi1987107
- [Fix][CI]升級操作作業運行主機版本?@Hisoka-X
- [Fix][Doc]調整explode函數的描述?@CosmosNi
- [Fix][Connector-V2]修復TDengine sink中當列或標簽包含null值時出現的NullPointerException?@jia17
- [Fix][connector-file-base]修復 parquet int32 轉換錯誤?@JeremyXin
- [Fix][Connector-V2]修復了 StarRocks 連接器中缺少的時間戳精度問題?@corgy-w
- [Fix][Zeta]調整調用枚舉器打開方法的時機?@Hisoka-X
- [Fix][Connector-V2]修復MaxCompute多平行寫入問題?@Hisoka-X
- [Fix][Connector-V2][OceanBase]OceanBase 支持簡單的向量索引。?@xxsc0529
- [Fix][API]修復未調用?SinkAggregatedCommitter?的初始化方法的問題?@Hisoka-X
- [Bugfix][Elasticsearch]修復添加列事件?@hailin0
- [Bugfix][Csv]修復 CSV 格式分隔符?@hailin0
- [Fix][Connector-V2]修復 Postgres CDC 使用 debezium_json 格式時無法解析沒有小數位的數字的問題。?@FrommyMind
- [Fix]修復?DateUtils?無法解析帶有本地時區的日期時間字符串的問題。?@Hisoka-X
- [Fix][Connector-V2]修復SqlServer中數據庫名稱含點號時創建表的問題?@Hisoka-X
- [Fix][MongoDB]Long 類型無法處理科學計數法表示的字符串值?@qifanlili
優化
- [improve]Qdrant選項?@liunaijie
- [Feature][Connector-V2]為DataHub使某些sink參數成為可選的?@jia17
- [Improve][connector-iceberg]修復架構更改事件?@CosmosNi
- [Feature][Connector-V2]支持TDengine的多表sink功能?@jia17
- [Feature][Connector-V2]Datahub 支持多表 Sink(寫入多個表)?@jia17
- [Doc][Improve] support chinese [docs/zh/connector-v2/source/Cloudberry.md]優化中文文檔支持?@jia17
- [Doc][Improve] support chinese [docs/zh/connector-v2/source/Github.md]優化中文文檔支持?@jia17
- [Improve][Zeta]添加日志以打印每個任務的執行位置?@CosmosNi
- [Feature][Transform]添加表格過濾轉換?@hailin0
- [Feature][doc]修復md文檔格式?@CosmosNi
- [Feature][Zeta]為Web UI支持基本身份驗證?@CosmosNi
- [improve]派蒙選項?@liunaijie
- [improve]OpenMLDB 選項?@liunaijie
- [improve]Milvus選項?@liunaijie
- [improve]Neo4j 選項?@liunaijie
- [Improve]MaxCompute選項?@liunaijie
- [Improve]Kudu選項?@liunaijie
- [Improve][Doc]統一標題格式,并修復一些格式異常的文檔。?@Hisoka-X
- [Feature][connector-elasticsearch]Elasticsearch 源支持 PIT(Point in Time)?@CosmosNi
- [Feature][Zeta]在任務運行管理頁面上格式化異常消息?@ocean-zhc
- [Improve][Doc]調整trim系列SQL函數的描述?@Hisoka-X
- [Improve][Connector-V2][Http]支持基于游標的分頁 #9109?@Alberne
- [Feature][Transform]為 SQL 轉換支持布爾類型?@hawk9821
- [Feature][Checkpoint]添加檢查腳本來檢測源/目標狀態類中缺少?serialVersionUID。?@CosmosNi
- [Feature][Transform]支持定義 sink 列的類型?@hailin0
- [Improve][connector-doris]改進的德瑞斯來源枚舉器為子任務分配算法的分割算法?@JeremyXin
- [Improve][seatunnel-engine-ui]改進正在運行的任務和已完成任務的排序?@ocean-zhc
- [Improve][Transform]更新元數據轉換配置繼承?@hailin0
- [Improve][Zeta]支持恢復執行保存模式?@hailin0
- [improve]更新文件連接器配置?@misi1987107
- [Improve][Doc]更新Kafka文檔中的Kerberos部分?@Hisoka-X
- [Improve][Transform-V2]支持try_cast表達式?@corgy-w
- [Feature][Connector-V2]支持 GraphQL 連接器 #8557?@eyys
- [Improve][Connector-V2]優化JDBC中的方言選擇?@corgy-w
其他
- [Doc][zh-CN]添加Jira連接器中文文檔?@RongHaa
- [Feat][Connector-v2][Iceberg]在冰山來源中支持過濾條件?@litiliu
- [Chore]將 actions/cache@v2 升級到 actions/cache@v4?@hailin0
apache/seatunnel-website倉庫
修復
- [Fix][Doc]修復連接器的鏈接?@rbowen
優化
- [Improve][Team]添加名為 Chao Wang 的提交者?@corgy-w