在企業數字化轉型的浪潮下,數據已經成為企業發展的核心資產。人大金倉數據庫憑借其穩定可靠的性能,在國內眾多企業中得到了廣泛應用。但隨著業務的不斷拓展和系統的更新迭代,數據遷移與整合的需求也日益凸顯。無論是將人大金倉數據庫的數據遷移到新環境,還是把它與其他類型的數據庫進行整合,都需要一款強大且易用的工具來支撐,下面我將通過ETL工具,為大家詳細講解如何高效完成人大金倉數據庫的數據遷移與異構數據庫的數據整合。
人大金倉
人大金倉數據庫(KingbaseES)是國產數據庫領域的領軍產品,支持嚴格的ACID特性、結合多核架構的超凡性能、健全完善的安全標準,以及完備的高可用方案,并提供可覆蓋遷移、開發及運維管理全使用周期的智能便捷工具。它憑借自主研發的技術架構,以強大的事務處理能力和高并發響應速度,成為企業核心業務系統的 “穩定器”。無論是政府政務系統的高效運轉,還是金融交易平臺的安全交易,都離不開它的支持。同時,其優秀的兼容性適配多種國產軟硬件,真正實現自主可控,讓企業擺脫外部技術限制,在國內數據庫市場占據重要地位。
ETL工具實操演示
具體流程如下,使用庫表輸入分別讀取MySQL與Kingbase的數據,利用多流union合并整合數據,再通過數據清洗轉換組件對數據進行清洗轉換,最終通過庫表輸出將數據遷移同步到另一個Kingbase數據庫中。
1.準備數據源,配置MySQL與Kingbase數據源
點擊新建MySQL數據源,選擇MySQL數據源模板
填寫數據源信息后保存并測試
2.新建Kingbase數據源
新建方法與上面一致,這里我們新建兩個Kingbase數據源,一個是需要遷移的源端數據源,一個是接收遷移數據的目標端數據源
3.創建離線流程
從組件列表中拉取對應組件,然后對組件進行配置
庫表輸入T00001配置:
主要選擇讀取表所在的MySQL數據源和需要讀取的表。其余均為默認配置
庫表輸入T00002配置:
主要選擇讀取表所在的Kingbase數據源和需要讀取的表。其余均為默認配置
多流Union合并配置:
合并前面的兩個庫表輸入組件T00001和T00002,其余為默認配置
數據清洗轉換配置:
數據所在節點選前面的多流union合并,除了下一步的清洗規則外其余為默認配置
在清洗規則里給時間字段createtime綁定日期格式化規則對日期數據的格式進行調整從yyyy-MM-dd hh:MM:ss轉換為yyyy-MM-dd
庫表輸出配置:
選擇目標表所在的數據源以及選擇目標表,這里我的目標表book在目標端數據庫中是不存在的,所以后面會使用一個自動建表功能進行創建。
由于表本身不存在所以不會自動識別表字段信息,這里我們中前面的庫表輸入節點中獲取我們需要的字段信息,也可以手動填寫。
在輸出選項中開啟自動建表,由于我們這里表是空的數據更新方式可以選擇批量插入讓同步速率更快,要是本身有數據存在可以選擇合并后批量
運行結果:
查看數據庫結果
總結
從人大金倉數據庫的數據遷移到異構數據庫整合,通過合理運用ETL工具,企業不僅能夠高效完成數據遷移與整合工作,確保數據的完整性、準確性和安全性,還能充分挖掘數據價值,打破數據孤島,為企業決策提供更全面、更精準的數據支持。