數據稽核是一種用于確保表數據準確性和一致性的重要方法,它涉及到檢查數據的完整性、一致性、有效性和合法性,以及與預期規范的匹配程度等多個方面。隨著大數據時代的到來,通過有效的數據稽核,組織可以提高決策的準確性和效率,優化業務流程,并增強數據的可靠性和可用性。
數據稽核也可以幫助組織發現數據質量問題、識別潛在的數據錯誤,并為數據管理和決策提供可靠的基礎。本文介紹了MTK數據稽核的功能以及操作步驟。
MTK支持數據稽核功能,數據稽核包含表記錄數稽核、表數據稽核和表結構稽核,它不僅支持同構數據庫之間的數據稽核,還支持異構數據庫之間的數據稽核,同時也可以進行不同schema映射下的表數據稽核。在數據遷移后,對遷移庫的表數據進行數據稽核,可以發現數據的一致性、完整性、準確性等問題。
表記錄數稽核
表記錄數稽核通過對源表和目標表分別執行:
select count(*) from schemaName.tableName
以獲取表名對應的記錄數,比較記錄數是否一致,需要注意的是支持源端和目標端的schema名稱不同。表記錄數稽核可用于快速發現數據的完整性問題。
數據校驗選中需要校驗的所有表,校驗范圍選擇行數。
圖1:校驗范圍-行數
行數校驗結果如下圖2所示,可以看到源表和目標表在行數不一致時分別展示源表行數和目標表行數:
圖2:行數校驗結果
表數據稽核
表數據稽核通過select語句將表數據查詢出來,再進行內容比對。若遇到大表,且有主鍵表,再根據主鍵拆分成多個select語句多線程處理;若是無主鍵表,則根據rowid或者ctid分段查詢,需注意的是不同數據庫采用的分段策略有所不同,通過分段查詢可以提高數據校驗的處理速度。表數據稽核可用于全方面的檢查數據的一致性、完整性、準確性等問題。
圖3:校驗范圍-模型和數據
表數據稽核比對結果如下圖4所示,可以看到表內容比對的記錄數,當表數據不一致時,可以點擊詳情按鈕查看源表和目標表具體的內容差異明細:
圖4:校驗結果-模型和數據
表差異內容明細圖如下圖5所示:
圖5:表內容差異明細
表結構稽核
表結構稽核可以查看源表和目標表的字段差異,包括對字段名稱、字段類型、字段長度的校驗。表結構稽核可以用于檢查不同環境DDL(數據定義語言)的一致性問題。
圖6:表結構差異明細
綜上所述,MTK工具的數據校驗是一項重要任務。通過使用MTK工具,可以對數據進行校驗、驗證和修復,以確保數據的準確性和完整性。
MTK工具提供不同的校驗方法和規則,用于檢查數據中的錯誤、不一致性和異常值,從而保證數據的質量和可靠性。MTK工具的數據校驗也可以幫助我們優化數據流程、快速發現和解決潛在的數據問題,并為后續分析和決策提供可靠的數據基礎。因此,在使用MTK工具進行數據校驗時,應確保選擇適當的校驗方法和配置參數,以滿足特定的數據質量要求。
關于亞信安慧AntDB數據庫
AntDB數據庫始于2008年,在運營商的核心系統上,為全國24個省份的10億多用戶提供在線服務,具備高性能、彈性擴展、高可靠等產品特性,峰值每秒可處理百萬筆通信核心交易,保障系統持續穩定運行近15年,并在通信、金融、交通、能源、物聯網等行業成功商用落地。