亞信安慧AntDB MTK數據同步工具之數據稽核

數據稽核是一種用于確保表數據準確性和一致性的重要方法,它涉及到檢查數據的完整性、一致性、有效性和合法性,以及與預期規范的匹配程度等多個方面。隨著大數據時代的到來,通過有效的數據稽核,組織可以提高決策的準確性和效率,優化業務流程,并增強數據的可靠性和可用性。

數據稽核也可以幫助組織發現數據質量問題、識別潛在的數據錯誤,并為數據管理和決策提供可靠的基礎。本文介紹了MTK數據稽核的功能以及操作步驟。

MTK支持數據稽核功能,數據稽核包含表記錄數稽核、表數據稽核和表結構稽核,它不僅支持同構數據庫之間的數據稽核,還支持異構數據庫之間的數據稽核,同時也可以進行不同schema映射下的表數據稽核。在數據遷移后,對遷移庫的表數據進行數據稽核,可以發現數據的一致性、完整性、準確性等問題。

表記錄數稽核

表記錄數稽核通過對源表和目標表分別執行:

select count(*) from schemaName.tableName

以獲取表名對應的記錄數,比較記錄數是否一致,需要注意的是支持源端和目標端的schema名稱不同。表記錄數稽核可用于快速發現數據的完整性問題。

數據校驗選中需要校驗的所有表,校驗范圍選擇行數。

圖1:校驗范圍-行數

行數校驗結果如下圖2所示,可以看到源表和目標表在行數不一致時分別展示源表行數和目標表行數:

圖2:行數校驗結果

表數據稽核

表數據稽核通過select語句將表數據查詢出來,再進行內容比對。若遇到大表,且有主鍵表,再根據主鍵拆分成多個select語句多線程處理;若是無主鍵表,則根據rowid或者ctid分段查詢,需注意的是不同數據庫采用的分段策略有所不同,通過分段查詢可以提高數據校驗的處理速度。表數據稽核可用于全方面的檢查數據的一致性、完整性、準確性等問題。

圖3:校驗范圍-模型和數據

表數據稽核比對結果如下圖4所示,可以看到表內容比對的記錄數,當表數據不一致時,可以點擊詳情按鈕查看源表和目標表具體的內容差異明細:

圖4:校驗結果-模型和數據

表差異內容明細圖如下圖5所示:

圖5:表內容差異明細

表結構稽核

表結構稽核可以查看源表和目標表的字段差異,包括對字段名稱、字段類型、字段長度的校驗。表結構稽核可以用于檢查不同環境DDL(數據定義語言)的一致性問題。

圖6:表結構差異明細

綜上所述,MTK工具的數據校驗是一項重要任務。通過使用MTK工具,可以對數據進行校驗、驗證和修復,以確保數據的準確性和完整性。

MTK工具提供不同的校驗方法和規則,用于檢查數據中的錯誤、不一致性和異常值,從而保證數據的質量和可靠性。MTK工具的數據校驗也可以幫助我們優化數據流程、快速發現和解決潛在的數據問題,并為后續分析和決策提供可靠的數據基礎。因此,在使用MTK工具進行數據校驗時,應確保選擇適當的校驗方法和配置參數,以滿足特定的數據質量要求。

關于亞信安慧AntDB數據庫

AntDB數據庫始于2008年,在運營商的核心系統上,為全國24個省份的10億多用戶提供在線服務,具備高性能、彈性擴展、高可靠等產品特性,峰值每秒可處理百萬筆通信核心交易,保障系統持續穩定運行近15年,并在通信、金融、交通、能源、物聯網等行業成功商用落地。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/163384.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/163384.shtml
英文地址,請注明出處:http://en.pswp.cn/news/163384.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

淺談安科瑞直流電表在荷蘭光伏充電樁系統中的應用

摘要:本文介紹了安科瑞直流電表在荷蘭光伏充電樁系統中的應用。主要用于充電樁的電流電壓電能的計量。 Abstract: This article introduces the application of Acrel DC meters in PV charging pile system in Netherlands.The device is measuring current,volt…

Modbus-RTU協議講解與實戰

1、背景 工作需要,需要使用Modbus-RTU實現RS485通信,于是簡單學習并實踐了一下。 2、參考資料 一文看懂Modbus協議 3、協議說明 3.1、協議類型 當前設備采用Modbus-RTU協議,采用CRC-16_Modbus校驗算法,數據鏈路層使用用標準串口協議,物理層采用RS485進行數據傳輸。 …

python變量、常量、數據類型

一、變量 變量是存儲在內存中的值,這就意味著在創建變量時會在內存中開辟一個空間。 基于變量的數據類型,解釋器會分配指定內存,并決定什么數據可以被存儲在內存中。 因此,變量可以指定不同的數據類型,這些變量可以…

開源Flutter on Desktop項目-極擴安卓開發者工具

極擴-安卓開發者工具 他能干嘛 這個Flutter on Desktop桌面項目可以輔助你開發APP,支持分析一些運行數據以及操作APK安裝等功能,甚至我還加入了Window安卓子系統的功能。 在它的幫助下,你可以快速查看當前正在運行的Activity,給你…

ubuntu/windows/mac小問題記錄

ubuntu刪除snap,釋放dev/mapper/ubuntu–vg-ubuntu–lv使用率100%問題。 當無法用常規方式卸載snapd。粗暴: 刪除 Snap 的目錄 rm -rf ~/snap sudo rm -rf /snap sudo rm -rf /var/snap sudo rm -rf /var/lib/snapd sudo rm -rf /var/cache/snapd刪除 S…

Oracle時間排序字段

要用 TIMESTAMP(6) 不要用 date 因為 date只到秒 ,排序不準確

開發外賣霸王餐返利小程序的步驟有哪些?

外賣霸王餐返利小程序是一種基于社交電商模式的小程序,主要實現用戶和商家的共贏。 開發外賣霸王餐返利小程序的方案可以包括以下幾個步驟: 1、需求分析 明確外賣霸王餐返利小程序的功能和特點。確定用戶可以參與的活動類型、返利規則、用戶界面設計等…

Jmeter 分布式壓測

為什么要分布式 jmeter是100%純java開發的程序,虛擬用戶是以線程實現的,在大量并發情況下,很容易出現CPU、內存消耗過大的問題,甚至會出現java內存溢出。一般一臺電腦設置500-600線程數即可,如果超過1000線程&#xf…

vue - - - - - vue-qr插件生成二維碼

vue-qr插件生成二維碼 1. 安裝插件2. 組件使用示例圖&#xff1a;掃碼結果 1. 安裝插件 【vue-qr 官網地址】 npm install vue-qr --save // or yarn add vue-qr --save2. 組件使用 <template><vue-qr :logo-src"logoSrc":size"237":margin&qu…

php一句話木馬免殺

php一句話木馬免殺 針對于php一句話木馬做免殺&#xff1a; 利用php動態函數的特性&#xff0c;將危險函數拆分成字符&#xff0c;最終使用字符串拼接的方式&#xff0c;然后重新拼接&#xff0c;后加括號執行代碼&#xff0c;并且可以使用花指令進行包裝&#xff0c;如無限i…

Pol8891 規格書 ——圖像處理芯片/RGB轉MIPI支持圖像 90°/270°旋轉處理

一、芯片簡介 1、系統 高性能 MIPS 32bit CPU 內核&#xff1b; 高性能 DSP 內核圖像處理單元&#xff1b; 8KB 指令 Cache&#xff1b; 8KB 數據 Cache&#xff1b; 64KB OnChip SRAM&#xff1b; 內嵌 DDR3 控制器&#xff1b; 2、RGB 輸入 支持 RGB666、RGB888 輸入…

中電金信:《保險業監管研究及數字化轉型方向探索白皮書》

縱觀近二十年保險業從信息化向數字化的演進過程&#xff0c;我們感受到了數字化轉型階段性成果漸成的喜悅&#xff0c;同時也深深的體會到數字化轉型在“痛并快樂著”的歷程中的種種艱辛。當今世界正處于百年未有之大變局&#xff0c;隨著我國保險市場的供需格局演變和外部環境…

【Unity】EventSystem.current.IsPointerOverGameObject()對碰撞體起作用

本來我是用 EventSystem.current.IsPointerOverGameObject()來檢測是否點擊在UI上的&#xff0c;但是發現&#xff0c;他對我的碰撞體也是返回ture,研究半天。。。。找不出問題&#xff0c;然后發現我的相機上掛載了PhysicsRaycaster&#xff0c;去掉之后就好了&#xff0c;至于…

Mapbox中點圖層和面圖層點擊事件重疊,禁止點擊穿透方案

使用mapbox的小伙伴們可能都遇到過這個問題,就是當地圖上有兩個圖層,一個面圖層一個點圖層,二者相重合的時候。假設我們想點擊點位彈窗展示一些內容,也想點擊面圖層的時候彈窗展示一些內容,這時候一個有意思的問題就產生了,就是點擊點位彈窗的時候面圖層對應的彈窗也會彈…

計算二叉樹雙分支節點的個數(可運行)

如果對您有用&#xff0c;點個贊&#xff0c;關注一下哦&#xff01;畢竟像我這種不用付monyY的博主不多了&#xff0c;且行且珍惜吧&#xff01;俺只想要數據【偷笑】 運行環境.cpp 如果沒有輸出結果一定是建樹錯誤&#xff01;&#xff01;&#xff01;&#xff01;&#x…

libbz2 for Mac OS makefile

git地址&#xff1a;git://sourceware.org/git/bzip2.git a文件Makefile # ------------------------------------------------------------------ # This file is part of bzip2/libbzip2, a program and library for # lossless, block-sorting data compression. # # bzip…

MySQL-01-MySQL基礎架構

1-MySQL邏輯結構 如果能在頭腦中構建一幅MySQL各組件之間如何協同工作的架構圖&#xff0c;有助于深入理解MySQL服務器。下圖展示了MySQL的邏輯架構圖。 MySQL邏輯架構整體分為三層&#xff0c;最上層為客戶端層&#xff0c;并非MySQL所獨有&#xff0c;諸如&#xff1a;連接處…

jar包打進本地倉庫

jar包打進本地倉庫 <dependency><groupId>com.test</groupId><artifactId>test-api</artifactId><version>1.0.0</version> </dependency>mvn install:install-file -Dfiletest.jar -DgroupIdcom.test -DartifactIdtest-api …

數據結構:鏈表

目錄 一.為什么要使用鏈表存儲數據&#xff1f; 二.鏈表的分類 單向或者雙向鏈表&#xff1a; 帶頭或者不帶頭&#xff1a; 循環或者非循環&#xff1a; 三.鏈表的實現 3.1無頭單向非循環鏈表的實現&#xff1a; 3.1.1單向無頭非循環鏈表的聲明 3.1.2動態申請一個節點 …

kmalloc

kmalloc(size(結構體)*n)就是申請n個大小為結構體的空間&#xff0c;然后返回一個指向這個空間的首地址的指針。這個指針可以看作是一個數組&#xff0c;它的每個元素都是結構體&#xff0c;所以可以使用索引來訪問這個空間的不同部分。例如&#xff0c;如果你有一個指針p&…