【數據治理】要點整理-信息技術數據質量評價指標-GB/T36344-2018

導讀:指標為數據質量評估提供了一套系統化、標準化的框架,涵蓋規范性、完整性、準確性、一致性、時效性、可訪問性六大核心指標,助力組織提升數據處理效率、支持決策制定及業務流程優化,確保數據在數據生存周期各階段的質量可控。

目錄

1、數據質量指標說明

2、數據質量評價表模板實例

3、數據質量評價過程?


1、數據質量指標說明


2、數據質量評價表模板實例

序號評價指標評價維度評價規則案例說明評價結果問題描述改進建議
1規范性數據標準符合性數據是否符合國家標準、行業標準或企業規定的數據格式、編碼規則等。身份證號字段需符合GB 11643-1999標準,某記錄身份證號為“12345678901234567X”(校驗位正確)。??合格保持校驗規則,定期抽查數據。
2數據模型符合性數據是否符合數據模型定義,如字段類型、長度、約束等。客戶姓名字段定義為VARCHAR(50),某記錄姓名為“張三”(長度符合)。??合格確保數據錄入時字段類型與模型一致。
3元數據一致性數據是否與元數據描述一致,如取值范圍、業務含義等。元數據定義“性別”字段取值范圍為“男”“女”,某記錄值為“男”。??合格定期更新元數據,確保與實際數據一致。
4完整性數據元素完整性必填字段是否均有值,無缺失。訂單記錄中商品ID字段為必填,某記錄商品ID為“P001”(無缺失)。??合格設置必填校驗,錄入時提示補全。
5記錄完整性數據集中是否包含所有應存在的記錄。某日應生成100條訂單記錄,實際生成100條(無缺失)。??合格建立數據完整性監控機制,定期核對記錄數。
6準確性數據內容正確性數據值是否準確反映實際對象。賬戶余額應為1000元,某記錄余額為1000元(準確)。??合格通過與權威數據源比對,確保數據準確。
7空值率關鍵字段空值率是否在可接受范圍內。某字段空值率應低于5%,實際空值率為2%(符合要求)。??合格監控空值率,對高空值率字段進行清洗或補全。
8一致性數據邏輯一致性數據間邏輯關系是否一致,如庫存與訂單數量匹配。庫存100件,某訂單商品數量為50件(庫存充足)。??合格建立數據一致性校驗規則,實時同步數據。
9數據沖突檢查數據是否與其他上下文數據無矛盾。CRM系統中商品名稱為“手機”,ERP系統中為“智能手機”(需統一)。??不合格商品名稱不一致統一數據命名規范,建立數據映射關系。
10時效性數據更新延遲數據更新是否及時,如包裹狀態更新。包裹簽收后,系統狀態應在2小時內更新(實際延遲1小時)。??合格設置超時提醒,優化數據更新流程。
11數據時效性影響數據時效性是否影響決策或業務。實時庫存數據支持快速補貨決策(無影響)。??合格確保關鍵數據實時更新,支持業務決策。
12可訪問性數據可訪問率數據接口成功率是否達標。某數據接口成功率應達99%,實際為99.5%(達標)。??合格監控接口性能,優化服務器資源。
13訪問權限管理數據訪問權限是否合理設置。敏感數據僅授權人員可訪問(已設置)。??合格定期審計訪問權限,確保數據安全。

3、數據質量評價過程?

環節具體內容實例說明作用
與職責分工明確組織架構與職責分工 成成立由數據管理員、業務部門(銷售、客服、物流)代表、數據分析師組成的數據質量管理團隊。數據管理員主導規則制定與執行監督;業務部門提供業務視角的數據需求和使用反饋;數據分析師負責數據質量評估與分析明確各部門在數據質量管理中的職責和分工,為后續工作提供組織保障
規范標準制定數據相關規范標準1. 數據格式規范:規定商品編號為 8 位數字,客戶姓名不超過 20 個字符且支持中英文,訂單日期格式為“YYYY - MM - DD”統一數據標準,避免因數據格式、錄入方式等不一致導致的數據質量問題
2. 數據錄入規范:客服錄入客戶電話需為 11 位數字,地址詳細到門牌號
3. 數據存儲規范:交易數據存于關系型數據庫特定表,用戶數據按用戶 ID 分區存儲
確定評價指標確定衡量數據質量的指標1. 完整性:訂單關鍵字段(商品 ID、客戶 ID、訂單金額)完整率 ≥ 99%提供量化標準,用于準確評估數據質量狀況
2. 準確性:商品價格誤差 ≤ ±1%,客戶地址準確率 ≥ 95%
3. 一致性:商城前端與后臺庫存數據誤差 ≤ 1%
4. 時效性:訂單狀態更新時間 ≤ 實際變更后 1 小時
實施評價執行數據質量評估并反饋1. 定期檢查:每周抽樣檢查訂單關鍵字段完整性并統計完整率及時發現數據質量問題,形成持續改進機制
2. 實時監控:利用工具實時監測商品價格,超誤差范圍即報警
3. 數據比對:每日定時比對商城前后臺庫存數據,記錄不一致情況
4. 循環反饋:發現問題反饋給相關部門整改,整改后重新評估
數據質量提升采取措施提升數據質量1. 問題修復:通過與業務系統日志和財務數據比對,補全缺失訂單金額解決已發現的數據質量問題,提高整體數據質量水平
2. 流程優化:優化客服錄入客戶地址界面,增加自動聯想和校驗功能
3. 培訓教育:組織客服參加數據錄入規范培訓,強調正確錄入的重要性
數據交付使用將數據投入業務使用并持續監控1. 數據交付:把高質量數據提供給業務部門,如營銷部門用準確客戶數據開展精準營銷,物流部門用完整訂單數據安排配送讓數據發揮實際價值,支持企業決策和業務運營,保障數據質量持續穩定
2. 持續監控:在數據使用過程中持續監測質量,確保滿足業務需求

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/83111.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/83111.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/83111.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

前端實現圖片壓縮:基于 HTML5 File API 與 Canvas 的完整方案

在 Web 開發中,處理用戶上傳的圖片時,前端壓縮可以有效減少服務器壓力并提升上傳效率。本文將詳細講解如何通過<input type="file">實現圖片上傳,結合 Canvas 實現圖片壓縮,并實時展示壓縮前后的圖片預覽和文件大小對比。 一、核心功能架構 我們將實現以…

通信算法之280:無人機偵測模塊知識框架思維導圖

1. 無人機偵測模塊知識框架思維導圖, 見文末章節。 2. OFDM參數估計,基于循環自相關特性。 3. 無人機其它參數估計

單片機寄存器的四種主要類型!

1. 控制寄存器&#xff08;Control Registers&#xff09;?? ??專業定義??&#xff1a;用于配置硬件行為或觸發操作的寄存器。 ??大白話??&#xff1a; 相當于設備的??“控制面板”??&#xff0c;通過寫入特定值來??開關功能??或??調整參數??。例如&am…

第100+41步 ChatGPT學習:R語言實現誤判病例分析

本期是《第33步 機器學習分類實戰&#xff1a;誤判病例分析》的R版本。 嘗試使用Deepseek-R1來試試寫代碼&#xff0c;效果還不錯。 下面上R語言代碼&#xff0c;以Xgboost為例&#xff1a; # 加載必要的庫 library(caret) library(pROC) library(ggplot2) library(xgboost)…

HTML Day04

Day04 0.引言1. HTML字符實體2. HTML表單2.1 表單標簽2.2 表單示例 3. HTML框架4. HTML顏色4.1 16進制表示法4.2 rgba表示法4.3 名稱表達法 5. HTML腳本 0.引言 剛剛回顧了前面幾篇博客&#xff0c;感覺寫的內容倒是很詳細&#xff0c;每個知識點都做了說明。但是感覺在知識組織…

comfyui 工作流中 視頻長度和哪些參數有關? 生成15秒的視頻,再加上RTX4060 8G顯卡,嘗試一下

想再消費級顯卡上生成15秒長視頻&#xff0c;還是比較慢的&#xff0c;不過動漫的畫質要求比較低 在ComfyUI中生成15秒視頻需綜合考慮視頻參數配置、模型選擇和硬件優化&#xff0c;尤其針對RTX 4060 8G顯存的限制。 ?? 一、影響視頻長度的核心參數 總幀數&#xff08;video_…

Netty 實戰篇:構建高性能聊天服務器

在前兩篇文章中&#xff0c;我們深入探討了 Netty 的 IO 模型以及其核心組件的工作原理。本篇文章將通過一個實際的聊天服務器示例&#xff0c;展示如何使用 Netty 構建高性能的網絡應用。 一、項目結構 項目主要包含以下幾個部分&#xff1a; ChatServer&#xff1a;服務器啟…

智紳科技——科技賦能健康養老,構建智慧晚年新生態

當老齡化浪潮與數字技術深度碰撞&#xff0c;智紳科技以 “科技賦能健康&#xff0c;智慧守護晚年” 為核心理念&#xff0c;錨定數字健康與養老服務賽道&#xff0c;通過人工智能、物聯網、大數據等技術集成&#xff0c;為亞健康群體與中老年人群構建 “監測 - 預防 - 輔助 - …

Tkinter軟件——顯示txt標簽的目標水平邊框圖像

代碼&#xff1a; import tkinter as tk from tkinter import filedialog from tkinter import messagebox import cv2 from PIL import Image, ImageTk import osclass ImageBoxApp:def __init__(self, master):self.master masterself.master.title("Image Box Drawer…

Linux 文件覆蓋機制與實踐:以 mv 命令為切入點

引言&#xff1a;文件覆蓋的本質 文件覆蓋是 Linux 文件系統中常見的操作&#xff0c;指的是在目標路徑已存在文件的情況下&#xff0c;將源文件的內容寫入目標文件&#xff0c;導致目標文件的原有內容被替換。在 Linux 中&#xff0c;文件覆蓋通常通過命令行工具&#xff08;…

學習路之PHP--easyswoole操作數據庫

學習路之PHP--easyswoole操作數據庫 0、安裝orm插件一、創建數據庫二、創建模型三、控制器顯示四、效果五、問題 0、安裝orm插件 composer require easyswoole/orm一、創建數據庫 表&#xff1a; CREATE TABLE cases (id int(11) NOT NULL AUTO_INCREMENT COMMENT 主鍵,titl…

手寫multi-head Self-Attention,各個算子詳細注釋版

文章目錄 MultiHeadAttentionFormal的實現操作詳解1. &#x1f50d; attention_mask2. &#x1f50d; matmul? 其他實現方式1. 使用 運算符&#xff08;推薦簡潔寫法&#xff09;2. 使用 torch.einsum()&#xff08;愛因斯坦求和約定&#xff09;3. 使用 torch.bmm()&#xf…

尚硅谷redis7 41-46 redis持久化之AOF異常恢復演示

AOF每一秒鐘寫入一次。當內容才寫了一小半,沒有寫完整時&#xff0c;突然,redis掛了,導致aof文件錯誤。 故意亂寫正常的AOF文件,模擬網絡閃斷文件寫error 重啟 Redis 之后就會進行AOF文件的載入,發現啟動都失敗 首先cd /usr/local/bin 異常修復命令:redis-check-aof -- fix 進…

004時裝購物系統技術解析:構建智能時尚消費平臺

時裝購物系統技術解析&#xff1a;構建智能時尚消費平臺 在電商行業蓬勃發展的當下&#xff0c;時裝購物系統憑借其便捷性與多樣性&#xff0c;成為消費者選購時尚單品的重要渠道。該系統通過商品信息、訂單管理等核心模塊&#xff0c;結合前臺展示與后臺錄入功能&#xff0c;…

數據湖 (特點+與數據倉庫和數據沼澤的對比講解)

數據湖就像一個“數據水庫”&#xff0c;把企業所有原始數據&#xff08;結構化的表格、半結構化的日志、非結構化的圖片/視頻&#xff09;原樣存儲&#xff0c;供后續按需分析。 對比傳統數據倉庫&#xff1a; 數據倉庫數據湖數據清洗后的結構化數據&#xff08;如Excel表格&…

深度剖析Node.js的原理及事件方式

早些年就接觸過Node.js&#xff0c;當時對于這個連接前后端框架就感到很特別。尤其是以獨特的異步阻塞特性&#xff0c;重塑了了服務器端編程的范式。后來陸陸續續做了不少項目&#xff0c;通過實踐對它或多或少增強了不少理解。今天&#xff0c;我試著將從將從原理層剖析其運行…

【AI預測】5月30日尼克斯大戰前瞻:東部黑馬能否再下一城?

&#x1f3c0; 隨著賽季進入白熱化階段&#xff0c;5月30日尼克斯的這場比賽注定焦點十足。作為東部近年來少有的“黑馬型”球隊&#xff0c;尼克斯用硬朗的防守和團隊配合讓人重新認識了這支老牌勁旅。 這篇文章&#xff0c;我們將從數據模型球員表現戰術執行力三個維度&…

人工智能賦能基礎教育個性化學習的理論建構與實踐探索

一、引言 1.1 研究背景與意義 隨著科技的飛速發展&#xff0c;人工智能&#xff08;Artificial Intelligence&#xff0c;AI&#xff09;已逐漸成為推動社會進步的重要力量。在教育領域&#xff0c;人工智能的應用正逐步改變傳統的教學模式&#xff0c;為個性化學習提供了新…

歷年四川大學計算機保研上機真題

2025四川大學計算機保研上機真題 2024四川大學計算機保研上機真題 2023四川大學計算機保研上機真題 在線測評鏈接&#xff1a;https://pgcode.cn/school 分數求和 題目描述 有一分數序列&#xff1a; 2 / 1 2/1 2/1, 3 / 2 3/2 3/2, 5 / 3 5/3 5/3, 8 / 5 8/5 8/5, 13 /…

正點原子Z15I ZYNQ 開發板發布!板載PCIe2.0、SPFx2、MIPI CSI等接口,資料豐富!

正點原子Z15I ZYNQ 開發板發布&#xff01;板載PCIe2.0、SPFx2、MIPI CSI等接口&#xff0c;資料豐富&#xff01; 正點原子Z15I ZYNQ開發板&#xff0c;核心板全工業級設計&#xff0c;主控芯片的型號是XC7Z015CLG485-2I。開發板由核心板&#xff0b;底板組成&#xff0c;外設…