人工智能技術在數據治理中的一些思考

? ? ? ? 隨著企業信息化系統的快速建設,以及物聯網的規模化的應用,企業數據規模快速增長,與之同時企業數據的治理模式仍然以傳統的治理方式為主,ChatGPT等人工智能的崛起正深刻改變著數據治理的思路,如何將AI技術引入企業數據治理中,提升數據治理水平和數據質量,賦能企業發展,是后續數據治理研究和探索的主要方向,拋轉引玉。

一、企業數據治理面臨的三個挑戰

? ? ? ?首先企業對體系化的數據治理方案有著迫切的需求,希望通過數據治理解決企業在數據質量、數據融合、數據應用中由于數據的原因造成的影響;其次是期望通過科學的治理方案,解決數據治理難題,數據賦能,降本增效;最后是在技術層面,通過模式創新,如引入AI技術等,建成企業可迭代的、長效的數據治理底座,提升數據治理水平,確保數據的質量、安全性和合規性,同時提高數據的可用性和業務價值。

二、人工智能大發展背景下數據治理的三點思考

? ? ? ? 人工智能模型通用性的增強和交互方式的簡化、實施成本的降低,可以預見人工智能將在數據治理中發揮更為重要的作用,讓人工智能成為智能伙伴,為數據治理策略的制定提供更為智能化、科學化的建議,讓數據治理將逐漸向人工智能主導、人工輔助的模式演進,實現更高效、自適應的數據管理。

其一、從企業全局視角通盤規劃基于人工智能的數據治理體系

? ? ? ? 數據治理要在傳統的模式下有創新與突破,不能只關注數據的收集和存儲,而是要從數據的采集、入庫、治理、應用、調整和退網等數據全生命周期規劃數據治理體系,數據治理的范圍不再局限于屬性與實體關聯關系等傳統的數據對不對、全不全、準不準的治理思路,而是進一步借助AI人工智能的能力從數據視角挖掘數據對生產的驅動力。

(1)數據采集方面,對實時數據質量進行監控,借助AI分析實時數據質量,提前發現并糾正數據質量問題,把好數據采集關;通過智能化采集策略,利用AI技術識別和收集捕獲多源數據,如圖像、音頻、圖片等,提升數據收集效率。

(2)數據入庫方面,依托元數據管理能力,利用AI追蹤和管理數據的元信息,提高數據可理解性和可發現性。建設自動化入庫能力,利用AI優化支撐數據入庫,自動進行清洗、去重和標準化,確保數據入庫的高質量和一致性、自動化。

(3)數據治理方面,探索智能化質量管理方法,AI分析數據,識別和修復潛在的數據質量問題,確保數據的準確性和完整性。在安全與隱私方面,利用AI識別潛在的安全風險和隱私問題,并制定智能安全策略,確保數據合規性、安全性。

(4)數據應用方面,借助AI技術進行數據智能分析與挖掘,提供深度洞察和預測性分析;利用AI為用戶提供個性化的數據應用建議,提高數據的實際應用價值。

(5)數據退網方面,利用AI自動識別和清理不再需要的數據,確保數據退網的高效和安全;借助AI進行數據退網的合規性審計,確保符合相關法規和政策。

????????數據治理要全覆蓋,堅持應用驅動數據質量提升,促進應用與數據的融合發展,理順數據在生產全流程中的順暢流動,通過人工智能技術提升、數據質量賦能企業發展。

????????典型的應用場景如對運營商網絡資源數據全生命周期的體系化治理方案,從網絡資源規劃、建設、入網、調度以及退網全程端到端,通過在各個治理維度中針對性的引入AI人工智能力能,預期可大幅度提升數據質量,進而提升網絡利用率,識別網絡隱患與風險,并有效保障網絡運維與業務開通可靠運行。

其二、數據治理模式采用傳統、人工智能相融合的治理模式,重點突破。

????????人工智能對數據治理的影響越來越明顯,這是行業的共識。如何提高了人工智能在數據治理中的應用并發揮更大的作用,使數據治理逐漸轉向人工智能主導,人工輔助的模式。

????????高質量的數據一直是人工智能成功的先決條件和瓶頸,但隨著人工智能的發展,AIGC的出現減少了對大量數據樣本的需求,形成數智反向融合的趨勢,使得人工智能能夠更好地理解、處理和分析海量的數據,從而減輕了人工處理工作量。隨著模型通用性的增強和交互方式的簡化,人工智能在數據治理中的作用將進一步擴大。

????????企業數據治理中,通過典型的人工智能應用場景,重點突破后,進而全面推動人工智能在數據治理中的應用。

????????結合運營商資源業務場景,舉例說明人工智能在數據治理中的具體應用場景。

????????在數據采集階段,通過提供現場照片和視頻,使用深度學習神經網絡技術,如Yolo模型等,智能識別圖片、視頻等素材中的網絡資源現場信息,進而自動識別入庫。通過語音識別,結合大模型技術,采集語音上報的信息關入庫。

????????異常數據監測和檢測技術,可以用于最難識別和治理的資源數據場景,如資源屬性與關聯關系都是正確的,但數據本身卻是異常的,以前此類數據主要靠人工識別,但通過如支持向量機、K-Means等聚類算法,通過對數據進行分類、分割與異常檢測,可以較好的解決上面的難題。

????????網絡資源規劃方面,規劃人員需要更多的預測規劃資源的使用趨勢,以便更合理的規劃資源,滿足在指定時間段內的資源需求。對于此類需求,可以通過對相似資源數據建立回歸模型,如Linear Regression、Logistic Regression等,來預測資源數據使用趨勢,滿足對網絡更合理的規劃。

????????對于海量網絡資源數據檢索方面,通過使用樸素貝葉斯,對資源中的文本信息進行分類、標注和檢索,達到數據的快速檢索目標。

????????針對具體的場景和具體的數據,需要有針對性的選擇最合理的模型與算法,達到數據治理的目標,也可以使用多種算法,綜合、橫向聯動評估,提升數據治理水平。

第三、通過人工智能建設長效的數據治理機制

????????人工智能支撐下的數據治理,通過這種治理模式的創新,如引入AI技術等,逐步建成企業可迭代的、長效的數據治理底座,提升數據治理水平,提高數據的可用性和業務價值。

????????首先,通過引入AI技術,企業可以實現對大規模數據的自動化處理和分析。AI技術可以幫助企業識別和糾正數據中的錯誤或異常,從而提高數據的質量。此外,AI還可以用于實時監控數據的安全性和合規性,及時發現并應對潛在的風險。

????????其次,通過建立可迭代的數據治理底座,企業可以持續改進和優化數據治理流程。隨著業務的發展和技術的變化,數據治理的需求也會不斷變化。因此,企業需要建立一個靈活的數據治理框架,能夠快速適應新的需求和挑戰。

????????另外,通過提高數據的可用性和業務價值,企業可以更好地利用數據來支持決策和創新。數據的價值在于其被有效利用的能力。通過建立高效的數據管道和數據分析平臺,企業可以更快速地獲取和利用數據,從而為業務提供更準確的洞察和支持。

????????總之,通過引入AI技術等創新模式,企業可以建立一個可迭代的、長效的數據治理底座,提升數據治理水平,確保數據的質量、安全性和合規性,同時提高數據的可用性和業務價值。這將為企業帶來更好的競爭優勢和發展機會。

????????綜上,在面對企業新的數據治需求和傳統治理模式的局限性時,引入AI技術成為提升數據治理水平和數據質量的重要途徑。通過將AI技術應用于企業數據治理中,可以實現自動化、智能化的數據處理和分析,從而提高數據的準確性和可靠性。同時,AI技術還可以幫助企業發現潛在的數據風險和異常情況,提前進行預警和干預,保障數據的安全性和合規性。因此,探索如何將AI技術引入企業數據治理中,并將其與傳統的數據治理方式相結合,是推動企業發展的重要方向。只有不斷提升數據治理水平和數據質量,才能更好地利用數據為企業發展賦能,迎接未來的挑戰。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/206964.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/206964.shtml
英文地址,請注明出處:http://en.pswp.cn/news/206964.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

C++新經典模板與泛型編程:用成員函數重載實現std::is_convertible

用成員函數重載實現is_convertible C標準庫中提供的可變參類模板std::is_convertible,這個類模板的主要能力是判斷能否從某個類型隱式地轉換到另一個類型,返回的是一個布爾值true或false。例如,一般的從int轉換成float或從float轉換成int&am…

使用Plex結合cpolar搭建本地私人媒體站并實現遠程訪問

文章目錄 1.前言2. Plex網站搭建2.1 Plex下載和安裝2.2 Plex網頁測試2.3 cpolar的安裝和注冊 3. 本地網頁發布3.1 Cpolar云端設置3.2 Cpolar本地設置 4. 公網訪問測試5. 結語 1.前言 用手機或者平板電腦看視頻,已經算是生活中稀松平常的場景了,特別是各…

劇本殺小程序搭建:打造線上劇本殺新體驗

劇本殺是一款以角色扮演為主的游戲,一度成為了年輕人的最喜愛的社交游戲。在劇本殺市場需求下,劇本殺規模也迅速上升。今年第一季度,劇本殺市場規模環比增長47%,市場整體消費水平逐漸呈上升趨勢。 隨著劇本殺的不斷發展&#xff…

echarts繪制一個環形圖2

其他echarts&#xff1a; echarts繪制一個環形圖 echarts繪制一個柱狀圖&#xff0c;柱狀折線圖 echarts繪制一個餅圖 效果&#xff1a; 組件代碼&#xff1a; <template><div class"wrapper"><div ref"doughnutChart2" id"dough…

ORACLE數據庫實驗總集 實驗六 SQL 語句應用

一、 實驗目的 &#xff08;1&#xff09; 掌握數據的插入&#xff08;INSERT&#xff09;、 修改&#xff08;UPDATE&#xff09; 和刪除&#xff08;DELETE&#xff09; 操作。 &#xff08;2&#xff09; 掌握不同類型的數據查詢&#xff08;SELECT&#xff09; 操作。 二、…

阿里滴滴之后,騰訊視頻也崩了!網友追問:下一個是誰?

繼滴滴“崩了”一夜后&#xff0c;剛過去不到一周時間&#xff0c;互聯網“崩了”連續劇又迎來了續集。 就在剛剛&#xff0c;也是晚間時分&#xff0c;網友曝出騰訊視頻崩了&#xff0c;不能追劇了。接著&#xff0c;騰訊視頻官方便現身回應&#xff0c;坐實了傳聞。 還是同…

JVM虛擬機:如何查看JVM初始和最終的參數?

本文重點 在前面的課程中&#xff0c;我們學習了如何查看當前程序所處于的xx參數&#xff0c;本文再介紹一種如何參看JVM的xx參數&#xff1f; 查看JVM的所有初始化參數 方式一&#xff1a;java -XX:PrintFlagsInitial 方式二&#xff1a;java -XX:PrintFlagsInitial -versio…

【自學篇】Python篇-第一天溫度轉換

1、規則 輸入 華氏度 轉換為 攝氏度 輸入 攝氏度 轉換為 華氏度 轉換公式&#xff1a; 華氏度 攝氏度 * 1.8 32 攝氏度 &#xff08;華氏度32 &#xff09;/1.8 2、python代碼 TempStr input() if TempStr[-1] in [F,f]:print("轉換后的溫度值&#xff1a;{:.2f}C&…

淺談Elasticsearch備份和恢復

Elasticsearch 備份和恢復功能 Elasticsearch 是一個分布式搜索和分析引擎&#xff0c;廣泛應用于各種場景&#xff0c;如日志分析、全文搜索和實時數據處理。在使用 Elasticsearch 時&#xff0c;數據的安全和可用性至關重要。本文將詳細講解 Elasticsearch 的備份和恢復功能…

Uncle Maker: (Time)Stamping Out The Competition in Ethereum

目錄 筆記后續的研究方向摘要引言貢獻攻擊的簡要概述 Uncle Maker: (Time)Stamping Out The Competition in Ethereum CCS 2023 筆記 本文對以太坊 1 的共識機制進行了攻擊&#xff0c;該機制允許礦工獲得比誠實同行更高的挖礦獎勵。這種名為“Uncle Maker”的攻擊操縱區塊時間…

mysql數據庫中int字段長度,即int(1)和int(10)的區別

1.起因 為什么想起來看這個問題&#xff0c;是最近有同事問mysql的init類型的字段長度的問題&#xff0c;他問int(1)和int(10)是什么意思&#xff0c;是字段長度越大&#xff0c;能存儲的數字越大么&#xff1f;咋一問&#xff0c;還有點懵&#xff0c;從慣性思維來看&#xf…

React 中虛擬DOM是什么,為什么需要它?

注意&#xff1a;本節主要講React中的虛擬DOM&#xff0c;但是虛擬DOM并不是React中特有的內容。 1. React 中虛擬 DOM是什么&#xff1f; 虛擬DOM是對真實DOM的描述&#xff0c;虛擬DOM是JS對象&#xff0c;實際上就是 JSX 通過 babel 轉換成 React.createElement()&#xff…

8.3 C++11對Unicode的支持

一、C11對Unicode的支持 在C98中&#xff0c;引入wchar_t對Unicode支持&#xff0c;但是后來由于不同平臺下wchar_t的寬度并不相同(8,16,32位)&#xff0c;導致可移植性受到影響。因此從C11開始引入了char16_t、char32_t以及原有的char&#xff0c;分別存儲utf16&#xff0c;u…

邊緣端部署的典型目標識別網絡

邊緣端&#xff08;Edge&#xff09;部署深度學習目標檢測網絡通常涉及到在資源受限的設備上執行模型推斷。這里有一些邊緣端部署深度學習目標檢測網絡的常見策略和技術&#xff1a; 輕量化模型&#xff1a; 選擇或設計輕量級的深度學習模型&#xff0c;例如MobileNet、Squeez…

來自OpenAI的官方解釋:ChatGPT中的GPTs與Assistants API的區別是什么?有什么差異?

本文原文來自DataLearnerAI的官方網站&#xff1a; 來自OpenAI的官方解釋&#xff1a;ChatGPT中的GPTs與Assistants API的區別是什么&#xff1f;有什么差異&#xff1f; | 數據學習者官方網站(Datalearner)https://www.datalearner.com/blog/1051701996595465 OpenAI發布的產…

圖解算法數據結構-LeetBook-查找01_第一個只出現一次的字符

某套連招動作記作僅由小寫字母組成的序列 arr&#xff0c;其中 arr[i] 第 i 個招式的名字。請返回第一個只出現一次的招式名稱&#xff0c;如不存在請返回空格。 示例 1&#xff1a; 輸入&#xff1a;arr “abbccdeff” 輸出&#xff1a;‘a’ 示例 2&#xff1a; 輸入&…

3D Web輕量引擎HOOPS Communicator如何實現對大模型的渲染支持?

除了讀取輕松外&#xff0c;HOOPS Communicator對超大模型的支持效果也非常好&#xff0c;它可以支持30GB的包含70萬個零件和3.5億個三角面的Catia裝配模型&#xff01; 那么它是如何來實現對大模型的支持呢&#xff1f; 我們將從以下幾個方面與大家分享&#xff1a;最低幀率…

python核心階段(五)—— 面向對象三大特性

1.封裝 概念&#xff1a;封裝主要是指將一些屬性和相關方法封裝在一個對象中&#xff0c;對外隱藏內部具體實現細節 作用&#xff1a;1&#xff09;使用起來更加方便&#xff0c;類似于提供了一個工具箱 2&#xff09;保證數據的安全&#xff08;設置私有屬性&#xff09; 3&am…

高精度加法,減法,乘法,除法(下)(C語言)

前言 上一篇博客我們分享了高精度加法&#xff0c;減法,這一期我將為大家講解高精度乘法和高精度除法。那讓我們開始吧&#xff01; 對加法和減法感興趣的話就點我 文章目錄 1&#xff0c;乘法2&#xff0c;除法3&#xff0c;尾聲 1&#xff0c;乘法 讓我們想想我們平時做數學…

openpyxl讀取Excel文件忽略單元格公式僅讀取所顯示的值

目錄 前言解決方案先不加&#xff1a;看讀取信息加上參數&#xff1a;看讀取信息完整代碼 前言 我們在讀取Excel文件時&#xff0c;假如某行或者某列是利用公式生成的&#xff0c;但是我們在利用openpyxl進行讀取時&#xff0c;發現讀取到的是公式&#xff0c;而非顯示的值 解…