? ? ? ? 隨著企業信息化系統的快速建設,以及物聯網的規模化的應用,企業數據規模快速增長,與之同時企業數據的治理模式仍然以傳統的治理方式為主,ChatGPT等人工智能的崛起正深刻改變著數據治理的思路,如何將AI技術引入企業數據治理中,提升數據治理水平和數據質量,賦能企業發展,是后續數據治理研究和探索的主要方向,拋轉引玉。
一、企業數據治理面臨的三個挑戰
? ? ? ?首先企業對體系化的數據治理方案有著迫切的需求,希望通過數據治理解決企業在數據質量、數據融合、數據應用中由于數據的原因造成的影響;其次是期望通過科學的治理方案,解決數據治理難題,數據賦能,降本增效;最后是在技術層面,通過模式創新,如引入AI技術等,建成企業可迭代的、長效的數據治理底座,提升數據治理水平,確保數據的質量、安全性和合規性,同時提高數據的可用性和業務價值。
二、人工智能大發展背景下數據治理的三點思考
? ? ? ? 人工智能模型通用性的增強和交互方式的簡化、實施成本的降低,可以預見人工智能將在數據治理中發揮更為重要的作用,讓人工智能成為智能伙伴,為數據治理策略的制定提供更為智能化、科學化的建議,讓數據治理將逐漸向人工智能主導、人工輔助的模式演進,實現更高效、自適應的數據管理。
其一、從企業全局視角通盤規劃基于人工智能的數據治理體系。
? ? ? ? 數據治理要在傳統的模式下有創新與突破,不能只關注數據的收集和存儲,而是要從數據的采集、入庫、治理、應用、調整和退網等數據全生命周期規劃數據治理體系,數據治理的范圍不再局限于屬性與實體關聯關系等傳統的數據對不對、全不全、準不準的治理思路,而是進一步借助AI人工智能的能力從數據視角挖掘數據對生產的驅動力。
(1)數據采集方面,對實時數據質量進行監控,借助AI分析實時數據質量,提前發現并糾正數據質量問題,把好數據采集關;通過智能化采集策略,利用AI技術識別和收集捕獲多源數據,如圖像、音頻、圖片等,提升數據收集效率。
(2)數據入庫方面,依托元數據管理能力,利用AI追蹤和管理數據的元信息,提高數據可理解性和可發現性。建設自動化入庫能力,利用AI優化支撐數據入庫,自動進行清洗、去重和標準化,確保數據入庫的高質量和一致性、自動化。
(3)數據治理方面,探索智能化質量管理方法,AI分析數據,識別和修復潛在的數據質量問題,確保數據的準確性和完整性。在安全與隱私方面,利用AI識別潛在的安全風險和隱私問題,并制定智能安全策略,確保數據合規性、安全性。
(4)數據應用方面,借助AI技術進行數據智能分析與挖掘,提供深度洞察和預測性分析;利用AI為用戶提供個性化的數據應用建議,提高數據的實際應用價值。
(5)數據退網方面,利用AI自動識別和清理不再需要的數據,確保數據退網的高效和安全;借助AI進行數據退網的合規性審計,確保符合相關法規和政策。
????????數據治理要全覆蓋,堅持應用驅動數據質量提升,促進應用與數據的融合發展,理順數據在生產全流程中的順暢流動,通過人工智能技術提升、數據質量賦能企業發展。
????????典型的應用場景如對運營商網絡資源數據全生命周期的體系化治理方案,從網絡資源規劃、建設、入網、調度以及退網全程端到端,通過在各個治理維度中針對性的引入AI人工智能力能,預期可大幅度提升數據質量,進而提升網絡利用率,識別網絡隱患與風險,并有效保障網絡運維與業務開通可靠運行。
其二、數據治理模式采用傳統、人工智能相融合的治理模式,重點突破。
????????人工智能對數據治理的影響越來越明顯,這是行業的共識。如何提高了人工智能在數據治理中的應用并發揮更大的作用,使數據治理逐漸轉向人工智能主導,人工輔助的模式。
????????高質量的數據一直是人工智能成功的先決條件和瓶頸,但隨著人工智能的發展,AIGC的出現減少了對大量數據樣本的需求,形成數智反向融合的趨勢,使得人工智能能夠更好地理解、處理和分析海量的數據,從而減輕了人工處理工作量。隨著模型通用性的增強和交互方式的簡化,人工智能在數據治理中的作用將進一步擴大。
????????企業數據治理中,通過典型的人工智能應用場景,重點突破后,進而全面推動人工智能在數據治理中的應用。
????????結合運營商資源業務場景,舉例說明人工智能在數據治理中的具體應用場景。
????????在數據采集階段,通過提供現場照片和視頻,使用深度學習神經網絡技術,如Yolo模型等,智能識別圖片、視頻等素材中的網絡資源現場信息,進而自動識別入庫。通過語音識別,結合大模型技術,采集語音上報的信息關入庫。
????????異常數據監測和檢測技術,可以用于最難識別和治理的資源數據場景,如資源屬性與關聯關系都是正確的,但數據本身卻是異常的,以前此類數據主要靠人工識別,但通過如支持向量機、K-Means等聚類算法,通過對數據進行分類、分割與異常檢測,可以較好的解決上面的難題。
????????網絡資源規劃方面,規劃人員需要更多的預測規劃資源的使用趨勢,以便更合理的規劃資源,滿足在指定時間段內的資源需求。對于此類需求,可以通過對相似資源數據建立回歸模型,如Linear Regression、Logistic Regression等,來預測資源數據使用趨勢,滿足對網絡更合理的規劃。
????????對于海量網絡資源數據檢索方面,通過使用樸素貝葉斯,對資源中的文本信息進行分類、標注和檢索,達到數據的快速檢索目標。
????????針對具體的場景和具體的數據,需要有針對性的選擇最合理的模型與算法,達到數據治理的目標,也可以使用多種算法,綜合、橫向聯動評估,提升數據治理水平。
第三、通過人工智能建設長效的數據治理機制
????????人工智能支撐下的數據治理,通過這種治理模式的創新,如引入AI技術等,逐步建成企業可迭代的、長效的數據治理底座,提升數據治理水平,提高數據的可用性和業務價值。
????????首先,通過引入AI技術,企業可以實現對大規模數據的自動化處理和分析。AI技術可以幫助企業識別和糾正數據中的錯誤或異常,從而提高數據的質量。此外,AI還可以用于實時監控數據的安全性和合規性,及時發現并應對潛在的風險。
????????其次,通過建立可迭代的數據治理底座,企業可以持續改進和優化數據治理流程。隨著業務的發展和技術的變化,數據治理的需求也會不斷變化。因此,企業需要建立一個靈活的數據治理框架,能夠快速適應新的需求和挑戰。
????????另外,通過提高數據的可用性和業務價值,企業可以更好地利用數據來支持決策和創新。數據的價值在于其被有效利用的能力。通過建立高效的數據管道和數據分析平臺,企業可以更快速地獲取和利用數據,從而為業務提供更準確的洞察和支持。
????????總之,通過引入AI技術等創新模式,企業可以建立一個可迭代的、長效的數據治理底座,提升數據治理水平,確保數據的質量、安全性和合規性,同時提高數據的可用性和業務價值。這將為企業帶來更好的競爭優勢和發展機會。
????????綜上,在面對企業新的數據治需求和傳統治理模式的局限性時,引入AI技術成為提升數據治理水平和數據質量的重要途徑。通過將AI技術應用于企業數據治理中,可以實現自動化、智能化的數據處理和分析,從而提高數據的準確性和可靠性。同時,AI技術還可以幫助企業發現潛在的數據風險和異常情況,提前進行預警和干預,保障數據的安全性和合規性。因此,探索如何將AI技術引入企業數據治理中,并將其與傳統的數據治理方式相結合,是推動企業發展的重要方向。只有不斷提升數據治理水平和數據質量,才能更好地利用數據為企業發展賦能,迎接未來的挑戰。