之前的文章討論過數據分析、數據治理、數據倉庫等等,即使是非業內人員從字面意思,也是可以了解一二的,但是,很多人對于元數據可能就比較陌生了。那么,今天我們就來聊一聊元數據管理。
- 數據倉庫
要說元數據,那就離不開數據倉庫。
數據倉庫是一個面向主題的、集成的、隨時間變化但信息本身相對穩定的數據集合,用于支持管理決策過程。其本質就是完成從面向業務過程數據的組織管理到面向業務分析數據的組織和管理的轉變過程,也是商業智能BI中數據倉庫的主要作用。
數據倉庫 - 派可數據商業智能BI可視化分析平臺
數據倉庫就像企業的總的大倉庫,能夠存儲不同來源、不同格式的數據,并且可以通過ETL和數據模型,對數據進行高質量的篩選,分級分類進行存儲。具有很強的穩定性,不會頻繁的進行增刪改等操作,能夠反應歷史變化。
用通俗的話來說就是數據倉庫就像一個終端的大倉庫,其他小倉庫的各種貨品會通過各種方式統一存儲到這里,然后通過倉庫位置的劃分、貨品的擺放進行歸納分類,實現規范、標準的從存放,到分類,再到使用的完整過程。
- 元數據的定義
簡而言之,元數據就是數據的數據。在數據倉庫系統中,元數據可以幫助數據倉庫管理員和數據倉庫的開發人員非常方便地找到他們所關心的數據;元數據是描述數據倉庫內數據的結構和建立方法的數據,可將其按用途的不同分為兩類:技術元數據和業務元數據。
●業務元數據從業務角度描述了數據倉庫中的數據,它提供了介于使用者和實際系統之間的語義層,使得不懂計算機技術的業務人員也能夠“讀懂”數據倉庫中的數據。
●技術元數據是存儲關于數據倉庫系統技術細節的數據,是用于開發和管理數據倉庫使用的數據。
元數據 - 派可數據商業智能BI可視化分析平臺
- 元數據的應用場景
1、血緣關系:提供實時血緣查詢能力,解決數據來源不容易確定、難以評估數據變動造成的影響等問題。
2、元數據查詢:開發平臺、指標模型管理、商業智能BI工具等通過元數據服務查詢庫表信息。
3、資產管理:通過系統采集的元數據信息,對數據資產進行集中管理,設置生命周期、安全等級等關鍵屬性。
4、影響分析:支持查詢當前節點全部下游,支持變更通知模塊根據影響范圍進行變更消息的發送。
5、價值評估:數據資產價值評估模型通過元數據中心提供的豐富的元數據得以落地。
可視化分析- 派可數據商業智能BI可視化分析平臺
四、元數據管理的挑戰
日趨復雜的數據環境,隨著越來越多的非結構化、半結構化數據滲透到企業的數字環境中,采用傳統的元數據管理方式來采集、處理和檢索元數據,尤其是在處理復雜的數據關系時,雖然人們很容易根據認知關聯來判斷兩個或多個事物是否相關,但目前的元數據管理工具卻常常無法做到。
企業的數據是在數據供應鏈中不斷移動的。這里所說的數據供應鏈,是指從數據創建到數據的加工處理、存儲使用的整個生命周期鏈條。隨著數據的不斷創建、抽取和轉換,有關數據來源、血緣、轉換過程、質量級別以及與其他數據的關系的元數據也會隨時變化。
數據分析- 派可數據商業智能BI可視化分析平臺
元數據管理能夠增強數據理解,是企業內部IT和業務部門的紐帶,做好元數據管理能夠在企業內部追溯業務指標,報表數據來源,同時也能敏捷的應對企業數據分析的需求。