數字化轉型:概念性名詞淺談(第四講)

?大家好,本篇文章是在新年之際寫的,所以在這里先給大家拜個年。

今天要介紹的名詞為ETL:

ETL,是英文Extract-Transform-Load的縮寫,用來描述將數據從來源端經過抽取(extract)、轉換(transform)、加載(load)至目的端的過程。ETL一詞較常用在數據倉庫,但其對象并不限于數據倉庫。

ETL常用于大數據和數據治理的過程中,對于2025年來說,數據資產已經越來越重要,因為數據在未來將會驅動一切,來代替人來做判斷。

常與ETL一起出現的還有ELT:

ELT是利用數據庫的處理能力,E=從源數據庫抽取數據,L=把數據加載到目標庫的臨時表中,T=對臨時表中的數據進行轉換,然后加載到目標庫目標表中。

這兩個名詞常常會和BI一起出現使用,BI為:

商業智能(Business Intelligence,簡稱:BI),又稱商業智慧或商務智能,指用現代數據倉庫技術、線上分析處理技術、數據挖掘和數據展現技術進行數據分析以實現商業價值。

商業智能的概念在1996年最早由加特納集團(Gartner Group)提出,加特納集團將商業智能定義為:商業智能描述了一系列的概念和方法,通過應用基于事實的支持系統來輔助商業決策的制定。商業智能技術提供使企業迅速分析數據的技術和方法,包括收集、管理和分析數據,將這些數據轉化為有用的信息,然后分發到企業各處。

數據質量與商業智能

數據質量角色

對于增強數據資產準確度和價值而言,將數據質量規則與活動(探查、清洗和監測)和MDM流程相集成顯得十分關鍵。在啟動任何MDM項目之前,您都需要了解源數據的內容、質量和結構。在數據源進行的數據探查使數據管理員和數據倉庫管理員能夠在數據進入MDM系統之前,快速發現和分析跨所有數據源的所有數據異常。此流程可極大加快從MDM實施中獲取價值。

由于數據清洗增強了數據的準確度,帶來了數據完整性,并從源頭增進了數據的可信度,因此數據清洗改善了MDM系統中的數據一致性。一旦源數據進入MDM系統,它將接受數據質量處理,其中包括驗證、更正和標準化。MDM系統存儲了在數據清洗前后的整個歷史記錄,從而開發人員不必再跟蹤數據倉庫中的數據沿襲。

最后,數據質量度量標準使數據倉庫管理員能夠更好地監控參考數據的質量,并確保可以長期持續使用高質量的數據。

因此,從技術角度看,實施MDM和Informatica Data Quality,作為數據倉庫中主數據的確定來源,可以從提取、轉換和加載(ETL)流程中簡化數據集成。此方法可極大減低與數據倉庫有關的整個開發和維護工作。通過建立數據質量度量標準和定義數據質量目標,數據倉庫管理員和數據管理員能夠更好地監控參考數據的質量,并確保隨著時間的推移能夠跨企業持續使用高質量的數據。MDM簡化了對數據倉庫維度更新的處理,因為用于確定更改內容的所有邏輯均封裝在MDM系統中。

此外,MDM系統可以卸除大多數數據倉庫的歷史記錄跟蹤負擔,使數據倉庫僅管理它需要為進行聚合而應跟蹤的變更。此系統可帶來更小的數據倉庫維度以及對負荷和查詢性能的重大改進。運用MDM和Informatica Data Quality將最終降低數據集成的工作量,提高從商業智能和報表推導的洞察分析的質量,確保能夠從為商業智能增效的數據倉庫方案中獲得預期的價值和投資回報。

數據質量水平與商業智能的關系

當無法通過商業智能系統和報告系統提供準確的數據時,業務總體上都會受到影響。以下是為創建報表的商業智能系統提供不可靠數據所造成的一些后果:

業務負責人:不準確的管理報告導致決策不夠明智。

合規主管:合規性法案要求公司能為其財務和合規報表提供一定的透明度和可審計性。

業務分析師:如果業務分析師花費過多時間在多個商業智能系統間手動搜索和整理信息以更新和修正報表,則業務分析師的生產率會受到影響。此低效的工作會直接影響成本和營利能力。

這些業務問題的根源在于沒有關于客戶、產品、渠道合作伙伴和供應商的唯一真實版本。由于在處理每個業務流程的不同系統間收集、存儲和管理這些數據(亦稱之為參考數據或主數據),因此,需要正確地解析重疊和沖突的參考數據,以獲得唯一真實版本,從而帶來寶貴而可操作的洞察力。許多組織擁有數十或數百數據庫,并且在這些數據庫中有維護相同核心參考對象的數十個(有時為數百個)不同的應用程序,而這些核心參考對象還具有重疊的屬性。

商業智能系統的用途是以中立的視角報告取自多個系統的現有數據。商業智能系統可以為維度分析進行一些累積工作,但是設計或配備商業智能系統并非為了創建唯一的真實版本。在取自應用程序孤島的客戶或產品數據中存在的不一致會對數據倉庫中運行的分析可靠性產生消極的影響。

總而言之,企業的商業智能只會與企業的數據質量水平相當。

數據質量與五種形式的商業智能。

商業智能已經發展成為多種形式,旨在滿足企業不斷增長的要求和任務關鍵型活動日益增長的水平。這些形式都有其自己的一套數據質量要求。

儀表板

記分卡和儀表板正被廣泛采用,越來越多的用戶利用它們獲取財務,業務和績效監控的鳥瞰圖。通過可視化的圖形、圖標和計量表,這些傳輸機制幫助跟蹤性能指標并向員工通知相關趨勢和可能需要的決策。提供集成視圖所需的數據元素通常跨越多個部門和學科,需要絕對最新才能有效。

數據質量會影響記分卡和儀表板用戶,因此這些用戶必須能夠:

1. 使用儀表板中計量表和刻度盤上的完整數據,并迅速采取措施。

2. 獲取集成視圖并使用標準化數據進行協作。

3. 利用具有一致數據的正式記分卡方法。

4. 向下鉆取以查看組或個人級別績效的準確數據。

5. 找到能夠生成明顯趨勢且重復數據最少的業務流程。

6. 推導關聯性并通過驗證的數據執行交叉影響分析。

企業報告

企業報告為所有級別的個人提供來自企業資源規劃(ERP)、客戶關系管理(CRM)、合作伙伴關系管理(PRM)、發票和帳單系統,以及整個企業內其他源系統的各種運營報告和其他業務報告。這些報告分布廣泛,而薪酬和其他激勵計劃通常與報告的結果有關。

數據質量會影響組織報告,因為組織必須:

1. 瀏覽多個報告,將它們顯示到從不同來源聚合數據的多個表單中。

2. 選擇各種參數并通過標準化數據為用戶定制報告。

3. 利用各種性能指標的協調數據呈現多個表格和圖表。

4. 使業務用戶能夠利用高精準數據創建自己的報告,無需IT部門參與。

5. 通過清洗和匹配的數據減少合規性管理的人工檢查和審計。

6. 利用完整財務數據直接從商業智能報告開具發票和帳單。

本篇文章要介紹的就是這么多,我們下篇文章再見。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/68033.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/68033.shtml
英文地址,請注明出處:http://en.pswp.cn/web/68033.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

UE學習日志#22 C++筆記#8 基礎復習8 string和string_view2

1 std::string_view類 string_view基本上就是const string&的簡單替代品,但不會產生開銷。他不復制字符串。 string_view添加了remove_prefix(size_t)和remove_suffix(size_t)方法,前者將起始指針給定的偏移量來收縮字符串,后者則將結尾指…

UVM factory機制

目錄 1. factory-register 1.1 uvm_object_registry#(type T=uvm_object, string Tname="") 1.1 uvm_default_factory::register 2. factory-override 2.1 set_type_override(uvm_object_wrapper override_type) 2.2 set_inst_override(uvm_object_wrapper ove…

Spring MVC學習——發送請求(@RequestMapping注解及請求參數綁定)

前言 Spring MVC作為Spring框架中的核心組件之一,其強大的功能在于能簡潔高效地處理HTTP請求和響應。在開發Web應用時,理解和正確使用Spring MVC的注解,尤其是RequestMapping注解,至關重要。本文將詳細講解RequestMapping注解的使…

C# Action和 Func的用法

C#中的數據類型 函數數據類型 Action 是一個數據類型 但是是沒有返回值得函數數據類型 Func 用于指定一個有返回值的委托 internal class Program{static void Main(string[] args){TT.F1(NoVoid);TT.F2(Void1);Void2(() > { Console.WriteLine("Void2執行了");…

C++中的模板(上)

C中的模板(上) 模板參數和函數參數是很像的,函數參數定義的形參對象,而模板參數定義的是類型. 模板分為函數模板和類模板 函數模板 一個交換兩個數的函數模板: template<class T> // 此處typename和class是等價的 void Swap(T &a, T &b) {T temp a;a b;b …

MySQL面試題----如何進行 MySQL 數據庫備份與恢復

MySQL 數據庫備份 1. 使用 mysqldump 工具(邏輯備份) 全量數據庫備份 該方式會備份指定數據庫中的所有數據和表結構。在命令行中輸入以下命令,將 username 替換為你的 MySQL 用戶名,password 替換為對應的密碼,database_name 替換為要備份的數據庫名,backup.sql 為備份文…

Java集合面試總結(題目來源JavaGuide)

問題1&#xff1a;說說 List,Set,Map 三者的區別&#xff1f; 在 Java 中&#xff0c;List、Set 和 Map 是最常用的集合框架&#xff08;Collection Framework&#xff09;接口&#xff0c;它們的主要區別如下&#xff1a; 1. List&#xff08;列表&#xff09; 特點&#xf…

deepseek接入pycharm 進行AI編程

要將DeepSeek接入PyCharm進行AI編程,可以按照以下步驟操作: ### 1. 獲取DeepSeek API訪問權限 DeepSeek通常以API的形式對外提供服務,你需要在其官方網站注冊賬號,申請API訪問權限。在申請通過后,會獲得API密鑰(API Key),這是后續調用API的關鍵憑證。 ### 2. 安裝必要…

奧迪改名風波再起,A6L能否率隊創下新奇跡

文/王俁祺 導語&#xff1a;春節假期剛過&#xff0c;奧迪的車型命名規則又變了。在如今以內卷為主基調的環境下&#xff0c;車型改名可不是小事&#xff0c;而奧迪的這次調整背后藏著許多深意&#xff0c;也預示著2025年奧迪在產品布局上的新動向。 改名能否“改命” 回溯到…

【怎么用系列】短視頻戒除-1-對推薦算法進行干擾

如今推薦算法已經滲透到人們生活的方方面面&#xff0c;尤其是抖音等短視頻核心就是推薦算法。 【短視頻的危害】 1> 會讓人變笨&#xff0c;慢慢讓人喪失注意力與專注力 2> 讓人喪失閱讀長文的能力 3> 讓人沉浸在一個又一個快感與嗨點當中。當我們刷短視頻時&#x…

改進Transformer,解讀Tokenformer論文:基于參數分詞化重新思考Transformer的擴展策略

Transformer 訓練成本高昂的問題日益凸顯&#xff0c;不僅需要耗費巨額的資金與大量的計算資源&#xff0c;還對環境產生了不可忽視的影響&#xff0c;最近由北京大學與谷歌聯合發表的一篇論文&#xff0c;為這一棘手難題帶來了全新的曙光。論文中提出的創新方案&#xff0c;有…

【STM32】HAL庫USB虛擬U盤MSC配置及采用自帶的Flash作為文件系統

【STM32】HAL庫USB虛擬U盤MSC實現配置及采用自帶的Flash作為文件系統 本文將自帶的Flash作為文件系統 通過配置USB的MSC功能實現虛擬U盤 沒有單獨建立FATFS文件系統 僅僅是配置USB和Flash讀寫而已 當然 這里也可以用外部Flash等等 也可以配置文件系統來進行套殼 但總體而言不如…

Noise Conditional Score Network

NCSN p σ ( x ~ ∣ x ) : N ( x ~ ; x , σ 2 I ) p_\sigma(\tilde{\mathrm{x}}|\mathrm{x}) : \mathcal{N}(\tilde{\mathrm{x}}; \mathrm{x}, \sigma^2\mathbf{I}) pσ?(x~∣x):N(x~;x,σ2I) p σ ( x ~ ) : ∫ p d a t a ( x ) p σ ( x ~ ∣ x ) d x p_\sigma(\mathrm…

jdk8 G1收集器怎么手動調優

在 JDK 8 中&#xff0c;手動調優 G1 垃圾收集器可以通過以下步驟和參數進行&#xff1a; 1. 啟用 G1 垃圾收集器 要啟用 G1 垃圾收集器&#xff0c;需要在 JVM 啟動參數中添加以下選項&#xff1a; -XX:UseG1GC 這個參數告訴 JVM 使用 G1 作為垃圾收集器。 2. 設置堆內存…

Nginx通過設置自定義標記識別代理調用

Nginx通過設置自定義標記識別代理調用 業務場景 最近遇到一個業務場景&#xff0c;部署在云端服務器的一個平臺&#xff0c;接口提供給多個現場調用&#xff0c;其中一個現場是通過nginx代理服務器代理轉發到云服務器&#xff0c;另外一個現場則是直接通過云服務器接口進行調…

前端知識速記:POST和GET

前端知識速記&#xff1a;POST和GET請求的區別 一、GET請求概述 GET請求是一種用于獲取服務器資源的請求方式。**使用GET請求時&#xff0c;數據通過URL傳遞&#xff0c;適合用于獲取數據而不修改資源。**以下是GET請求的一些基本特征&#xff1a; 數據附在URL后面&#xff…

axios如何利用promise無痛刷新token

目錄 需求 需求解析 實現思路 方法一&#xff1a; 方法二&#xff1a; 兩種方法對比 實現 封裝axios基本骨架 instance.interceptors.response.use攔截實現 問題和優化 如何防止多次刷新token 同時發起兩個或以上的請求時&#xff0c;其他接口如何重試 最后完整代…

【DeepSeek系列】01 DeepSeek-V1 快速入門

1、DeepSeek簡介 2024年底&#xff0c;DeepSeek 相繼推出了其第一代推理大模型&#xff1a;DeepSeek-R1-Zero 和 DeepSeek-R1。 DeepSeek-R1-Zero 是一個通過大規模強化學習&#xff08;RL&#xff09;訓練的模型&#xff0c;訓練過程中沒有使用監督微調&#xff08;SFT&…

基于LabVIEW的Modbus-RTU設備通信失敗問題分析與解決

在使用 LabVIEW 通過 Modbus-RTU 協議與工業設備進行通信時&#xff0c;可能遇到無法正常發送或接收指令的問題。常見原因包括協議參數配置錯誤、硬件連接問題、數據幀格式不正確等。本文以某 RGBW 控制器調光失敗為例&#xff0c;提出了一種通用的排查思路&#xff0c;幫助開發…

【初/高中生講機器學習】0. 本專欄 “食用” 指南——寫在一周年之際?

創建時間&#xff1a;2025-01-27 首發時間&#xff1a;2025-01-29 最后編輯時間&#xff1a;2025-01-29 作者&#xff1a;Geeker_LStar 你好呀~這里是 Geeker_LStar 的人工智能學習專欄&#xff0c;很高興遇見你~ 我是 Geeker_LStar&#xff0c;一名高一學生&#xff0c;熱愛計…