【數倉建設系列之一】什么是數據倉庫?

一、什么是數據倉庫?

數據倉庫(Data Warehouse,簡稱DW)簡單來講,它是一個存儲和管理大量結構化和非結構化數據的存儲集合,它以主題為向導,通過整合來自不同數據源下的數據(比如各業務數據,日志文件數據等),解決企業數據孤島,為企業提供統一的數據視圖。通過構建不同時間范圍或不同業務主題下的分析報告和數據報表等,為企業決策提供一定程度上的支持和幫助。
在這里插入圖片描述

二、數據倉庫的特點?
  • 主題性

傳統的數據庫,更多的可能是考慮到應用層面上的數據組織和結構,因此各個業務之間的數據可能相互獨立,相互分離。而數據倉庫是對業務系統中各業務數據通過不同主題域特征進行抽象,通過歸納和總結等手段,形成一個更高層次的主題和維度抽象。

  • 集成性

因為數據倉庫與傳統意義上的數據庫不同,它需要接納各種獨立,異構的數據,因此它需要通過ETL(抽取、清洗、轉換)功能,將這些數據統一處理并匯總到數據倉庫中,而將全部的數據匯總的好處就是數倉中包含了企業所有數據,解決了企業數據孤島問題,在后期可以為企業提供統一的數據視圖。因此,數據入倉前的ETL是數倉建設中尤為關鍵且有非常復雜的一件事。

  • 穩定性

傳統數據庫更多的偏向于更新操作(CRUD),而數據倉庫則是更多的提供一種可靠的,長久數據的查詢和分析能力。在生產場景種,數據一旦寫入到數據倉庫,大概率會被長期保存且基本不進行修改操作,除非企業針對特定數據設置數據生命周期。因此基于這種更新頻率幾乎為零的設計再加上數倉的分布式存儲與高可用的搭建,保證了數倉的穩定性和完整性。

  • 及時性

數倉不僅僅要存儲了管理歷史數據,同時還要能夠實時接收新的集成數據,通過這種快速反應歷史數據與新增數據差異對比的能力,能夠快速給決策和分析人員提供參考依據,這也是數倉建設的最終目的。

三、為什么要建設數倉?

? 隨著移動互聯網的快速發展,企業數據和數據復雜度也呈幾何式增長。到目前為止,數據已經成為了眾多企業的核心資產之一。但目前很多企業在不同的業務場景,都擁有眾多數據源,企業數據也分布在不同的業務系統中,但決策者在決策時,通常是要結合全公司各個業務數據來綜合分析考慮的,而一個高效可靠的數據倉庫,能夠匯集公司眾多結構化和非結構化的數據,能夠提供穩定高效的查詢分析,能夠幫助決策者更加高效的管理和分析企業發展現狀與預測未來走勢,同時,也能將公司的數據資源轉換為真正的企業資產。

? 接下來,我們將從數據倉庫的分類與建模方法中展開討論。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/43516.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/43516.shtml
英文地址,請注明出處:http://en.pswp.cn/news/43516.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

內網穿透和服務器+IP 實現公網訪問內網的區別

內網穿透和服務器IP 實現公網訪問內網的區別在于實現方式和使用場景。 內網穿透(Port Forwarding):內網穿透是一種通過網絡技術將公網用戶的請求通過中轉服務器傳輸到內網設備的方法。通過在路由器或防火墻上進行配置,將公網請求…

MySQL- sql語句基礎

文章目錄 1.select后對表進行修改(delete)2.函數GROUP_CONCAT()3.使用正則表達式3.DATE_FORMAT()4.count() 加條件 1.select后對表進行修改(delete) 報錯:You can’t specify target table ‘Person’ for update in …

proteus結合keil-arm編譯器構建STM32單片機項目進行仿真

proteus是可以直接創建設計圖和源碼的,但是源碼編譯它需要借助keil-arm編譯器,也就是我們安裝keil-mdk之后自帶的編譯器。 下面給出一個完整的示例,主要是做一個LED燈閃爍的效果。 新建工程指定路徑,Schematic,PCB layout都選擇默…

【Docker】 使用Docker-Compose 搭建基于 WordPress 的博客網站

引 本文將使用流行的博客搭建工具 WordPress 搭建一個私人博客站點。部署過程中使用到了 Docker 、MySQL 。站點搭建完成后經行了發布文章的體驗。 WordPress WordPress 是一個廣泛使用的開源內容管理系統(CMS),用于構建和管理網站、博客和…

單例設計模式精講(餓漢式和懶漢式實現的重要方法)

目錄 什么叫做單例模式? 餓漢式和懶漢式的區別? 餓漢式-方式1(靜態變量方式) 餓漢式-方式2(靜態代碼塊方式) 懶漢式-方式1(線程不安全) 懶漢式-方式2(線程安全&…

FifthOne:用于矢量搜索的計算機視覺接口

一、說明 數據太多了。數據湖和數據倉庫;廣闊的像素牧場和充滿文字的海洋。找到正確的數據就像大海撈針一樣!如果你喜歡開源機器學習庫 FiftyOne,矢量搜索引擎通過將復雜數據(圖像的原始像素值、文本文檔中的字符)轉換為稱為嵌入矢…

PHP報錯:未定義常量的解決方法!

PHP報錯:未定義常量的解決方法! 在PHP編程中,我們經常會遇到常量未定義的錯誤。這種錯誤通常會在代碼中使用未定義的常量時發生。本文將介紹常量的概念以及如何解決未定義常量的問題。 首先,讓我們來了解什么是常量。在PHP中&am…

大數據平臺運維實訓室建設方案

一、概況 本實訓室的主要目的是培養大數據平臺運維項目的實踐能力,以數據計算、分析、挖掘和可視化的案例訓練為輔助。同時,實訓室也承擔相關考評員與講師培訓考試、學生認證培訓考試、社會人員認證培訓考試、大數據技能大賽訓練、大數據專業課程改革等多項任務。 實訓室旨在培…

無人機跟隨一維高度避障場景--邏輯分析

無人機跟隨一維高度避障場景--邏輯分析 1. 源由2. 視頻3. 問題3.1 思維發散3.2 問題收斂 4. 圖示4.1 水平模式4.2 下坡模式4.3 上坡模式4.4 碰撞分析 5. 總結5.1 一維高度避障場景5.2 業界跟隨產品5.3 APM集成跟隨示意圖一:示意圖二:示意圖三&#xff1a…

Java算法_ 驗證二叉搜索樹(LeetCode_Hot100)

題目描述: 給你一個二叉樹的根節點 ,判斷其是否是一個有效的二叉搜索樹。root 有效 二叉搜索樹定義如下: 節點的左子樹只包含 小于 當前節點的數。 節點的右子樹只包含 大于 當前節點的數。 所有左子樹和右子樹自身必須也是二叉搜索樹。 獲得…

【TypeScript】tsc -v 報錯 —— 在此系統上禁止運行腳本

在 VS Code 終端中執行 tsc -v ,報錯 —— 在此系統上禁止運行腳本 然后 windows x ,打開終端管理員,出現同樣的問題 解決方法: 終端(管理員)執行以下命令: 出現 RemoteSigned 則代表更改成功…

11,模板泛化、模板特化、所占字節數、繼承實現模板展開、using循環命名展開可變參數

模板泛化、模板特化、所占字節數、繼承實現模板展開、using循環命名展開可變參數 模板泛化模板特化模板全特化通過模板偏特化獲取類型所占字節數通過模板偏特化和宏獲取類型所占字節數...ParamTypes和ParamTypes...的區別 通過繼承實現模板展開using 通過using循環命名的方式來…

開發一個文生圖的功能

文章目錄 效果開發環境原理核心代碼代碼倉庫問題效果 開發環境 Python 3.10PyCharm原理 借助開源項目stable-diffusion,通過該項目封裝python庫diffusers,可以輕易的實現文生圖的功能。 關于更多diffusers的功能請訪問:https://huggingface.co/docs/diffusers/index 核心代…

css樣式表屬性

文章目錄 css樣式表屬性colorbackground-colorfont-sizefont-weightfont-familyfont-styletext-decorationtext-indentline-height(line-height的概念)width、heightletter-spacingtext-aligndirectionwriting-modefont-variantborder-radiusopacitycursorvertical-alignmin-wi…

【數據結構與算法】十大經典排序算法-歸并排序

🌟個人博客:www.hellocode.top 🏰Java知識導航:Java-Navigate 🔥CSDN:HelloCode. 🌞知乎:HelloCode 🌴掘金:HelloCode ?如有問題,歡迎指正&#…

如何用輸入函數為數組賦值

在編寫程序時我們經常使用數組,而數組的大小可能是很大的但是我們并不需要為每個元素都自己賦值,我們可能會自定義輸入數組元素個數,我們應該如何實現通過輸入函數為數組賦值呢? 目錄 第一種: 第二種: 第一…

大數據bug-sqoop(二:sqoop同步mysql數據到hive進行字段限制。)

一:sqoop腳本解析。 #!/bin/sh mysqlHost$1 mysqlUserName$2 mysqlUserPass$3 mysqlDbName$4 sql$5 split$6 target$7 hiveDbName$8 hiveTbName$9 partFieldName${10} inputDate${11}echo ${mysqlHost} echo ${mysqlUserName} echo ${mysqlUserPass} ec…

OpenCV之remap的使用

OpenCV中使用remap實現圖像的重映射。 重映射是指將圖像中的某一像素值賦值到指定位置的操作:g(x,y) f ( h(x,y) ), 在這里, g( ) 是目標圖像, f() 是源圖像, 而h(x,y) 是作用于 (x,y) 的映射方法函數。為了完成映射過程, 需要獲得一些插值為…

TypeError: a bytes-like object is required, not ‘str‘

raceback (most recent call last): File "D:\pycharmcode\client.py", line 12, in <module> tcp_socket.send(send_data) TypeError: a bytes-like object is required, not str 使用socket進行ubuntu與windows通信時&#xff0c;發送數據時報了以上錯…

LeetCode 面試題 01.04. 回文排列

文章目錄 一、題目二、C# 題解 一、題目 給定一個字符串&#xff0c;編寫一個函數判定其是否為某個回文串的排列之一。 回文串是指正反兩個方向都一樣的單詞或短語。排列是指字母的重新排列。 回文串不一定是字典當中的單詞。 點擊此處跳轉題目。 示例1&#xff1a; 輸入&…