3、如何從0到1去建設數據倉庫

1、數倉實施過程

1.1 數據調研

????????數據調研包括:業務調研、需求調研

???????業務調研

????????????????需要調研企業內有哪些業務線、業務線的業務是否還有相同點和差異點

? ? ? ? ? ? ? ? 各個業務線有哪些業務模塊,每個模型下有哪些業務流程,每個流程下產生的數據

? ? ? ? ? ? ? ? 是怎樣存儲的

業務調研完后的產出:

? ? ? ? 業務調研表、各個業務流程圖


需求調研

? ? ? ? 主要調研 分析師、運營人員的數據需求 和 現有報表系統中的數據需求? ? ? ??


1.2 數倉架構設計

數據域(主題域)的劃分

? ? ? ? 進行數據調研后,需要對 業務過程或維度進行歸納、抽象出數據域

? ? ? ? 數據域的特點:

? ? ? ? ? ? ? ? 為保證數倉的穩定性,數據域需要從業務過程中抽象提煉

? ? ? ? ? ? ? ? 并且長期維護和更新,但不輕易變動

? ? ? ? ? ? ? ? 劃分數據域時,既要能覆蓋當前所有的業務需求,又要在有新的業務進入時

? ? ? ? ? ? ? ? 毫無影響的進入已有的數據域或者擴展新的數據域


構建總線矩陣

? ? ? ? 構建總線矩陣的目的是為了明確兩個事情:

? ? ? ? ? ? ? ? 1、明確每個數據域下有哪些業務過程

? ? ? ? ? ? ? ? 2、明確每個業務過程與哪些維度相關


1.3 規范定義

? ? ? ? 規范定義主要包括:表命名規范、字段命名規范、ETL開發規范 (后續章節會單獨介紹這塊內容)

1.4 模型設計

? ? ? ? 模型設計主要包括:事實表設計、維度表設計 (后續章節會單獨介紹這塊內容)

1.5?代碼開發

? ? ? ? ETL開發過程

1.6 評審

? ? ? ? 對設計的模型、開發代碼進行評審

1.7?上線及配置質量監控

? ? ? ? 調度任務上線及配置質量監控任務

1.8?總結

? ? ? ? 數倉的建設是一個高度迭代和動態的過程,一般采用螺旋式實施方法。

? ? ? ? 在總體架構設計完成之后,開始根據數據域進行迭代式模型設計和評審

? ? ? ? 在架構設計、規范定義、模型設計等過程中,都要引入評審機制,以確保實施過程的正確性

????????

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/163906.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/163906.shtml
英文地址,請注明出處:http://en.pswp.cn/news/163906.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

python數據結構與算法-16_優先級隊列

優先級隊列 你可能比較奇怪,隊列不是早就講了嘛。這里之所以放到這里講優先級隊列,是因為雖然名字有隊列, 但其實是使用堆來實現的。上一章講完了堆,這一章我們就趁熱打鐵來實現一個優先級隊列。 實現優先級隊列 優先級隊列(Pr…

UWA報告使用技巧小視頻,你get了么?(第十一彈)

隨著玩家對手游渲染品質的要求日益趨上,60幀、各種花式后處理導致發熱、耗電等問題日趨明顯。本期UWA報告使用技巧將分享關于GPU優化的專題姊妹篇。 《GPU性能優化篇》 UWA專注于手游GPU性能的優化,以確保您的游戲體驗得以最佳展現。基于最新發布的GOT …

141.【Git版本控制】

Git-深入挖掘 (一)、Git分布式版本控制工具1.目標2.概述(1).開發中的實際常見(2).版本控制器的方式(3).SVN (集中版本控制器)(4).Git (分布版本控制器)(5).Git工作流程圖 (二)、Git安裝與常用命令1.Git環境配置(1).安裝Git的操作(2).Git的配置操作(3).為常用的指令配置別名 (可…

輕松解決rpm軟件包的依賴問題 yum download ,rpm和deb不同系列

centos rpm系列的 為它往往有很多依賴項目。比如,我們來查看一下net-tools的依賴項有哪些: yum deplist net-tools 推薦使用以下幾種方法: 1.repotrack 我這里也以上期講到的Mariadb為例演示,以下操作需要在有網絡的環境下進…

國內企業出海首選的免費開源訂單管理系統(OMS)解決方案

用開源智造Odoo訂單管理系統 (OMS) 解決方案實現"訂單到收款"流程自動化 開源智造Odoo 訂單管理軟件功能消除了手動操作瓶頸,可防止出錯,還建立了從銷售報價到訂單履行的順暢工作流來確保及時開票和付款,從而幫助您理順訂單處理過程…

Python將多個視頻幀組合成.mp4視頻

已經有很多文章描述了如何將視頻拆分成視頻幀,例如:https://blog.csdn.net/WYKB_Mr_Q/article/details/124929081 那我們如何將很多視頻幀重新組合成視頻呢? 這里我們主要用到了 OpenCV 庫中的 VideoWriter 類。 OpenCV種的 cv2.VideoWrit…

jdbc批量插入或更新數據

mybatis可以批量插入或更新數據,不過mybatis底層也是基于jdbc來實現的,如何使用jdbc批量操作數據?本文給出demo。 /*** JDBC分批次批量插入* * throws IOException*/public static void testJDBCBatchInsertUser() throws IOException {Conne…

工作流引擎的架構設計主要考慮以下方面

工作流引擎的架構設計主要考慮以下方面,以馳騁工作流引擎為例來說明。 高度抽象和封裝:為了適應各種業務場景,工作流引擎應具備高度抽象和封裝的特性,以便統一處理各流程。靈活配置:工作流引擎應支持靈活的配置&#…

Linux之實現簡易的shell

1.打印提示符并獲取命令行 我們在使用shell的時候&#xff0c;發現我們在輸入命令是&#xff0c;前面會有&#xff1a;有用戶名&#xff0c;版本&#xff0c;當前路徑等信息&#xff0c;這里我們可以用環境變量去獲取: 1 #include <stdio.h>2 #include <stdlib.h>…

python如何快速查找到想要的文檔

字多不看版&#xff0c;直接體驗 待補充 演示代碼 # -*- coding:UTF-8 -*-# region 導入必要的依賴包 import os import subprocess from enum import Enum模塊名 pyperclip try:import pyperclip # 需要安裝 pyperclip 模塊&#xff0c;以支持粘貼板操作 except ImportEr…

PTA-成績轉換

本題要求編寫程序將一個百分制成績轉換為五分制成績。轉換規則&#xff1a; 大于等于90分為A&#xff1b;小于90且大于等于80為B&#xff1b;小于80且大于等于70為C&#xff1b;小于70且大于等于60為D&#xff1b;小于60為E。 輸入格式: 輸入在一行中給出一個整數的百分制成…

羊大師教你如何科學控制體重,輕松瘦下來

羊大師教你如何科學控制體重&#xff0c;輕松瘦下來 我們都知道&#xff0c;控制體重對于保持健康和美麗至關重要。然而&#xff0c;許多人在減肥的道路上走得波折重重&#xff0c;常常陷入挫敗和不知所措的境地。那么&#xff0c;如何科學控制體重&#xff0c;輕松瘦下來呢&a…

項目經理只需要有PMP證書就行?

就目前而言&#xff0c;大部分人對于項目經理的認識還停留在&#xff1a;有項目管理經驗&#xff0c;有對應的工作年限&#xff0c;有PMP證書。所以絕大多數人都認為只要報考了PMP項目管理&#xff0c;取得PMP證書&#xff0c;即可加入項目經理的圈子&#xff0c;薪資翻倍。 但…

協同過濾與矩陣分解講解(PPT)

總覽 協同過濾算法&#xff0c;就是一種完全依賴用戶和物品之間行為關系的推薦算法。 從字面理解&#xff0c;協同大家的反饋、評價和意見一起對海量的信息進行過濾&#xff0c;從中篩選出用戶可能感興趣的信息。 知識概括 從這幾個方面進行分析。 一、基于用戶的協同過濾 顯示…

6個PPT素材網站,讓你快速做出好看的PPT

找PPT模板一定要收藏好這6個網站&#xff0c;能讓你快速做出好看的PPT&#xff0c;重點十可以免費下載&#xff0c;趕緊收藏&#xff01; 1、菜鳥圖庫 https://www.sucai999.com/search/ppt/0_0_0_1.html?vNTYwNDUx 菜鳥圖庫網有非常豐富的免費素材&#xff0c;像設計類、辦公…

力扣labuladong——一刷day48

提示&#xff1a;文章寫完后&#xff0c;目錄可以自動生成&#xff0c;如何生成可參考右邊的幫助文檔 文章目錄 前言一、力扣1602. 找到二叉樹中最近的右側節點二、力扣437. 路徑總和 III三、力扣560. 和為 K 的子數組 前言 二叉樹的遞歸分為「遍歷」和「分解問題」兩種思維模式…

第7章-使用統計方法進行變量有效性測試-7.4.2-多元線性回歸

目錄 多元線性回歸模型 總體回歸函數 樣本回歸函數 線性回歸模型的假定 普通最小二乘法&#xff08;Ordinary Least Squares&#xff0c;OLS&#xff09; 擬合優度指標 F檢驗 回歸系數的t檢驗 Python中構建多元線性回歸模型 數據理解 數據讀取 數據清洗 相關分析 …

想考教師編制專業不對口怎么辦?

很多人在想要步入教師行業時&#xff0c;會遇到一個問題&#xff1a;專業不對口。這種情況可能會讓你感到困惑和沮喪&#xff0c;但不要氣餒&#xff0c;因為有很多方法可以讓你實現自己的夢想。 可以通過提高自己的教育水平和能力來彌補專業不對口的缺陷。你可以通過參加教師資…

品牌小紅書koc投放策略分享,純干貨!

作為中國具有影響力的時尚美妝社交平臺&#xff0c;小紅書與其充滿活力的用戶群體成為品牌尋找優質KOC合作的理想平臺。本文伯樂網絡傳媒將探討品牌如何利用小紅書的KOC投放策略&#xff0c;實現更廣泛的市場覆蓋和更有效的品牌營銷。 一、明確目標受眾與KOC合作需求 在開始策…

containerd Snapshots功能解析

containerd Snapshots功能解析 snapshot是containerd的一個核心功能&#xff0c;用于創建和管理容器的文件系統。 本篇containerd版本為v1.7.9。 本文以 ctr i pull命令為例&#xff0c;分析containerd的snapshot “創建” 相關的功能。 ctr命令 ctr image相關命令的實現在cmd…