領域數據模型建設步驟
以某音樂app為例:
1.數據調研和業務調研,識別業務過程,實體,關鍵指標
業務過程:播放,收藏,下載,點擊,購買,支付
實體:音樂,電臺,mv,會員,商品
關鍵指標:pv,UV,收入,播放次數,付費用戶數付費金額
2.構建總線矩陣
功能塊,業務過程,一致性維度
功能塊:播放
業務過程:歌曲播放,電臺播放,mv播放,添加歌單
一致性維度:app版本,歌曲,內容集,專輯,mv藝術家,商品,年齡,性別,日期…
3.指標分解與測算,設計指標口徑和體系規范
①原子指標:業務過程+度量
如:用戶數+注冊=注冊用戶數
原子指標:表達業務實體原子量化屬性的不可再分的概念集合
業務過程:一系列結構化的可測量的活動:如app相關業務的下載,安裝,使用,更新,卸載等活動分為公共業務過程和特有業務過程
度量:在維度模型中,度量是一組值,這些值構成事實表中的一列,而且通常為數值。次數,時長,金額,設備數,用戶數,app/item數
②派生指標:時間周期+業務規則+修飾詞+原子指標
修飾詞:針對原子指標,在維度屬性枚舉值內的限定,例如成功,云端,本地等條件
業務規則:各業務根據業務特性定義的具有業務含義及對應算法的規則。例如新增,留存,活躍,關聯推薦等
③復合指標:根據分析方式由派生指標運算生成
4.邏輯模型設計,建立星型模型
5.物理模型開發,根據業務過程迭代上線
ods(貼源層):離線數據,準實時數據,保留原始數據,壓縮,分區
dim(維表層):存放手工維表,實體維度,關系維度等
音樂后端碼值維度表,音樂前端碼值維度表
手工維度表:音樂音樂播放時長分段維度表
單實體維度表:音樂歌曲維度表,音樂歌曲專輯維度表
混合實體維度:音樂內容集維度表,音樂內容和內容集關系維度表
dwd(明細層):脫敏,異常,解析,維度建模,維度退化
dws(匯總層):分主題域做輕度匯總
ads(應用層):按業務需求做對應的維度,指標