1. 大數據開發治理平臺 DataWorks
? ? ? ? 功能齊全:10多年大數據建設沉淀完整的平臺,覆蓋數據開發治理的全生命周期
? ? ? ? 簡單易用:全圖形化界面,SQL為主的數據開發方式
? ? ? ? 安全穩定:雙11日千萬級任務穩定調度,金融級數據安全保障
? ? ? ? 開放兼容:?支持多種大數據引擎綁定,開放OpenAPI定制化對接能力
2.?大數據計算服務 MaxCompute
2.1 云原生,極致彈性,總體擁有成本低
????????云原生設計,無服務器架構,支持秒級彈性伸縮,快速實現大規模彈性負載需求
????????按作業計費,不使用不收費,相比自建 IDC 綜合成本只需1/5
2.2 簡單易用的多功能計算服務
????????預置多種計算模型和數據通道能力,開通即用
????????通過聯合計算平臺,支持多套引擎
????????聯邦計算支持 Hadoop 數據源的融合計算
2.3 領先的智能化計算服務
????????智能化數據冷存,實現自動數據存儲分級
????????智能計算優化,大幅降低人工調優成本
2.4 完善的企業級平臺服務
????????承諾99.9%可用性 SLA
????????支持開放生態,提供企業級安全管理能力。與阿里云眾多大數據服務無縫集成
3.?基于阿里云DataWorks&MaxCompute搭建數據倉庫(離線)
阿里云產品 | 簡介 | 類比開源框架 |
DataWorks | 大數據開發治理平臺,存儲 | DataX/Cana//DolphinScheduler AirFlow/Azkaban/Atlas/Griffin |
RDS | 關系型數據庫,采集 | MySql |
QuickBl | 可視化數據展示工具,展示 | Tableau、Echarts、Kibana |
MaxCompute | 云原生大數據計算服務 | Hadoop+Hive+調度器 |
4. 數據倉庫
數據倉庫定義 (Data Warehouse)是為企業所有決策制定過程,提供所有系統數據支持的戰略集合。
數據倉庫VS傳統數據庫存儲三大優勢:
(1) 體量大,效率高
(2) 歷史追查,時光回溯
(3) 數據可用性強
5.?系統數據流程設計
事實表:介紹業務流程本身,一個動作? -> 明細數據層
維度表:時間地點人物,表述業務流程的環境??-> 公共維度層
7.?DataWorks和MaxCompute
????????DataWorks基于阿里云MaxCompute/Hologres/EMR/CDP等大數據引擎,為數據倉庫/數據湖/湖倉一體等解決方案提供統一的全鏈路大數據開發治理平臺。作為阿里巴巴數據中臺的建設者,DataWorks從2009年起不斷沉淀阿里巴巴大數據建設方法論,同時與數萬名政務/金融/零售/互聯網/能源/制造等客戶攜手,助力產業數字化升級。
????????MaxCompute是面向分析的企業級 SaaS 模式云數據倉庫,以 Serverless 架構提供快速、全托管的在線數據倉庫服務,消除了傳統數據平臺在資源擴展性和彈性方面的限制,最小化用戶運維投入,使您可以經濟并高效的分析處理海量數據。數以萬計的企業正基于 MaxCompute 進行數據計算與分析,將數據高效轉換為業務洞察。盤古:相當于Hadoop中的HDFS
伏羲:相當于Hadoop中的YARN
MaxCompute Engine:相當于MR、Tez等計算引擎
MaxCompute和DataWorks一起向用戶提供完善的ETL和數倉管理能力,以及SQL、MR、Graph等多種經典的分布式計算模型,能夠更快速地解決用戶海量數據計算問題,有效降低企業成本,保障數據安全。
?
?
?