FusionInsight MRS云原生數據湖
- 1、FusionInsight MRS概述
- 2、FusionInsight MRS解決方案
- 3、FusionInsight MRS優勢
- 4、FusionInsight MRS功能
1、FusionInsight MRS概述
1.1、數據湖概述
數據湖是一個集中式存儲庫,允許以任意規模存儲所有結構化和非結構化數據。可以按原樣存儲數據(無需先對數據進行結構化處理),并運行不同類型的分析, 從控制面板和可視化到大數據處理、實時分析和機器學習,以指導做出更好的決策
數據湖的價值在于它能夠在更短的時間內從更多來源利用更多數據,并使用戶能夠以不同方式協同處理和分析數據,從而做出更好、更快的決策
1.2、FusionInsight概述
FusionInsight智能數據湖采用了領先的Lakehouse架構,將數據湖和數據倉庫的優勢融合在一起,提供了高效、規范、靈活、簡潔的架構和低資源占用。這種架構降低了傳統湖倉割裂導致的系統間復雜度,并減少了在湖、倉、AI開發之間來回遷移數據的工作
FusionInsight官網:https://www.huaweicloud.com/product/huaweicloudstack/fusioninsight.html
FusionInsight由多個子產品組成:
- Fusion Insight HD(大數據處理環境):使用Hive和HBase數據庫
- Fusion Insight MPPDB(并行處理關系型數據庫):使用PostgreSQL數據庫,數據存儲使用HDFS
- Fusion Insight Miner(數據分析平臺):基于Fusion Insight HD
- Fusion Insight Farmer(應用容器)
- Fusion Insight Manager(操作運維系統)
FusionInsight包括多個云服務?:MRS云原生數據湖、DWS云數據倉庫、DGC數據湖治理中心、GES圖引擎等云服務??
1.3、MRS概述
華為MRS(MapReduce Service)是華為云推出的一種大數據處理服務,基于開源的Hadoop生態系統,通過簡化的大數據處理流程,為用戶提供一個高效、靈活、安全的大數據計算平臺
華為MRS不僅支持傳統的批處理任務(如MapReduce),還支持Spark、Hive、HBase等多種大數據處理引擎,適用于各類數據分析、處理和存儲任務
通過華為云MRS,企業可以在云環境中構建自己的大數據平臺,進行數據存儲、計算、分析和可視化,幫助企業處理海量數據并從中提取有價值的洞察
華為MRS作為一個高性能的大數據處理平臺,提供了一種高效、可靠、安全的數據管理和分析平臺,可以幫助企業和組織更好地管理和利用海量數據
MRS介紹:https://support.huawei.com/enterprise/zh/doc/EDOC1100328015/5984720e
MRS官網:https://www.huaweicloud.com/product/mrs.html
MRS功能總覽:https://support.huaweicloud.com/intl/zh-cn/function-mrs/index.html
華為MRS的優勢包括:
-
計算存儲分離
MRS具備計算存儲分離的先進架構,鯤鵬加持,多核高性價比
-
靈活彈性伸縮
資源靈活配比,可以選擇多種計算和存儲資源進行組合,按需自動彈性伸縮,大大降低上云成本
-
完全兼容開源
100%兼容開源生態接口,存算分離數據遷移,支持屏蔽OBS接口,業務無感知,客戶業務代碼“0”改動
-
搬遷簡單快速
搬遷工具齊全,簡單快速完成無業務中斷遷移方案
2、FusionInsight MRS解決方案
FusionInsight MRS云原生數據湖讓客戶在一個Lakehouse湖倉一體架構上實現“三湖一集市”,滿足用戶在建設數據湖過程中快速構建現代數據平臺、持續演進的需求
3、FusionInsight MRS優勢
FusionInsight MRS的優勢包括:
4、FusionInsight MRS功能
4.1、離線數據湖:Lakehouse湖內建倉,分析鏈路短,建設周期短
4.2、實時數據湖:數據全鏈路實時分析,價值兌現從T+1到T+0
4.3、邏輯數據湖:跨湖協同分析,效率50倍提升
華為云FusionInsight MRS培訓系列官方課程:https://bbs.huaweicloud.com/forum/thread-145085-1-1.html
參考文章:https://blog.csdn.net/qq_20042935/article/details/125068919