Hadoop的運行模式
- 1、本地運行模式
- 2、偽分布式運行模式
- 3、完全分布式運行模式
- 4、區別與總結
Hadoop有三種可以運行的模式:本地運行模式、偽分布式運行模式和完全分布式運行模式
1、本地運行模式
本地運行模式無需任何守護進程,單機運行,所有的程序都運行在同一個JVM上執行
Hadoop安裝后默認為本地模式,數據存儲在Linux本地。在本地模式下調試MapReduce程序非常高效方便,一般該模式主要是在學習或者開發階段調試使用,例如,演示一下官方案例
2、偽分布式運行模式
Hadoop守護進程運行在本地機器上,模擬一個小規模的集群,數據存儲在HDFS集群上;換句話說,可以配置一臺機器的Hadoop集群,偽分布式是完全分布式的一個特例
3、完全分布式運行模式
Hadoop守護進程運行在一個集群上,即多臺機器上分別啟動Hadoop集群,數據存在HDFS集群上,這種運行模式也就是我們常見的各種云,主要用于大規模的生產環境中
4、區別與總結
三種運行模式的區別比較如下:
項目 | 本地模式 | 偽分布式模式 | 完全分布式模式 |
---|---|---|---|
fs.defaultFs | file:/// | hdfs://namenode/ | hdfs://namenode/ |
機器數量 | 1 | 1 | N |
守護進程 | / | start-dfs.sh 、start-yarn.sh 等 | start-dfs.sh 、start-yarn.sh 等 |
數據存儲與輸出 | Linux本地 | HDFS集群 | HDFS集群 |
分布式模式需要啟動一些守護進程 ,即在使用分布式Hadoop時,要先啟動一些準備程序(HDFS和YARN守護進程),然后才能使用;而在本地模式下,不需要啟動這些守護進程,將使用本地文件系統和本地MapReduce運行器
更多內容參考:https://blog.csdn.net/m0_51111980/article/details/125733227