前言

在大數據開發領域中，不得不說說傳統經典的hadoop基礎計算框架。一般我們都會將hadoop集群部署在服務器上，但是作為一個資深搬磚人，我們本地環境也需要一個開發hadoop的開發環境。那么，今天就安排一個在windows上搭建一個hadoop環境。
docker部署hadoop請移步

基礎環境

下載hadoop安裝包

http://archive.apache.org/dist/hadoop/core/hadoop-3.3.2/

解壓。

下載hadoop在windows中的依賴

https://github.com/cdarlint/winutils

下載完成之后，解壓，將3.2.2目錄下的所有文件替換hadoop的bin目錄下的文件：

并將hadoop.dll 文件復制到C:\Windows\System32 目錄：

配置環境變量

HADOOP_HOME= D:\hadoop-3.2.2
Path中添加 %HADOOP_HOME%\bin

cmd輸入 hadoop version

表示基礎環境配置成功。

如果需要部署本地hadoop環境（HDFS）需要繼續往下操作。

Hadoop hdfs搭建

創建hadfs數據目錄

在hadoop-3.2.2目錄下創建data目錄
data目錄下創建namenode和datanode存儲目錄
data\namenode
data\datanode

修改JAVA依賴

進入目錄 etc\hadoop
修改hadoop-env.cmd
set JAVA_HOME=C:\Java\jdk1.8.0_271

修改配置文件

1、etc\hadoop目錄，修改hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>D:\\hadoop-3.2.2\\data\\namenode</value></property><property><name>dfs.datanode.data.dir</name><value>D:\\hadoop-3.2.2\\data\\datanode</value></property>
</configuration>

2、etc\hadoop目錄，修改core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

初始化hdfs namenode

進入hadoop-3.2.2\bin目錄，以管理員身份打開“命令提示符“
輸入 hdfs namenode -format
看到seccessfully就說明format成功。如下圖所示：

啟動hdfs

進入hadoop-3.2.2\sbin目錄
輸入start-dfs.cmd，啟動hdfs。
出現以下namenode和datanode窗口

瀏覽器訪問：http://127.0.0.1:9870/

至此，windows上的hadoop環境搭建完成，包含基礎環境變量和HDFS。