1、安裝Hadoop

上傳Hadoop的指定路徑/root/softwares

解壓安裝

cd /root/softwares && tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local

配置環境變量

 vim /etc/profile
# Hadoop Environment
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

重新使環境變量生效

source /etc/profile

驗證是否配置成功

hadoop version

2、案例演示：wordcount

新建一個目錄，存放文本文件

mkdir ~/input

執行wordcount

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount ~/input ~/output

查看結果

cat ~/output/*

案例計算：pi

直接計算pi的結果

 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 10 10

3、完全分布式模式

集群搭建準備

• 三臺機器的防火墻必須是關閉的

  • systemctl stop firewalld
    systemctl disable firewalld
    systemctl stop NetworkManager
    systemctl disable NetworkManager
    

• 確保三臺機器的網絡配置通暢（NAT模式、靜態IP、主機名的配置）

• 確保/etc/hosts文件配置了ip和hostname的映射關系

• 確保配置了三臺機器的免密登錄認證

• 確保所有機器時間同步

  • ntpdate -u ntp.api.bz
    

• jdk和Hadoop的環境變量配置

配置文件

• core-site.xml

<configuration><!-- 設置namenode節點 --><!-- 注意: hadoop1.x時代默認端口9000 hadoop2.x時代默認端口8020 hadoop3.x時代默認端口9820 --><property><name>fs.defaultFS</name><value>hdfs://chlinrei01:8020</value></property>
<!-- hdfs的基礎路徑，被其他屬性所依賴的一個基礎路徑 --><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop-2.7.3/tmp</value></property>
</configuration>

• hdfs-site.xml

<configuration><!-- 塊的副本數量 --><property><name>dfs.replication</name><value>3</value></property><!-- secondarynamenode守護進程的http地址：主機名和端口號。參考守護進程布局 --><property><name>dfs.namenode.secondary.http-address</name><value>chlinrei02:9868</value></property><!-- namenode守護進程的http地址：主機名和端口號。參考守護進程布局 --><property><name>dfs.namenode.http-address</name><value>chlinrei01:9870</value></property>
</configuration>

• hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_162
# Hadoop3中，需要添加如下配置，設置啟動集群角色的用戶是誰
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

分發

cd /usr/local
scp -r jdk1.8.0_162/ chlinrei02:$PWD
scp -r hadoop-2.7.3/ chlinrei02:$PWD
scp /etc/profile chlinrei02:/etc/
scp -r jdk1.8.0_162/ chlinrei03:$PWD
scp -r hadoop-2.7.3/ chlinrei03:$PWD
scp /etc/profile chlinrei03:/etc/

格式化集群

hdfs namenode -format

啟動集群

start-dfs.sh

進程查看

jps