目錄
1. 集群崩潰處理
1.1 殺死進程
1.2?刪除目錄(logs/和hadoopdata/)
1.3?重新初始化集群
1.4?重新啟動集群
2. 啟動時常見報錯
2.1 報錯如下
2.2 在運行程序測試 MapReduce 計算框架時報錯如下
2.3 報錯如下
1. 集群崩潰處理
1.1 殺死進程
sbin/stop-yarn.sh
sbin/stop-dfs.sh
jps
1.2?刪除目錄(logs/和hadoopdata/)
????????三臺虛擬機都要刪除!!注意文件位置!!!!
rm -rf logs/
rm -rf hadoopdata/
1.3?重新初始化集群
hdfs namenode -format
1.4?重新啟動集群
sbin/start-yarn.sh
sbin/start-dfs.sh
jps
2. 啟動時常見報錯
2.1 報錯如下
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value> </property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
? ? ? ? 解決辦法:
????????在mapred-site.xml文件添加以下配置
<property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/home/2130502441ryx/hadoop-3.1.3</value>
</property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=/home/2130502441ryx/hadoop-3.1.3/</value>
</property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=/home/2130502441ryx/hadoop-3.1.3/</value>
</property>
????????重新分發集群
xsync hadoop/
2.2 在運行程序測試 MapReduce 計算框架時報錯如下
Container killed on request, Exit code is 143
Container exited with a non-zero exit code 143.
? ? ? ?這是因為虛擬內存受到限制引起的。?
解決辦法:
????????在yarn-site.xml中加入如下代碼
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>
????????之后重新啟動集群即可。
2.3 報錯如下
org.apache.hadoop.hdfs.server.namenode.SafeModeExcepticn: Cannot create directory /user/2130502441ryx/QuasiMonteCarlo_1711004398614_579777513/in. Name?node is in safe mode.
原因是hadoop進入了安全模式。
解決辦法:
????????關閉安全模式
hdfs dfsadmin -safemode leave
之后再次運行即可。