目錄
🧩 一、Hadoop 基礎服務管理指令
?? 啟動 Hadoop
?? 關閉 Hadoop
🧾 查看進程是否正常運行
📁 二、HDFS 常用文件系統指令
🛠? 三、MapReduce 作業運行指令
📋 四、集群狀態監控指令
💡 五、管理員常用 HDFS 命令
包含 Hadoop 啟動/關閉、HDFS 基本操作、MapReduce 提交流程等的常用指令大全,適合剛搭建好 Hadoop 環境后進行操作與測試。
🧩 一、Hadoop 基礎服務管理指令
?? 啟動 Hadoop
# 啟動 HDFS 和 YARN 所有服務(推薦)
start-dfs.sh
start-yarn.sh# 或使用統一啟動腳本(部分版本支持)
start-all.sh
?? 關閉 Hadoop
# 停止 HDFS 和 YARN 所有服務
stop-dfs.sh
stop-yarn.sh# 或使用統一停止腳本
stop-all.sh
🧾 查看進程是否正常運行
jps
# 正常應看到:NameNode、DataNode、ResourceManager、NodeManager 等
📁 二、HDFS 常用文件系統指令
功能 | 命令 |
---|---|
查看根目錄 | hadoop fs -ls / |
創建目錄 | hadoop fs -mkdir /user/yourname |
上傳文件 | hadoop fs -put test.txt /user/yourname/ |
下載文件 | hadoop fs -get /user/yourname/test.txt ./ |
刪除文件 | hadoop fs -rm /user/yourname/test.txt |
刪除目錄 | hadoop fs -rm -r /user/yourname/testdir |
查看內容 | hadoop fs -cat /user/yourname/test.txt |
查看空間使用 | hadoop fs -du -s /user/yourname/ |
拷貝文件 | hadoop fs -cp /src/file.txt /dst/file.txt |
移動文件 | hadoop fs -mv /src/file.txt /dst/ |
🛠? 三、MapReduce 作業運行指令
# 1. 編譯 Java 程序并打包為 JAR(假設你寫的是 WordCount.java)
javac -classpath `hadoop classpath` -d classes WordCount.java
jar -cvf wordcount.jar -C classes/ .# 2. 上傳輸入文件
hadoop fs -mkdir /input
hadoop fs -put input.txt /input/# 3. 提交 MapReduce 作業(以 WordCount 為例)
hadoop jar wordcount.jar WordCount /input /output# 4. 查看輸出結果
hadoop fs -cat /output/part-r-00000
📋 四、集群狀態監控指令
功能 | 命令 |
---|---|
查看作業列表 | yarn application -list |
查看作業狀態 | yarn application -status <app_id> |
殺死作業 | yarn application -kill <app_id> |
查看節點 | yarn node -list |
查看集群資源 | yarn cluster --list |
💡 五、管理員常用 HDFS 命令
# 查看 HDFS 使用狀態
hdfs dfsadmin -report# 刷新節點信息(當編輯了 slaves 文件等)
hdfs dfsadmin -refreshNodes# 安全模式檢查(啟動時只讀)
hdfs dfsadmin -safemode get