? ? ? ? 最近在學習Hadoop集群map reduce分布運算過程中,經多方面排查可能是電腦本身配置的原因導致每次運行都會報“No such file or directory”的錯誤,最后我是通過打包文件到虛擬機里運行得到結果,具體步驟如下:
? ? ? ? 前提是要保證maven已經配置好了
下面就是如何打包文件的具體步驟:
- 在 Eclipse 中右鍵點擊要打包的文件包,選擇?“導出(Export)”。
?
2.選擇導出類型:在彈出的窗口中,選擇?“JAR 文件(JAR file)”,點擊?“下一步(Next)”。
3. 在“JAR 導出”?界面,確認勾選?“導出生成的類文件和資源(Export generated class files and resources)”,設置 “JAR 文件(JAR file)” 路徑(如 E:\test_maven.jar),點擊 “完成(Finish)”,生成 JAR 包。
4.使用工具(如 Xftp)將生成的 JAR 包上傳到集群節點(如?node01
?的?/home/hadoop
?目錄)。
5.在集群終端(如?node01
)輸入命令:
hadoop jar <JAR 包路徑> <主類全限定名>
例如:hadoop jar test_maven.jar com.test.hadoop.mr.log.model.WordCountJob
,集群會運行 JAR 包中的 MapReduce 作業,輸出相關統計信息(如日志中的計數器數據、Map/Reduce 階段的記錄數等)。
可以得到運行結果:
?