啟動eclipse:打開windows->open perspective->other->map/reduce 可以看到map/reduce開發視圖。設置Hadoop location.
打開windows->show view->other-> map/reduce Locations視圖,在點擊大象后【new Hadoop location】彈出的對話框(General tab)進行參數的添加:
Location name: 任意
map/reduce master:?與mapred-site.xml里面mapred.job.tracker設置一致。
DFS master:與core-site.xml里fs.default.name設置一致。
User name: 服務器上運行hadoop服務的用戶名。
這些已經足夠用。當然,如果你需要特殊設置,那么打開Advanced parameters設置面板,查看當前的選項以及修改其值.
創建Map/Reduce Project。運行最簡單的WordCount程序。
點擊Run on hadoop, 運行程序。你可以看到在output文件夾中出現文本段
運行時可能會出現內存溢出的異常:
原因是客戶端程序運行時java虛擬機內存分配不夠,修改run configuration(run as >run configurations),選擇Arguments選項卡,在VM arguments欄中加入-Xmx1024m,保存后執行沒有問題(即將執行時虛擬機內存調大)
在eclipse中運行wordcount.java,比在終端運行要簡單,首先su進入超級賬戶,運行eclipse,這里首先要確保eclipse的hadoop插件已經成功安裝。hadoop啟動,將eclipse中的dfs系統配置后,在eclipse頁面的左側dfs處刷新,新建文件夾input,upload想要測試的文件,然后在run->run as->run configration中配置參數,在argument選項卡中配置wordcount的參數,即測試文件和輸出文件夾的位置,中間用空格隔開,本人是如此配置的,hdfs://localhost:8020/user/root/input hdfs://localhost:8020/user/root/output,點擊run,運行完畢后在output文件夾中查看結果。