在eclipse中使用hadoop插件

我的配置環境看我的上篇博文。

配置過程:

?

(1)把插件放到eclipse/plugins目錄下。(我的版本上一篇也有)

3)重啟eclipse,配置Hadoop installation directory

如果插件安裝成功,打開Windows—Preferences后,在窗口左側會有Hadoop Map/Reduce選項,點擊此選項,在窗口右側設置Hadoop安裝路徑

4)配置Map/Reduce Locations

打開Windows—Open Perspective—Other,選擇Map/Reduce,點擊OK

點擊Map/Reduce Location選項卡,點擊右邊小象圖標,打開Hadoop Location配置窗口:

輸入Location Name,任意名稱即可.配置Map/Reduce MasterDFS MastrerHostPort配置成與core-site.xml的設置一致即可(9000)(貌似Map/Reduce Master 的端口設置任何數字都可以?)

點擊"Finish"按鈕,關閉窗口。

點擊左側的DFSLocations—>myhadoop(上一步配置的location name),如能看到user,表示安裝成功

5)新建WordCount項目

File—>Project,選擇Map/Reduce Project,輸入項目名稱比如:WordCount等。

?

然后就可以開始寫了。

WordCount的代碼網上有很多不再贅述。

?

運行:

HDFS上創建目錄/test

hadoop fs -mkdir /test

拷貝本地hello.txtHDFS/test

hadoop fs -copyFromLocal /usr/local/hadoop/input/hello.txt /test

點擊WordCount.java,右鍵,點擊Run As—>Run Configurations->arguments,配置運行參數,即輸入和輸出文件夾

hdfs://localhost:9000/test

hdfs://localhost:9000/test/out

點擊Run按鈕,運行程序。

運行完成后,查看運行結果

方法1

hadoop fs -ls output

可以看到有兩個輸出結果,_SUCCESSpart-r-00000

執行hadoop fs -cat output/*

方法2:

展開DFS Locations,如下圖所示,雙擊打開part-r00000查看結果

?

?

轉載于:https://www.cnblogs.com/flyuz/p/9118002.html

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/452446.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/452446.shtml
英文地址,請注明出處:http://en.pswp.cn/news/452446.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

從程序員到技術領導者

入行 你為什么要當程序員?每當我問起很多人入行的人,回答各不相同。 有很多人是因為喜歡。誰說過:熱愛是最好的老師。當然,關鍵是熱愛是否能支撐自己把愛好做成一份職業。但不論做多久,因為熱愛或曾經熱愛&#xff0…

黑盒測試和白盒測試

黑盒測試(又稱功能測試)把程序看作一個黑盒子,完全不考慮程序的內部結構和處理過程。黑盒測試是在程序接口進行的測試,只檢查程序功能是否能按照規格說明書的規定正常使用,程序是否能適當地接收輸入數據并產生正確的輸…

Diango博客--11.Nginx + Gunicorn + Supervisor 方式部署

文章目錄0.部署前準備1.創建一個超級用戶2.更新 SQLite33.安裝 Python3 、pip3.6以及 Pipenv4.部署代碼5.使用 Gunicorn6.啟動 Nginx 服務器7.配置 Nginx8.關閉 DEBUG 模式,收集靜態文件9.使用 Supervisor管理 Gunicorn 進程10.使用 CDN 加快 Bootstrap 和 jQuery 的…

計算機更改了用戶名數據恢復,怎么把電腦更換用戶后恢復到原來的用戶呢?

如何讓administrator帳戶出現在登陸畫面?安裝Windows XP時,如果設置了一個管理員賬戶,那么系統內置沒有密碼保護的Administrator管理員賬戶是不會出現在用戶登錄列表中的。雖然它身在幕后,可卻擁有系統最高權限,為了方…

StringBuilder類

1.1 StringBuilder類概述StringBuilder:是一個可變的字符串。字符串緩沖區類。 String和StringBuilder的區別:String的內容是固定的StringBuilder的內容是可變的1.1.1 拼接字符串耗費內存原因:每次拼接都會產生新的字符串對象,而利用StringBuilder來拼接字符串自始至…

如何使用搜索技巧來成為一名高效的程序員

沒有人是完全獨立的孤島,每個人都是整體的一部分。—— 約翰多恩對于缺乏編程知識的人來說,完全有可能編寫一個網頁或小程序。如果在用Google搜索相關示例時幸運的話,可以搜到現成的代碼。即使是經驗豐富的程序員,通常也會為了節省…

電開大計算機應用基礎作業,2016年電大-電大計算機應用基礎作業 答案.doc

2016年電大-電大計算機應用基礎作業 答案計算機作業2單項選擇題:第1題:在Word中編輯文本時,編輯區顯示的“水印”在打印時( )出現在紙上。(2分)A、不會B、全部C、一部分D、大部分第2題:Word文檔以文件形式存放于磁盤中,其默認的文件擴展名為(…

軟件測試的步驟

大型軟件系統的測試過程基本上由模塊測試、子系統測試、系統測試、驗收測試和平行運行等五個步驟組成。 1.模塊測試 在設計得好的軟件系統中,每個模塊完成一個清晰定義的子功能,而且這個子功能和同級其他模塊的功能之間沒有相互依賴關系。因此&#xff…

linux系統優化思路

文章目錄一. 影響linux性能的因素1.系統硬件資源2.操作系統相關資源3.應用程序軟件資源二. 分析系統性能涉及的人員1.Linux運維人員2.系統架構設計人員3.軟件開發人員三. 系統性能分析工具四.思路總結一. 影響linux性能的因素 1.系統硬件資源 1)cpu 2)…

遞歸鎖

from threading import Thread,RLock import timemutexAmutexBRLock()#一個線程拿到鎖,counter加1,該線程內又碰到加鎖的情況,則counter繼續加1, #這期間所有其他線程都只能等待,等待該線程釋放所有鎖,即counter遞減到…

UI體系的本質是結構化存在

UI體系的本質是結構化存在; UI系統的問題需要使用結構化的思維來處理。

什么是視圖

視圖是存儲在數據庫中的查詢的SQL 語句,它主要出于兩種原因:安全原因, 視圖可以隱藏一些數據,如:社會保險基金表,可以用視圖只顯示姓名,地址,而不顯示社會保險號和工資數等&#xff…

30分鐘,讓你成為一個更好的程序員

我相信激勵是非常重要的。這也是為什么我常常把時間管理(這些書激勵我不管改進我的時間管理方法)的書和軟件開發拿出來看看。我最近剛看完一本 書,“Apprenticeship Patterns: Guidance for the Aspiring Software Craftsman”。這本書推動我…

如何啟用計算機的遠程服務,遠程桌面服務,教您怎么打開遠程桌面服務

遠程桌面可以通過控制另一臺電腦的功能,讓網絡管理員可以在家中安全的控制單位的服務器,而且這個功能是系統內置的,所以比使用其他第三方的遠程控制工具更方便。那么我的重點來了,我今天就教你們怎么打開桌面遠程服務,…

pipenv相關指令

pip install pipenv 安裝pipenv pipenv install 創建虛擬環境 (項目根目錄下) pipenv shell     進入虛擬環境(如果不存在,則創建并進入虛擬環境) pipenv install flask   安裝模塊 pipenv uninstall flask 卸…

簡易多線程爬蟲框架

本文首發于知乎 本文使用多線程實現一個簡易爬蟲框架,讓我們只需要關注網頁的解析,不用自己設置多線程、隊列等事情。調用形式類似scrapy,而諸多功能還不完善,因此稱為簡易爬蟲框架。 這個框架實現了Spider類,讓我們只…

【小松教你手游開發】【unity實用技能】給每個GameObject的打開關閉加上一個漸變...

在游戲開發中,經常會因為直接將GameObject,setActive的方式打開關閉,這種方式效果太過生硬而給它加上一個Tween 可能是AlphaTween或者ScaleTween。 再加上一個PlayTween來做控制。 這樣子需要在每個GameObject上加上這幾個Component不說&…

靜態網頁和動態網頁

靜態網頁是指不應用程序而直接或間接制作成html的網頁,這種網頁的內容是固定的,修改和更新都必須要通過專用的網頁制作工具,比如Dreamweaver。動態網頁是指使用網頁腳本語言,比如php、asp、asp.net等,通過腳本將網站內…

在微型計算機中 如果電源突然中斷,微型計算機在工作中電源突然中斷,則其中的信息全部丟失,再次通電后也不能恢復的..._考試資料網...

請根據下面的文字材料,完成一節課的教學設計。 絲綢之路 一座古樸典雅的“絲綢之路”巨型石雕,矗立在西安市玉祥門外。那馱著彩綢的一峰峰駱駝,高鼻凹眼的西域商人,精神飽滿,栩栩如生。商人們在這個東方大都市開了眼界…

Vmware上安裝RedHat Linux 7.3操作系統手冊

文章目錄1.點擊“創建新的虛擬機”,勾選“自定義”選項,點擊一步;2.默認選擇最高版本的workstations,點擊下一步;3.選擇“稍后安裝操作系統”,點擊下一步;4&a…