wordcount linux java_linux下在eclipse上運行hadoop自帶例子wordcount

啟動eclipse:打開windows->open perspective->other->map/reduce 可以看到map/reduce開發視圖。設置Hadoop location.

打開windows->show view->other-> map/reduce Locations視圖,在點擊大象后【new Hadoop location】彈出的對話框(General tab)進行參數的添加:

Location name: 任意

map/reduce master:?與mapred-site.xml里面mapred.job.tracker設置一致。

DFS master:與core-site.xml里fs.default.name設置一致。

User name: 服務器上運行hadoop服務的用戶名。

這些已經足夠用。當然,如果你需要特殊設置,那么打開Advanced parameters設置面板,查看當前的選項以及修改其值.

創建Map/Reduce Project。運行最簡單的WordCount程序。

點擊Run on hadoop, 運行程序。你可以看到在output文件夾中出現文本段

運行時可能會出現內存溢出的異常:

原因是客戶端程序運行時java虛擬機內存分配不夠,修改run configuration(run as >run configurations),選擇Arguments選項卡,在VM arguments欄中加入-Xmx1024m,保存后執行沒有問題(即將執行時虛擬機內存調大)

在eclipse中運行wordcount.java,比在終端運行要簡單,首先su進入超級賬戶,運行eclipse,這里首先要確保eclipse的hadoop插件已經成功安裝。hadoop啟動,將eclipse中的dfs系統配置后,在eclipse頁面的左側dfs處刷新,新建文件夾input,upload想要測試的文件,然后在run->run as->run configration中配置參數,在argument選項卡中配置wordcount的參數,即測試文件和輸出文件夾的位置,中間用空格隔開,本人是如此配置的,hdfs://localhost:8020/user/root/input hdfs://localhost:8020/user/root/output,點擊run,運行完畢后在output文件夾中查看結果。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/533351.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/533351.shtml
英文地址,請注明出處:http://en.pswp.cn/news/533351.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

php java執行linux_java_java執行Linux命令的方法,本文實例講述了java執行Linux命 - phpStudy...

java執行Linux命令的方法本文實例講述了java執行Linux命令的方法。分享給大家供大家參考。具體實現方法如下:public class StreamGobbler extends Thread {InputStream is;String type;public StreamGobbler(InputStream is, String type) {this.is is;this.type …

java怎么接收前端請求_前端json post 請求 后端怎么接收

前端提交POST /api/test HTTP/1.1Host: 192.168.135.69:81Connection: keep-aliveContent-Length: 18Origin: http://192.168.135.69:81User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15…

minimum在java中的意思_Java Calendar getMinimum()用法及代碼示例

Calendar類中的getMinimum(int calndr_field)方法用于返回此Calendar實例的給定日歷字段(int calndr_field)的最小值。用法:public abstract int getMinimum(int calndr_field)參數:該方法采用一個參數calndr_field,該參數表示要操作的日歷字段。返回值&…

django mysql 一對多_請教,django中 如何向帶有外鍵(一對多和多對多)數據庫中批量插入數據?...

已自行解決,代碼如下:json格式:[{"標題": "小武","內容": "測試","類型":["情感","文學","散文"]"文章資源":[{"title":"小武.1…

安裝php no permision,php安裝過程中的No package ‘xxx’ found問題

php No package ‘oniguruma’ found今天安裝php7.4的時候遇到這樣的一個報錯,然后yum install oniguruma oniguruma-devel,重試安裝php,依然報錯,又編譯安裝oniguruma,重試安裝php,還是報錯,問…

php httpclient.class.php,php實現httpclient類示例

class httpClient {public $buffer null; // buffer 獲取返回的字符串public $referer null; // referer 設置 HTTP_REFERER 的網址public $response null; // response 服務器響應的 header 信息public $request null; // request 發送到服務器的 header 信息private $…

大學php老師,php高校教師總結計劃系統

通過使用本系統,可以規范工作流程,提高辦公效率,增強團隊協同工作能力,實現科學的公文處理、事物管理、會議安排和人力管理,量化運營資源,預防管理真空,降低運行成本。還可以實現便利的信息發布…

好用的php空間,推薦國內三個優質的免費PHP空間

1.億家免費國內PHP空間這是我見過最好的免費國內PHP空間了,這個BLOG就是由他的空間支撐的,所以你看到我這個空間的穩定,快速就代表著他們空間的優質了,推薦注冊地址:www.e9china.net這個先要在他們論壇上發帖子&#x…

java處理臟數據,Java程序的臟數據問題

臟數據(Out-of-date data),指過時的數據。假如在您的java程序中存在臟數據,將或多或少地給軟件系統帶來一些問題,如:無法實時地應用已經發生改變的配置,軟件系統出現一些莫名其妙的、難以重現的、后果嚴重的錯誤等等。…

制作自己的 Docker 容器

軟件開發最大的麻煩事之一,就是環境配置。用戶必須保證操作系統的設置,各種庫和組件的安裝,只有它們都正確,軟件才能運行。docker從根本上解決問題,軟件安裝的時候,把原始環境一模一樣地復制過來。 以 koa-…

notepad php源碼,GitHub - CharlesKiki/Web-Notepad: 這是一個仿制有道云筆記的原生PHP小玩具。...

What is this?一個仿制筆記的Web應用。但是重點在于“重構”的樂趣。特點簡言之,不使用框架就以原生的語言來開發一個網站,最大的好處就是最實現方法的理解會加深。但是不適用框架也意味著重復和冗余,這也導致了項目閱讀時的閱讀思路。設計稿…

matlab機械手ikine函數,關于Mtalab-robotics工具箱中的fkine和ikine兩個函數的問題討論!...

clear;clc;L1 Link([-pi/2 0 0 0 0],standard);L2 Link([0 10 0 -pi/2 0],standard);L3 Link([0 9.5 0 0 0],standard);L4 Link([-pi/2 3.2 -pi/2 0 0],standard);L5 Link([0 0 0 14.5 0],standard);r SerialLink([L1 L2 L3 L4 L5]);%r.name 5R工業機械臂-上電姿態;q […

matlab差分算子的灰度圖像邊緣檢測,常用圖像邊緣檢測方法及MATLAB研究

論文2 1年 2月 I 01 5日現代電子技術M o e n El c r i sT e h qu d r e ton c c ni e第3 4卷第 4期Fe .2 11 b 0 Vo1 3 . . 4 NO 4常用圖像邊緣檢測方法及 Malb研究 t a韋煒(安文理學院,陜西西安西 706 ) 1 0 5({№噸~一~一一一三一一垂”. ; _堇;~~ _一…

mysql客戶端重置密碼是多少,mysql重置root密碼

你可以按照以下簡單的五步來重置/etc/init.d/mysql stop輸出:Stopping MySQL database server: mysqld./usr/bin/mysqld_safe --skip-grant-tables &輸出:[1] 5988Starting mysqld daemon with databases from /var/lib/mysqlmysqld_safe[6025]: sta…

go為什么比php性能好,剛學 GO,擼了個支付寶發券的程序,為什么性能還比不上 PHP ?...

下面是主程代碼,這是詳細代碼func main() {//解析參數filePath : flag.String("f", "", "文件路徑")tplId : flag.String("t", "", "模版 ID")flag.Parse()//解析密鑰pk, err : ParsePrivateKey()chec…

php %3c%3c%3cxml 報錯,代碼審計| APPCMS SQL-XSS-CSRF-SHELL

0x01 背景由若水師傅提供的一個素材,想要復現CNVD上披露的一個APPCMS的漏洞,由CNVD上的描述可以知道存在漏洞的地方是comment.php這個文件,然后就沒有詳細的漏洞信息了,所以就需要分析相應的源碼文件找出存在漏洞的點。借這個素材…

php二進制保存到本地,C# 將二進制字符串保存到本地

C# 將二進制字符串保存到本地#region 將文件保存到本地/// /// 將文件保存到本地/// /// 文件的二進制數據字符串/// 文件名稱,必須帶后綴private void SaveFile(string psContent, string psFileName){byte[] accessory Convert.FromBase64String(psContent);//Sy…

suse 安裝oracle11,Suse11安裝Oracle11gR2

注:以下采用終端XmanagerEnterprise 4中的Xshell連接1、安裝前參數修改vi /etc/security/limits.conf --末尾添加如下oracle soft nproc 2047oracle hard nproc 16384oracle soft nofile 1024oracle hard nofile 65536vi /etc/sysctl.conf --末尾添加如…

oracle安裝缺少,安裝oracle11g R2 缺少依賴包

最近我在RHEL6.1上安裝oracle11gR2時總是碰見如題說示的錯誤,在網上查了很多資料但都未能解決。網上都說是gcc版本問題或者gcc的包沒有裝全,但沒有給出正確的gcc安裝方法。這里轉載別人的安裝gcc的rpm包的順序及方法,供各位參考:轉…

PHP7數字三角形代碼,倒數字三角

摘要&#xff1a;描述 Description以下的數字倒直角三角形是由二個數確定的&#xff1a;一個數是行數R&#xff0c;1<R<39&#xff0c;另一個是種子數S,1<S<9。S放在左上角&#xff0c;照著樣例輸出文件的樣子&#xff0c;寫一個程序&#xff0c;根據輸入的二個數打…