Hadoop運行任務時一直卡在: INFO mapreduce.Job: Running job

原文鏈接:http://blog.csdn.net/dai451954706/article/details/50464036

-----------------------------------------------------------------------------------------------------

 今天,一大清早同事就讓我幫他解決Hive的問題:他在Hive中執行簡單的查詢(直接從hive查詢數據,沒有MR過程)能很快的得到結果,但是執行復雜的查詢時,就一直卡著不動.我連到服務器上試了一下,跟他遇到的問題一樣,問題處在哪里呢?既然簡單的查詢能出結果,復雜查詢需要MR計算,但是卻卡住了,那估計是Hadoop的問題.

  于是,我在Hadoop跑一個簡單的WountCound程序試試,結果跟Hive中遇到的情況一樣:

????

??? 然后就一直卡在這個界面,很久都沒有結果.

 最先想到的是:配置可能有點問題.于是我把配置檢查了一遍,發現配置沒錯.于是,我又去檢查Yarn和HDFS的啟動日志,也沒有發現ERROR.接著,我查看每個任務運行時的Container日志,也沒有Error.真是見鬼了!

 在我查看各種日志和配置的時候,我同事在Docker中,將集群上的配置Copy過去,試了一遍,能正常運行!這...

 然后,我各種百度,google,在百度出來的各種方法我都試了一遍,仍然沒有解決問題!于是,我同事說,是不是安裝的時候有些包損壞了.于是,他又重新裝了一邊Hadoop,還是使用原來的配置,可問題依舊!

 此時,都已經搞了一直整天了,還有一個小時就要下班了!大哭于是,我在Google中看了幾篇文章,基本上上面所說的方法我都試了.終于,在Stackover上有一個哥們也遇到了同樣的問題,有人幫他解決了,里面鏈接到了一個網站:http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/? ,我打開一看,說的是要設置yarn里面關于內存和虛擬內存的配置項.我以前沒配置這幾項,也能正常運行,感覺是這個問題的可能性不大啊!但是,既然這么多方法都不管用,這能試一試了. 

  于是,我在yarn-site.xml中加了:

??????

[plain]?view plaincopy
在CODE上查看代碼片派生到我的代碼片
  1. <property>??
  2. ????<name>yarn.nodemanager.resource.memory-mb</name>??
  3. ????<value>20480</value>??
  4. </property>??
  5. <property>??
  6. ???<name>yarn.scheduler.minimum-allocation-mb</name>??
  7. ???<value>2048</value>??
  8. </property>??
  9. <property>??
  10. ????<name>yarn.nodemanager.vmem-pmem-ratio</name>??
  11. ????<value>2.1</value>??
  12. </property>??
? ?再次運行,居然成功了!

 然后運行Hive,也能正確的運行了!

? ? 出現此故障的原因應該是,在每個Docker分配的內存和CPU資源太少,不能滿足Hadoop和Hive運行所需的默認資源需求。


以上參數的配置詳解見博客:http://blog.csdn.net/zengmingen/article/details/52609893




本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/539180.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/539180.shtml
英文地址,請注明出處:http://en.pswp.cn/news/539180.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

git切換用戶密碼_Git 最基本的命令

本人比較懶&#xff0c;不是很愛學習新東西&#xff0c;之前用Git一直在用GUI SourceTree&#xff0c;今天因為用到Cloud IDEGitHub才迫不得已用一下Git的命令行&#xff0c;如果你是Git的新手&#xff0c;也分享給你最基本的命令。新建一個Git版本庫把一個本地文件夾變成一個G…

動態分區裝載數據

不開啟 一個個分區導入&#xff0c;分區需要做到一對一。 hive (zmgdb)> insert overwrite table p_t3 partition (cityningbo) > select name,post,address from p_t1 where cityningbo; 會啟動mapreduce進行導入&#xff0c;mr卡在kill job_xxxx&#…

python爬蟲常見報錯_對Python爬蟲常見工具總結,歡迎補充

前言 以前寫爬蟲都是用requests包&#xff0c;雖然很好用&#xff0c;不過還是要封裝一些header啊什么的&#xff0c;也沒有用過無頭瀏覽器&#xff0c;今天偶然接觸了一下。 原因是在處理一個錯誤的時候&#xff0c;用到了幾個以前沒有用過的工具&#xff1b;這幾個工具也挺常…

AI造福設計師:搭配色板這種苦差事交給GAN就好啦(教程)

本文來自AI新媒體量子位&#xff08;QbitAI&#xff09;設計師要開工&#xff0c;總是離不開配色方案&#xff0c;也就是色板。 不過&#xff0c;做色板可不是個簡單的活&#xff0c;色板生成器Colormind的作者Jack Qiao&#xff08;名字來自Product Hunt&#xff0c;我們下面叫…

mapreduce yarn內存參數

1、yarn-site.xml 設置 1.1 RM設置 RM的內存資源配置&#xff0c;主要是通過下面的兩個參數進行的&#xff08;這兩個值是Yarn平臺特性&#xff0c;應在yarn-sit.xml中配置好&#xff09;&#xff1a; yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-allocati…

python有哪些常用的package_個人Python常用Package及其安裝

為了避免每次重裝系統時又要東翻西找&#xff0c;現在此記錄一下目前常用的Python包安裝過程。 1) Python: 2.7.11, 下載地址&#xff1a;www.python.org。由于個人喜歡使用PyQt4&#xff08;其實是不會PyQt5……&#xff09;&#xff0c;因此選擇安裝Python2.7。 安裝好Python…

html網頁設計大賽_HTML5網頁設計大賽 || 決賽名單公布

歷經數日的HTML5網頁設計大賽初賽已經落下的帷幕激動人心的決賽即將開始你們準備好了嗎&#xff1f;①決賽名單在經過評委老師多輪評選后,有以下隊伍/(個人)脫穎而出進入決賽&#xff1a;1.施佳鏞_故宮旅游網2.王永校_神秘莫測的宇宙3.黃煒岳_廣州旅游網站4.吳貴濱_NameLess5.陳…

2018.03.12、Android知識點-Java篇

1、闡述下對象的自動裝箱和拆箱 2 基本數據類型的自動裝箱(autoboxing)、拆箱(unboxing)是自J2SE 5.0開始提供的功能。自動裝箱是java編譯器在java原生類型和對應的對象包裝類型上做的自動轉換。 自動裝箱&#xff1a;Integer i 1&#xff1b;其實編譯器為你自動實現了&#x…

Hive的數據模型—桶表

概述 桶表是對數據進行哈希取值&#xff0c;然后放到不同文件中存儲。 數據加載到桶表時&#xff0c;會對字段取hash值&#xff0c;然后與桶的數量取模。把數據放到對應的文件中。 物理上&#xff0c;每個桶就是表(或分區&#xff09;目錄里的一個文件&#xff0c;一個作業產…

mysql+使用swap_MySQL避免使用SWAP

當物理內存的數量不能容納數據的時候&#xff0c;os會把虛擬內存中的數據寫到磁盤上&#xff0c;此時的交換對于運行在操作系統中的進程是透明的。交換對與MySQL性能有很大的影響&#xff0c;對于Innodb存儲引擎它對內存中的數據鎖住全局互斥量&#xff0c;如果此時導致了磁盤的…

delphi bmp繪制矢量文件效率慢_聊一聊矢量瓦片的常識

一、矢量瓦片的基本原理和相關格式現階段&#xff0c;電子地圖瓦片主要使用兩種方式&#xff0c;一種是傳統的柵格瓦片&#xff0c;另外一種是新出的矢量瓦片(Vector Tiles)&#xff0c;前者是采用四叉樹金字塔模型的分級方式&#xff0c;將地圖切割成無數大小相等的矩形柵格圖…

python生成器與迭代器。

生成器 在python 中一邊循環一邊計算的機制&#xff0c;叫做生成器(generator)。 通過列表生成式&#xff0c;我們可以直接創建一個列表。但是&#xff0c;收到內存的限制&#xff0c;列表容量肯定是有限的。而且&#xff0c;創建一個包含100萬個元素的列表&#xff0c;不僅占用…

centos mysql 設置_CentOS下MySQL安裝后配置和設置-阿里云開發者社區

CentOS下MySQL安裝后配置和設置&#xff1a;1&#xff1a;安裝完成路徑:1、數據庫目錄/var/lib/mysql/2、配置文件/usr/share/mysql(mysql.server命令及配置文件)3、啟動腳本/etc/rc.d/init.d/(啟動腳本文件mysql的目錄)4、相關命令/usr/bin(mysqladmin mysqldump等命令)注:1~3…

python怎樣將list轉化成字典_在python 中如何將 list 轉化成 dictionary

原標題&#xff1a;在python 中如何將 list 轉化成 dictionary 問題1&#xff1a;如何將一個list轉化成一個dictionary&#xff1f; 問題描述&#xff1a;比如在python中我有一個如下的list&#xff0c;其中奇數位置對應字典的key&#xff0c;偶數位置為相應的value解決方案: 1…

vscode gcc debug dbg gdb c cpp c++ cuckoo monitor

為什么80%的碼農都做不了架構師&#xff1f;>>> 裝cygwin 或者mingGW&#xff0c;裝gcc工具鏈&#xff0c;并將cygwin的bin目錄加入環境變量PATH中。 ctrlshiftb {// See https://go.microsoft.com/fwlink/?LinkId733558// for the documentation about the tasks…

hive索引

創建 hive (zmgdb)> create index index_t1 on table v_t1(name) > as > org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler > with > deferred rebuild in table save_index_t1_table; OK Time …

python爬取知網論文關鍵詞_Python爬蟲根據關鍵詞爬取知網論文摘要并保存到數據庫中...

由于實驗室需要一些語料做研究&#xff0c;語料要求是知網上的論文摘要&#xff0c;但是目前最新版的知網爬起來有些麻煩&#xff0c;所以我利用的是知網的另外一個搜索接口 搜索出來的結果和知網上的結果幾乎一樣 在這個基礎上&#xff0c;我簡單看了些網頁的結構&#xff0c;…

網頁中查看pdf文檔

2019獨角獸企業重金招聘Python工程師標準>>> 介紹&#xff1a; PDFObject 是一個 JavaScript 庫&#xff0c;用來在HTML中動態嵌入 PDF 文檔。 實現代碼&#xff1a; <script type"text/javascript" src"pdfobject.js"></script>…

導入導出數據

導入數據 從文件中裝載數據 hive>LOAD DATA [LOCAL] INPATH ... [OVERWRITE] INTO TABLE t2 [PARTITION (provincebeijing)]; LOCAL&#xff1a;linux本地的文件。無LOCAL&#xff1a;是hdfs的文件 注意&#xff1a; 從本地文件系統中將數據導入到Hive表的過程中&#xf…

python opencv 讀取視頻流不解碼_python + opencv: 解決不能讀取視頻的問題

博主一開始使用python2.7和Opencv2.4.10來獲取攝像頭圖像&#xff0c;程序如下&#xff1a; cap cv2.VideoCapture(0) ret, frame cap.read()使用這個程序能夠打開攝像頭并獲取圖像&#xff0c;一切正常。 接著想使用OpenCv播放視頻&#xff0c;按照官方教程只要將VideoCaptu…