java.lang.IllegalArgumentException: Does not contain a valid host:port authority: ignorethis

執行Hive語句運行MapReduce程序時突然出現這樣的異常：

Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks not specified. Estimated from input data size: 1
In order to change the average load for a reducer (in bytes):set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:set mapred.reduce.tasks=<number>
Starting Job = job_1510149586421_0024, Tracking URL = http://shizhan:8088/proxy/application_1510149586421_0024/
Kill Command = /root/apps/hadoop-2.6.4/bin/hadoop job  -Dmapred.job.tracker=ignorethis -kill job_1510149586421_0024
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2017-11-08 22:55:28,184 Stage-1 map = 0%,  reduce = 0%
2017-11-08 22:55:37,507 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.4 sec
2017-11-08 22:55:38,539 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.4 sec
2017-11-08 22:55:39,564 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.4 sec
2017-11-08 22:55:40,588 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.4 sec
2017-11-08 22:55:41,615 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.4 sec
2017-11-08 22:55:42,644 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.4 sec
2017-11-08 22:55:43,679 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.4 sec
2017-11-08 22:55:44,709 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.4 sec
2017-11-08 22:55:45,737 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.4 sec
2017-11-08 22:55:46,770 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.4 sec
2017-11-08 22:55:47,794 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.4 sec
2017-11-08 22:55:48,823 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 1.4 sec
2017-11-08 22:55:49,855 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 1.4 sec
MapReduce Total cumulative CPU time: 1 seconds 400 msec
Ended Job = job_1510149586421_0024 with errors
Error during job, obtaining debugging information...
Examining task ID: task_1510149586421_0024_m_000000 (and more) from job job_1510149586421_0024
Exception in thread "Thread-414" java.lang.IllegalArgumentException: Does not contain a valid host:port authority: ignorethisat org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:212)at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:164)at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:153)at org.apache.hadoop.hive.ql.exec.JobTrackerURLResolver.getURL(JobTrackerURLResolver.java:42)at org.apache.hadoop.hive.ql.exec.JobDebugger.showJobFailDebugInfo(JobDebugger.java:209)at org.apache.hadoop.hive.ql.exec.JobDebugger.run(JobDebugger.java:92)at java.lang.Thread.run(Thread.java:744)
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
MapReduce Jobs Launched: 
Job 0: Map: 1  Reduce: 1   Cumulative CPU: 1.4 sec   HDFS Read: 1125 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 1 seconds 400 msec
hive> date -s '2017-11-8 22:58:00'> ;
FAILED: Parse Error: line 1:0 cannot recognize input near 'date' '-' 's'

平時怎么操作都沒問題，今天突然就拋出這樣的異常，也有點讓人摸不著頭腦。重點是執行某些簡單的查詢語句時沒有任何問題，一旦查詢語句復雜點，就會拋出這樣的異常。根據拋出的異常信息發現不了什么，于是就去查看hadoop打印的log日志，發現了問題的原因。
關鍵日志如下：

2017-11-08 22:54:52,543 INFO org.apache.hadoop.yarn.server.resourcemanager.recovery.RMStateStore: Updating info for app: application_1510149586421_0023
2017-11-08 22:54:52,545 INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl: Application application_1510149586421_0023 failed 2 times due to Error launching appattempt_1510149586421_0023_000002. Got exception: org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container. 
This token is expired. current time is 1510181693928 found 1510153492530
Note: System times on machines may be out of sync. Check system time and time zones.at sun.reflect.GeneratedConstructorAccessor47.newInstance(Unknown Source)at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)at java.lang.reflect.Constructor.newInstance(Constructor.java:526)at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:168)at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.launch(AMLauncher.java:123)at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.run(AMLauncher.java:251)at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)at java.lang.Thread.run(Thread.java:744)
. Failing the application.
2017-11-08 22:54:52,545 INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl: application_1510149586421_0023 State change from FINAL_SAVING to FAILED
2017-11-08 22:54:52,545 WARN org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger: USER=root OPERATION=Application Finished - Failed TARGET=RMAppManager RESULT=FAILURE  DESCRIPTION=App failed with state: FAILED   PERMISSIONS=Application application_1510149586421_0023 failed 2 times due to Error launching appattempt_1510149586421_0023_000002. Got exception: org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container. 
This token is expired. current time is 1510181693928 found 1510153492530
Note: System times on machines may be out of sync. Check system time and time zones.at sun.reflect.GeneratedConstructorAccessor47.newInstance(Unknown Source)at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)at java.lang.reflect.Constructor.newInstance(Constructor.java:526)at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:168)at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.launch(AMLauncher.java:123)at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.run(AMLauncher.java:251)at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)at java.lang.Thread.run(Thread.java:744)
. Failing the application.  APPID=application_1510149586421_0023
2017-11-08 22:54:52,545 INFO org.apache.hadoop.yarn.server.resourcemanager.RMAppManager$ApplicationSummary:

可以看到這樣的一行：Note: System times on machines may be out of sync. Check system time and time zones.
原來是節點間的時間不同步。。。
這樣也能解釋下為什么有些簡單的語句可以執行，有些復雜的卻執行不了。
原因就是當我執行簡單語句時，maptask和reducetask都在同一個節點上執行，不會有時間不同步問題；而當我執行復雜的語句時，也許有一個或多個reducetask，如果是多個的話，那么多個reducetask分布在不同的節點上，時間就會不同步，最終寫出數據到文件時就會有時間差異，所以才會報錯。如果仍是一個，那這一個reducetask肯定在另一個節點上，時間不同步，才會拋出異常。（比如我reduce的時間要早于map的時間）
但是從最初的異常信息來看，我個人認為是在最終將reduce的結果輸出到文件的這個階段出現了異常（reduce階段已經達到100%）。當然，如果想確認在那一塊出現了問題，還得去查看源碼。

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/456741.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/456741.shtml
英文地址，請注明出處：http://en.pswp.cn/news/456741.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

Oracle基礎語句

Oracle基礎語句

1、創建表create table IT_EMPLOYEES(ENPLOYEES_ID NUMBER(6) NOT NULL UNIQUE,FIRST_NAME VARCHAR2(20),LAST_NAME VARCHAR2(25) NOT NULL,EMAIL VARCHAR2(25),PHONE_NUMBER VARCHAR2(20),JOB_ID VARCHAR2(10),SALARY NUMBER(8,2),MANAGER_ID NUMBER(6));2、--創建索引&#x…
閱讀更多...
Linux三劍客之grep 與 egrep

Linux三劍客之grep 與 egrep

grep&#xff1a;Linux上文本處理三劍客1 grep&#xff1a;文本過濾(模式&#xff1a;pattern)工具; *&#xff08;grep, egrep, fgrep&#xff09; 2 sed&#xff1a;stream editor&#xff0c;文本編輯工具&#xff1b; 3 awk&#xff1a;Linux上的實現gawk&#xff0c;文本報…
閱讀更多...
WSGI直觀形象的了解一下

WSGI直觀形象的了解一下

1. 瀏覽器請求動態頁面過程 2. WSGI 怎么在你剛建立的Web服務器上運行一個Django應用和Flask應用&#xff0c;如何不做任何改變而適應不同的web架構呢&#xff1f; 在以前&#xff0c;選擇 Python web 架構會受制于可用的web服務器&#xff0c;反之亦然。如果架構和服務器可以…
閱讀更多...
安裝Hbase（分布式）遇到一些問題及解決方法

安裝Hbase（分布式）遇到一些問題及解決方法

問題一&#xff1a;安裝完成后在Hbase shell 命令行執行list命令時&#xff0c;爆出如下錯誤&#xff1a; hbase(main):001:0> list TABLE …
閱讀更多...
安裝MySql卡在Start Service的問題

安裝MySql卡在Start Service的問題

我的情況&#xff1a;之前在windows下安裝過5.6版本&#xff0c;卸載后&#xff0c;現在安裝5.7版本&#xff0c;然后卡在Start Service這里&#xff0c;log日志沒報任何錯誤&#xff0c;后來經過不斷的嘗試各種網上的辦法終于把問題解決了。 問題的原因就是當初卸載5.6版本時…
閱讀更多...
學習進度條11

學習進度條11

第十三周 日期 星期一 星期二 星期三 星期四 星期五 星期六 所花時間&#xff08;包括上課&#xff09; 19:10-22:20 (編程河北省科技信息通用調查系統) 8:00-10:00 (上課) 18:30-21:00 (Oracle實驗) 14:00-16:30 (編程河北省科技信息通用調查系統) 18:20-22:30 (編…
閱讀更多...
Python面向切面編程是什么

Python面向切面編程是什么

簡而言之就是裝飾器 https://blog.csdn.net/qq_41856814/article/details/90146293
閱讀更多...
hibernate實現多變聯合查詢

hibernate實現多變聯合查詢

Hibernate主要支持兩種查詢方式&#xff1a;HQL查詢和Criteria查詢。前者應用較為廣發&#xff0c;后者也只是調用封裝好的接口。 現在有一個問題&#xff0c;就是實現多表連接查詢&#xff0c;且查詢結果集不與任何一個實體類對應&#xff0c;怎么解決呢&#xff1f; 舉個例子…
閱讀更多...
PyCharm光標變粗的解決辦法

PyCharm光標變粗的解決辦法

pycharm中光標變粗&#xff0c;如下&#xff1a; 此時變成了改寫模式&#xff0c;只需要按下鍵盤的insert鍵即可 轉載于:https://www.cnblogs.com/uglyliu/p/6159839.html
閱讀更多...
SparkRDD常用算子實踐（附運行效果圖）

SparkRDD常用算子實踐（附運行效果圖）

目錄1、簡單算子說明2、復雜算子說明 目錄 SparkRDD算子分為兩類&#xff1a;Transformation與Action. Transformation&#xff1a;即延遲加載數據&#xff0c;Transformation會記錄元數據信息&#xff0c;當計算任務觸發Action時&#xff0c;才會真正開始計算。 Action&am…
閱讀更多...
six庫是什么

six庫是什么

Utilities for writing code that runs on Python 2 and 3”“” 它是一個專門用來兼容 Python 2 和 Python 3 的庫。它解決了諸如 urllib 的部分方法不兼容&#xff0c; str 和 bytes 類型不兼容等“知名”問題。
閱讀更多...
Kali-linux使用Nessus

Kali-linux使用Nessus

Nessus號稱是世界上最流行的漏洞掃描程序&#xff0c;全世界有超過75000個組織在使用它。該工具提供完整的電腦漏洞掃描服務&#xff0c;并隨時更新其漏洞數據庫。Nessus不同于傳統的漏洞掃描軟件&#xff0c;Nessus可同時在本機或遠端上遙控&#xff0c;進行系統的漏洞分析掃描…
閱讀更多...
HDFS讀寫數據的原理

HDFS讀寫數據的原理

目錄1 概述2 HDFS寫數據流程3 HDFS讀數據流程 目錄 最近由于要準備面試&#xff0c;就把之前學過的東西好好整理下&#xff0c;權當是復習。 下面說下HDFS讀寫數據的原理。 1 概述 HDFS集群分為兩大角色&#xff1a;NameNode、DataNode NameNode負責管理整個文件系統的元數…
閱讀更多...
理解列存儲索引

理解列存儲索引

版權聲明&#xff1a;原創作品&#xff0c;謝絕轉載&#xff01;否則將追究法律責任。 優點和使用場景 SQL Server 內存中列存儲索引通過使用基于列的數據存儲和基于列的查詢處理來存儲和管理數據。 列存儲索引適合于主要執行大容量加載和只讀查詢的數據倉庫工作負荷…
閱讀更多...
Django項目部署到阿里云服務器上無法發送郵件STMP

Django項目部署到阿里云服務器上無法發送郵件STMP

部署好項目之后發送郵件無法發送&#xff0c;多方查閱之后&#xff0c;解決問題。 阿里云服務器禁用了25端口&#xff0c;導致無法發送郵件。 25端口申請開放的難度很大&#xff0c;直接放棄。 解決&#xff1a; 在 django項目的 settings.py文件中x修改port端口 。
閱讀更多...
美國誠實簽經驗——IMG全球醫療險，TODO

美國誠實簽經驗——IMG全球醫療險，TODO

那么&#xff0c;誠實簽最關鍵的4個要點 是什么呢&#xff1f; 第一&#xff0c;證明你有一定的經濟實力。 可能需要房產、存款等證明&#xff0c;也需要銀行信用卡或借記卡半年流水證明&#xff08;讓人信服的每月進帳和消費能力&#xff09;。 這些是為了證明&#xff0c;你可…
閱讀更多...
大數據開發初學者學習路線

大數據開發初學者學習路線

目錄前言導讀&#xff1a;第一章&#xff1a;初識Hadoop第二章&#xff1a;更高效的WordCount第三章&#xff1a;把別處的數據搞到Hadoop上第四章&#xff1a;把Hadoop上的數據搞到別處去第五章&#xff1a;快一點吧&#xff0c;我的SQL第六章&#xff1a;一夫多妻制第七章&…
閱讀更多...
Python的虛擬環境配置(pyenv+virtualenv)

Python的虛擬環境配置(pyenv+virtualenv)

一、為什么需要配置虛擬環境 Python 2和Python 3之間存在著較大的差異&#xff0c;并且&#xff0c;由于各種原因導致了Python 2和Python 3的長期共存。在實際工作過程中&#xff0c;我們可能會同時用到Python 2和Python 3&#xff0c;因此&#xff0c;也需要經常在Python 2和P…
閱讀更多...
安卓屏幕適配問題

安卓屏幕適配問題

屏幕適配是根據屏幕密度&#xff0c;dpi為單位的&#xff0c;而不是分辨率。 手機會根據不同手機的密度&#xff0c;自己去不同資源目錄下去找對應的資源 比如:　　 每個圖片目錄下的圖片資源都是一樣的&#xff0c;只是大小不一樣　　 比如drawable-sw800dp-mdpi目錄&#xff…
閱讀更多...
MapReduce原理全剖析

MapReduce原理全剖析

MapReduce剖析圖 如上圖所示是MR的運行詳細過程 首先mapTask讀文件是通過InputFormat&#xff08;內部是調RecordReader()–&#xff1e;read()&#xff09;來一次讀一行&#xff0c;返回K,V值。&#xff08;默認是TextInputFormat&#xff0c;還可以輸入其他的類型如:音視頻&…
閱讀更多...
最新文章

Copyright @ 2022~2023