日常問題——flume連接hive時報錯Caused by: java.lang.NoSuchMethodError

問題描述:

今天新安裝的flume,使用flume來做kafka與hive對接時出現了以下兩個的錯誤:

Caused by: org.apache.hive.hcatalog.streaming.ConnectionError: HiveEndPoint{metaStoreUri='thrift://localhost:9083', database='db', table='student', partitionVals=}
(HiveWriter.java:99)at org.apache.flume.sink.hive.HiveSink.getOrCreateWriter(HiveSink.java:346)at org.apache.flume.sink.hive.HiveSink.drainOneBatch(HiveSink.java:297)at org.apache.flume.sink.hive.HiveSink.process(HiveSink.java:254)at org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:67)
Caused by: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)Vat org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)at org.apache.hadoop.mapred.JobConf.setJar(JobConf.java:536)at org.apache.hadoop.mapred.JobConf.setJarByClass(JobConf.java:554)at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:448)at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5141)

本著問題要一個一個順序解決的態度,對Caused by: org.apache.hive.hcatalog.streaming.ConnectionError: HiveEndPoint{metaStoreUri=‘thrift://localhost:9083’, database=‘db’, table=‘student’, partitionVals=}問題進行搜索,但是大多數百度的內容都是表要分桶,開啟事務,格式是:org ,因為他們的問題也與我的不全一樣。

解決方案(過程):

第一個問題解決無果后,我聯想會不會是第二個問題導致的第一個發生錯誤,是他的前置條件,于是查看第二個報錯的問題

Caused by: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

哈哈,發現是hive/lib下與flume/lib下的guava的jar包的版本不一致導致的,這個問題在安裝運行hive時與hadoop下的guava版本不一致時就遇到過,就很可惜,用了很長的一塊時間。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/535843.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/535843.shtml
英文地址,請注明出處:http://en.pswp.cn/news/535843.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

MIP 技術進展月報:儲存功能全新上線,MIP-Cache域名升級,校驗更嚴謹

集 * 瞬時觸達用戶、高轉化率、炫酷閃電標、優質展現形式 * 等諸多特性為一體的 MIP 頁面吸引了眾多站點進行改造。為了更好地服務于廣大站長&#xff0c;更快地傾聽站長們的聲音&#xff0c;MIP 技術團隊特推出《MIP 技術進展月報》&#xff0c;歡迎大家對 MIP 技術提建議&…

通過Flume簡單實現Kafka與Hive對接(Json格式)

將以下存儲在kafka的topic中的JSON格式字符串&#xff0c;對接存儲到Hive的表中 {"id":1,"name":"小李"} {"id":2,"name":"小張"} {"id":3,"name":"小劉"} {"id":4,&qu…

改造MIP獲得搜索青睞,輕松完成SEO

搜索引擎目標及頁面排序方法 搜索引擎作為互聯網流量的入口&#xff0c;承擔著流量分發的職責。但排序成千上萬的網頁&#xff0c;決定哪些網頁在第一頁&#xff0c;是由網頁本身的用戶體驗決定的。權重算法會從內容優質性&#xff0c;廣告多少&#xff0c;加載速度等多個角度…

日常問題———Attempting to operate on hdfs namenode as root

寫在最前注意&#xff1a; 1、master&#xff0c;slave都需要修改start-dfs.sh&#xff0c;stop-dfs.sh&#xff0c;start-yarn.sh&#xff0c;stop-yarn.sh四個文件 2、如果你的Hadoop是另外啟用其它用戶來啟動&#xff0c;記得將root改為對應用戶 HDFS格式化后啟動dfs出現以…

WebP 在減少圖片體積和流量上的效果如何?MIP技術實踐分享

作者 | Jackson 編輯 | 尾尾 不論是 PC 還是移動端&#xff0c;圖片一直占據著頁面流量的大頭&#xff0c;在圖片的大小和質量之間如何權衡&#xff0c;成為了長期困擾開發者們的問題。而 WebP 技術的出現&#xff0c;為解決該問題提供了好的方案。本文將為大家詳細介紹 WebP …

日常問題——pdsh localhost Connection refused

問題描述&#xff1a; 本地安裝hadoop單機模式的時候需要啟動namenode時報錯 pdshxxx: localhost: connect: Connection refused解決方案&#xff08;過程&#xff09;&#xff1a; 原因是pdsh默認采用的是rsh登錄&#xff0c;修改成ssh登錄即可&#xff0c;在環境變量/etc/…

MIP技術進展月報第2期: 數據綁定,異步腳本加速

一、 功能更新 1. mip-bind 上線&#xff0c;實現復雜交互 MIP bind 雙向綁定機制和組件上線&#xff0c;提供雙向綁定的特性&#xff1b;能夠允許頁面實現數據驅動功能&#xff0c;開發者可以在任意場景修改數據&#xff0c;并驅動頁面元素變動。 MIP 小姐姐畫外音&#xf…

Hadoop的安裝與配置——設置單節點群集

本篇博客將主要介紹如何設置和配置單節點Hadoop安裝&#xff0c;以便我們可以使用Hadoop 的MapReduce與HDFS快速執行簡單的操作。 零、先決條件 1、本系列以Ubuntu Linux作為開發和生產平臺 2、Linux所需的軟件包括&#xff1a; JAVA&#xff1a;必須安裝Java&#xff0c;配置…

MIP 腳本域名地址變更公告

尊敬的 MIP 開發者&#xff1a; MIP 團隊為了解決 MIP-Cache 頁面下 cookie 相互覆蓋問題&#xff0c;增強站點品牌露出&#xff0c;在 2017 年 8 月將 MIP 的腳本域名和 MIP-Cache 頁面域名進行了升級變更&#xff0c;詳見說明 MIP-Cache 域名升級。 在 12 月中旬&#xff0…

新手教程:不寫JS,在MIP頁中實現異步加載數據

從需求談起&#xff1a;在 MIP 頁中異步加載數據 MIP&#xff08;移動網頁加速器&#xff09; 的 加速原理 除了靠譜的 MIP-Cache CDN 加速外&#xff0c;最值得一提的就是組件系統。所有 JS 交互都需要使用 MIP 組件實現&#xff0c;保證頁面中所有 JS 都是最精簡高效的&…

日常問題———安裝新版zookeeper 出現Starting zookeeper ... FAILED TO START

問題描述 安裝新版zookeeper使用 /apache-zookeeper-3.6.1.tar.gz解壓后運行zoServer.sh文件時出現Starting zookeeper … FAILED TO START錯誤 解決方案&#xff08;過程&#xff09; 實際上應該是下載錯了文件。在官網上有兩個tar.gz文件&#xff0c;從3.5.5版本開始&…

Hadoop的安裝與配置——搭建完全分布式集群

一、搭建集群 1、準備服務器&#xff08;這里以我的3臺Centos7為例&#xff09; 1個主節點&#xff1a;Carlota1(192.168.33.21)&#xff0c;2個子節點&#xff1a;Carlota2(192.168.33.22)&#xff0c;Carlota3(192.168.33.23) 2、配置主節點名 在主節點命令行輸入&#x…

HTTP 視頻怎么在 MIP 頁面中使用?

在 MIP 中&#xff0c;一些資源的使用需要支持 HTTPS&#xff0c;視頻就是其中一種。但目前大部分站點的視頻資源都還是 HTTP 的資源&#xff0c;無法在百度 MIP 搜索結果中直接使用&#xff0c; mip-video 視頻組件針對 HTTP 的視頻資源采用跳到一個 HTTP 的播放頁面進行播放&…

MIP 組件庫升級公告

背景 為了方便廣大開發者們更好地使用組件&#xff0c;現對 MIP 組件庫統一進行升級&#xff0c;升級后將分為通用組件和自定義組件兩類&#xff0c;方便開發。 通用組件&#xff0c;即考慮了組件通用性方便所有開發者參考使用的組件&#xff0c;將存放于 mip-extensions 倉庫…

騰訊云服務器 ubuntu 設置允許root用戶登錄和禁用ubuntu用戶

最近購買了騰訊云服務器&#xff0c;使用了 Ubuntu Server 18.04.1 LTS 64位操作系統&#xff0c;發現默認用戶為ubuntu,而無法用root用戶進行ssh登陸&#xff0c;本篇就記錄一下開通root和禁用ubuntu的過程。 1、設置允許root用戶登錄 使用用戶名ubuntu登錄sudo passwd root…

Ubuntu 修改 hostname

1、vi /etc/cloud/cloud.cfg 2、將preserve_hostname: false修改為preserve_hostname: true 3、hostnamectl set-hostname 主機名 4、reboot重啟系統生效

MIP 技術月報(4月):支持熊掌號登錄;優化頁面懸浮元素

之前由MIP團隊維護的《移動 Web 加速技術月報》從本期開始&#xff0c;正式升級為《MIP 技術月報》&#xff0c;與以往不同的是&#xff0c;《MIP 技術月報》將會與大家分享包含移動加速技術以外的其他移動應用開發的技術&#xff0c;從移動用戶體驗、開發體驗出發來分享 MIP 的…

Ubuntu18.04安裝最新版Docker

卸載舊的docker版本apt-get remove docker docker-engine docker.io containerd runc更新軟件列表apt-get update.允許apt命令可以使用HTTPS訪問Docker repositoryapt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common添加Docker…

MIP 問題解決方案大全(2018-06更新)

在 MIP 推出后&#xff0c;我們收到了一些站長的疑問。現將常見問題整理出來&#xff0c;幫助大家了解 MIP 的知識。 一、MIP 認知類問題二、改造前準備三、前端改造&#xff0c;組件使用四、提交生效五、MIPCache六、更多學習資源 一、MIP 認知類問題 1.1 MIP 化的收益是什…

Ubuntu18使用docker快速安裝oracle 11g

1、安裝docker環境&#xff0c;參照Ubuntu18.04安裝最新版Docker 2、下載oracle鏡像docker pull deadok22/docker-oracle-xe-11g 3、下載完成后&#xff0c;啟動oracle鏡像作為容器&#xff1a;docker run -h "oracle" --name "oracle" -d -p 49160:22 -p …