HUE配置文件hue.ini 的zookeeper模塊詳解(圖文詳解)(分HA集群)

?

不多說,直接上干貨!

  我的集群機器情況是?bigdatamaster(192.168.80.10)、bigdataslave1(192.168.80.11)和bigdataslave2(192.168.80.12)

  然后,安裝目錄是在/home/hadoop/app下。

?

  官方建議在master機器上安裝Hue,我這里也不例外。安裝在bigdatamaster機器上。

?

 Hue版本:hue-3.9.0-cdh5.5.4
 需要編譯才能使用(聯網)


 說給大家的話:大家電腦的配置好的話,一定要安裝cloudera manager。畢竟是一家人的。
同時,我也親身經歷過,會有部分組件版本出現問題安裝起來要個大半天時間去排除,做好心里準備。廢話不多說,因為我目前讀研,自己筆記本電腦最大8G,只能玩手動來練手。
純粹是為了給身邊沒高配且條件有限的學生黨看的! 但我已經在實驗室機器群里搭建好cloudera manager 以及 ambari都有。

大數據領域兩大最主流集群管理工具Ambari和Cloudera Manger

Cloudera安裝搭建部署大數據集群(圖文分五大步詳解)(博主強烈推薦)

Ambari安裝搭建部署大數據集群(圖文分五大步詳解)(博主強烈推薦)

?

?

?

?

?

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl

?

?

?

?

?

一、以下是默認的配置文件

?  這里,暫時不說

?

?

二、以下是跟我機器集群匹配的配置文件(非HA集群下怎么配置Hue的zookeeper模塊)

###########################################################################
# Settings to configure the Zookeeper application.
###########################################################################[zookeeper][[clusters]][[[default]]]# Zookeeper ensemble. Comma separated list of Host/Port.# e.g. localhost:2181,localhost:2182,localhost:2183host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181# The URL of the REST contrib service (required for znode browsing).## rest_url=http://localhost:9998
# Name of Kerberos principal when using security.## principal_name=zookeeper

?

?

?

?

?

?

?

三、以下是跟我機器集群匹配的配置文件(非HA集群下怎么配置Hue的zookeeper模塊)

?hadoop-2.6.0.tar.gz的集群搭建(5節點)

?

###########################################################################
# Settings to configure the Zookeeper application.
###########################################################################[zookeeper][[clusters]][[[default]]]# Zookeeper ensemble. Comma separated list of Host/Port.# e.g. localhost:2181,localhost:2182,localhost:2183host_ports=djt11:2181,djt12:2181,djt13:2181,djt14:2181,djt15:2181# The URL of the REST contrib service (required for znode browsing).## rest_url=http://localhost:9998
# Name of Kerberos principal when using security.## principal_name=zookeeper

?

?

?

?

?

?

  如果,單獨只配置上述的話,就算我們的zookeeper集群進程全都正常啟動,但是,還是會無法連接,出現錯誤?無法正確連接到 Zookeeper!!!!timed out (這里,適用非HA和HA集群)

?

?

?

?

  因為,官網給的步驟,很詳細(記住,只要三步就好,一切都要看官網,別跟著別人的博客走)

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_hhc_hwn_rl

?

?

?

?

?  第一步:首先,進入【ZOOKEEPER_HOME】目錄下執行編譯

[hadoop@bigdatamaster ~]$ cd $ZOOKEEPER_HOME
[hadoop@bigdatamaster zookeeper]$ ant

  看大家的網速吧。我這里是,需將bigdatamaster、bigdataslave1和bigdataslave2里都安裝了zookeeper,所以都要進行ant編譯。

?

?  然后,如下的目錄,都會自動建立好

[mkdir] Created dir: /home/hue/Development/zookeeper/build/classes
[mkdir] Created dir: /home/hue/Development/zookeeper/build/lib
[mkdir] Created dir: /home/hue/Development/zookeeper/build/package/lib
[mkdir] Created dir: /home/hue/Development/zookeeper/build/test/lib



?

  第二步:開啟REST服務

cd src/contrib/rest
nohup ant run&

?

[hadoop@bigdatamaster rest]$ pwd
/home/hadoop/app/zookeeper/src/contrib/rest
[hadoop@bigdatamaster rest]$ ll
total 48
-rw-rw-r--. 1 hadoop hadoop  6630 Apr 26  2016 build.xml
drwxr-xr-x. 3 hadoop hadoop  4096 May  4 20:42 conf
-rw-rw-r--. 1 hadoop hadoop  2077 Apr 26  2016 ivy.xml
-rw-rw-r--. 1 hadoop hadoop   246 Apr 26  2016 NOTICE.txt
-rw-rw-r--. 1 hadoop hadoop  2422 Apr 26  2016 README.txt
-rwxr-xr-x. 1 hadoop hadoop  2281 Apr 26  2016 rest.sh
-rw-rw-r--. 1 hadoop hadoop 12961 Apr 26  2016 SPEC.txt
drwxr-xr-x. 5 hadoop hadoop  4096 Apr 26  2016 src
[hadoop@bigdatamaster rest]$ ./rest.sh start
Starting ZooKeeper REST Gateway ... 
STARTED
[hadoop@bigdatamaster rest]$ jps
2814 SecondaryNameNode
2661 NameNode
2982 ResourceManager
9688 ThriftServer
12134 Jps
3720 QuorumPeerMain
10777 HMaster
4141 RunJar
[hadoop@bigdatamaster rest]$ 

?

?

?

 

?

?  第三步:去Hue配置文件,對應去修改zookeeper模塊

?

?

###########################################################################
# Settings to configure the Zookeeper application.
###########################################################################[zookeeper][[clusters]][[[default]]]# Zookeeper ensemble. Comma separated list of Host/Port.# e.g. localhost:2181,localhost:2182,localhost:2183host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181# The URL of the REST contrib service (required for znode browsing).rest_url=http://bigdatamaster:9998,http://bigdataslave1:9998,http://bigdataslave2:9998
# Name of Kerberos principal when using security.principal_name=zookeeper

?

?

?

?

?  然后,可以看到

?

?

?

?

?

?

?

?

?

?  更多的細節,我這里不多贅述,大家自行去自己機器看吧!

?

  成功!

?

?

?

?

?

?

?

?

?

?

?

?

?

歡迎大家,加入我的微信公眾號:大數據躺過的坑? ? ? ? 人工智能躺過的坑
?

同時,大家可以關注我的個人博客

???http://www.cnblogs.com/zlslch/???和? ???http://www.cnblogs.com/lchzls/? ????http://www.cnblogs.com/sunnyDream/? ?

???詳情請見:http://www.cnblogs.com/zlslch/p/7473861.html

?

  人生苦短,我愿分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神,匯聚于互聯網和個人學習工作的精華干貨知識,一切來于互聯網,反饋回互聯網。
  目前研究領域:大數據、機器學習、深度學習、人工智能、數據挖掘、數據分析。 語言涉及:Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和互聯網上的使用技巧、問題和實用軟件。 只要你一直關注和呆在群里,每天必須有收獲

?

? ? ? 對應本平臺的討論和答疑QQ群:大數據和人工智能躺過的坑(總群)(161156071)?

?

?

?

?

?

?

?

?

?

?

?

?

?

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/456519.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/456519.shtml
英文地址,請注明出處:http://en.pswp.cn/news/456519.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

CF #366(div.2) C 模擬,思維

CF #366(div.2) C. Thor 題意:一個手機n個聯系人,有q個操作。每次給出ty和ai,如ty1,表示收到ai的一條信息;如ty2,表示將ai發的信息都看掉;如ty3,表示將第1條到第ai條信息都看掉…

MySQL基本指令匯總

創建數據庫: create database 數據庫名字; 刪除數據庫: drop database 數據庫名字; 查看數據庫: show databases; 切換數據庫: use databasename; select database(); Create table 表名(列名 數據類型 [約束],列名 數據類型 [約束]&a…

linux命令行在任意目錄下啟動任意的腳本的方法

目錄:前言:1、直接在命令行中設置PATH2、在profile中設置PATH3、在當前用戶的profile中設置PATH 目錄: 前言: 這應該算是一個常識吧,但是對于許多像我們這樣的新手來說,一旦你出點小差錯,整個…

阿里云centos 安裝和配置 DokuWiki

DokuWiki 是一個開源的 wiki 項目, 可方便進行知識和內容的管理和分享,不用安裝數據庫,內置權限管理,書寫直觀方便,有大量的插件支持。特別適用于企業內部的內容和知識管理,只允許內部員工編輯和查閱的場景…

python-爬蟲

網絡爬蟲(又被稱為網頁蜘蛛,網絡機器人,在FOAF社區中間,更經常的稱為網頁追逐者),是一種按照一定的規則,自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬…

MySQL5.7升級到8.0 之后,配合ubantu18.04遇到的常規問題以及非常規問題的解決方案

從MySQL5.7升級到8.0后首先會發現在創建用戶和授權大大不同;其次還有更多常規問題以及非常規問題的解決方案 寫本篇博客記錄踩過的坑 MySQL8.0配合ubantu18.04 一、創建用戶和授權 在mysql8.0創建用戶和授權和之前不太一樣了,其實嚴格上來講&#xf…

機器學習之數理統計與參數估計的相關知識總結

文章目錄目錄:1、知道期望/方差/偏度/峰度,獨立和不相關等概念是什么。2、契比雪夫不等式3、大數定理/中心極限定理4、伯努利定理5、矩估計6、最大似然估計7、協方差和相關系數目錄: 1、知道期望/方差/偏度/峰度,獨立和不相關等概…

Angular屬性型指令

2019獨角獸企業重金招聘Python工程師標準>>> 屬性型指令 — 改變元素、組件或其它指令的外觀和行為的指令 屬性性指令的創建步驟如下: import語句需要從 Angular 的core庫導入的一些符號。 Directive提供Directive裝飾器功能。 ElementRef注入到指令構造…

beeline連接hiveserver2報錯:User: root is not allowed to impersonate root

最近在生產中搭建HA機制的集群,碰到不少坑,會在接下來的時間里好好總結下,先說下遇到的一個大坑。我們的需求是:希望通過hive的thrift服務來實現跨語言訪問Hive數據倉庫。但是第一步,你得需要在節點中打通服務器端&…

局域網 兩臺電腦共享 密碼關閉

轉載于:https://www.cnblogs.com/WhiteHorseIsNotHorse/p/6832463.html

MySQL查詢select語句詳解

1.查詢記錄 select*from 表名 [where 條件];eg:select*from students;//查詢 students 表中所有記錄,所有字段的值都顯示出來select field1,field2,...fieldn... from 表名 [where 條件];eg:select id,name,age from students;//查詢 students 表中所有記錄, 只顯示…

SVN使用規范

轉載于:https://www.cnblogs.com/shenxiaolin/p/6296880.html

配置hiveserver2訪問hive

目錄:1、前言2、beeline相關的Server.Thrift配置3、啟動beeline并訪問Hive4、期間遇到的問題和解決方法 目錄: 1、前言 作為數據倉庫的工具,hive提供了兩種ETL運行方式,分別是通過Hive 命令行和beeline客戶端; 命令…

通過rhel7的kvm虛擬機實現3節點Postgres-XL(包括gtm standby)

關于postgres-xl的實驗是在我自己筆記本rhel7.2_x64的環境下,用kvm實現的,總共有6臺虛擬機: 一臺openfiler2.99發布共享存儲,一臺gtm master,一臺gtm slave,三臺gtm_proxy/coordinator/datanode&#xf…

MySQL查詢select實例 【筆記】

use mydb; select * from EMP; select * from DEPT; select DISTINCT JOB from EMP; -- distinct 去除重復項 select MGR from EMP; select MGR as 主管編號 from EMP; -- 輔助查詢,每列信息 起別名 as select EMPNO as 員工編號,JOB as 職位,DEPNO as 部…

C#1

轉載于:https://www.cnblogs.com/qingwengang/p/6327371.html

使用python3連接hiveserver2的方法

前言:1、啟動HiveServer22、在Linux中安裝impyla(前提是安裝Python相關的環境、虛擬環境(可選)) 前言: 需求:需要通過windows端的pycharm來操作hive。 于是就搜集資料尋找解決方案。 大概有…

vue2.X的路由

以 / 開頭的嵌套路徑會被當作根路徑。 <router-link> 在vue-router1.X中是以<a v-link""></a>存在的 里面的參數&#xff1a; to&#xff1a;代表跳轉的目的地&#xff0c;渲染成<a href""> 后面目的地有下面幾種表示法 to引導&a…

mysql啟動和關閉外鍵約束的方法(FOREIGN_KEY_CHECKS)

在MySQL中刪除一張表或一條數據的時候&#xff0c;出現 [Err] 1451 -Cannot delete or update a parent row: a foreign key constraint fails (...) 這是因為MySQL中設置了foreign key關聯&#xff0c;造成無法更新或刪除數據。可以通過設置FOREIGN_KEY_CHECKS變量來避免這種…

CentOS下安裝VirtualEnv的教程

文章目錄前言&#xff1a;1、下載安裝virutalenv2、安裝新的Python版本&#xff08;可以直接安裝anaconda&#xff1a;安裝過程可自行查資料&#xff09;3、 VirtualEnv的設置4、Python虛擬環境的作用總結&#xff1a;前言&#xff1a; 在目前的Linux系統中&#xff0c;默認使…