?
不多說,直接上干貨!
我的集群機器情況是?bigdatamaster(192.168.80.10)、bigdataslave1(192.168.80.11)和bigdataslave2(192.168.80.12)
然后,安裝目錄是在/home/hadoop/app下。
?
官方建議在master機器上安裝Hue,我這里也不例外。安裝在bigdatamaster機器上。
?
Hue版本:hue-3.9.0-cdh5.5.4
需要編譯才能使用(聯網)
說給大家的話:大家電腦的配置好的話,一定要安裝cloudera manager。畢竟是一家人的。
同時,我也親身經歷過,會有部分組件版本出現問題安裝起來要個大半天時間去排除,做好心里準備。廢話不多說,因為我目前讀研,自己筆記本電腦最大8G,只能玩手動來練手。
純粹是為了給身邊沒高配且條件有限的學生黨看的! 但我已經在實驗室機器群里搭建好cloudera manager 以及 ambari都有。
大數據領域兩大最主流集群管理工具Ambari和Cloudera Manger
Cloudera安裝搭建部署大數據集群(圖文分五大步詳解)(博主強烈推薦)
Ambari安裝搭建部署大數據集群(圖文分五大步詳解)(博主強烈推薦)
?
?
?
?
?
https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl
?
?
?
?
?
一、以下是默認的配置文件
? 這里,暫時不說
?
?
二、以下是跟我機器集群匹配的配置文件(非HA集群下怎么配置Hue的zookeeper模塊)
########################################################################### # Settings to configure the Zookeeper application. ###########################################################################[zookeeper][[clusters]][[[default]]]# Zookeeper ensemble. Comma separated list of Host/Port.# e.g. localhost:2181,localhost:2182,localhost:2183host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181# The URL of the REST contrib service (required for znode browsing).## rest_url=http://localhost:9998 # Name of Kerberos principal when using security.## principal_name=zookeeper
?
?
?
?
?
?
?
三、以下是跟我機器集群匹配的配置文件(非HA集群下怎么配置Hue的zookeeper模塊)
?hadoop-2.6.0.tar.gz的集群搭建(5節點)
?
########################################################################### # Settings to configure the Zookeeper application. ###########################################################################[zookeeper][[clusters]][[[default]]]# Zookeeper ensemble. Comma separated list of Host/Port.# e.g. localhost:2181,localhost:2182,localhost:2183host_ports=djt11:2181,djt12:2181,djt13:2181,djt14:2181,djt15:2181# The URL of the REST contrib service (required for znode browsing).## rest_url=http://localhost:9998 # Name of Kerberos principal when using security.## principal_name=zookeeper
?
?
?
?
?
?
如果,單獨只配置上述的話,就算我們的zookeeper集群進程全都正常啟動,但是,還是會無法連接,出現錯誤?無法正確連接到 Zookeeper!!!!timed out (這里,適用非HA和HA集群)
?
?
?
?
因為,官網給的步驟,很詳細(記住,只要三步就好,一切都要看官網,別跟著別人的博客走)
https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_hhc_hwn_rl
?
?
?
?
? 第一步:首先,進入【ZOOKEEPER_HOME】目錄下執行編譯
[hadoop@bigdatamaster ~]$ cd $ZOOKEEPER_HOME
[hadoop@bigdatamaster zookeeper]$ ant
看大家的網速吧。我這里是,需將bigdatamaster、bigdataslave1和bigdataslave2里都安裝了zookeeper,所以都要進行ant編譯。
?
? 然后,如下的目錄,都會自動建立好
[mkdir] Created dir: /home/hue/Development/zookeeper/build/classes [mkdir] Created dir: /home/hue/Development/zookeeper/build/lib [mkdir] Created dir: /home/hue/Development/zookeeper/build/package/lib [mkdir] Created dir: /home/hue/Development/zookeeper/build/test/lib
?
第二步:開啟REST服務
cd src/contrib/rest
nohup ant run&
?
[hadoop@bigdatamaster rest]$ pwd /home/hadoop/app/zookeeper/src/contrib/rest [hadoop@bigdatamaster rest]$ ll total 48 -rw-rw-r--. 1 hadoop hadoop 6630 Apr 26 2016 build.xml drwxr-xr-x. 3 hadoop hadoop 4096 May 4 20:42 conf -rw-rw-r--. 1 hadoop hadoop 2077 Apr 26 2016 ivy.xml -rw-rw-r--. 1 hadoop hadoop 246 Apr 26 2016 NOTICE.txt -rw-rw-r--. 1 hadoop hadoop 2422 Apr 26 2016 README.txt -rwxr-xr-x. 1 hadoop hadoop 2281 Apr 26 2016 rest.sh -rw-rw-r--. 1 hadoop hadoop 12961 Apr 26 2016 SPEC.txt drwxr-xr-x. 5 hadoop hadoop 4096 Apr 26 2016 src [hadoop@bigdatamaster rest]$ ./rest.sh start Starting ZooKeeper REST Gateway ... STARTED [hadoop@bigdatamaster rest]$ jps 2814 SecondaryNameNode 2661 NameNode 2982 ResourceManager 9688 ThriftServer 12134 Jps 3720 QuorumPeerMain 10777 HMaster 4141 RunJar [hadoop@bigdatamaster rest]$
?
?
?
?
? 第三步:去Hue配置文件,對應去修改zookeeper模塊
?
?
########################################################################### # Settings to configure the Zookeeper application. ###########################################################################[zookeeper][[clusters]][[[default]]]# Zookeeper ensemble. Comma separated list of Host/Port.# e.g. localhost:2181,localhost:2182,localhost:2183host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181# The URL of the REST contrib service (required for znode browsing).rest_url=http://bigdatamaster:9998,http://bigdataslave1:9998,http://bigdataslave2:9998 # Name of Kerberos principal when using security.principal_name=zookeeper
?
?
?
?
? 然后,可以看到
?
?
?
?
?
?
?
?
?
? 更多的細節,我這里不多贅述,大家自行去自己機器看吧!
?
成功!
?
?
?
?
?
?
?
?
?
?
?
?
?
同時,大家可以關注我的個人博客:
???http://www.cnblogs.com/zlslch/???和? ???http://www.cnblogs.com/lchzls/? ????http://www.cnblogs.com/sunnyDream/? ?
???詳情請見:http://www.cnblogs.com/zlslch/p/7473861.html
?
人生苦短,我愿分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神,匯聚于互聯網和個人學習工作的精華干貨知識,一切來于互聯網,反饋回互聯網。
目前研究領域:大數據、機器學習、深度學習、人工智能、數據挖掘、數據分析。 語言涉及:Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和互聯網上的使用技巧、問題和實用軟件。 只要你一直關注和呆在群里,每天必須有收獲
?
? ? ? 對應本平臺的討論和答疑QQ群:大數據和人工智能躺過的坑(總群)(161156071)?
?
?
?
?
?
?
?
?
?
?
?
?
?