歡迎關注大數據和人工智能技術文章發布的微信公眾號：清研學堂，在這里你可以學到夜白（作者筆名）精心整理的筆記，讓我們每天進步一點點，讓優秀成為一種習慣！

日常的大數據使用都是在服務器命令行中進行的，可視化功能僅僅依靠各個組件自帶的web界面來實現，不同組件對應不同的端口號，如：HDFS(50070)，Yarn(8088),Hbase(16010)等等，而大數據的組件又有很多，為了解決某個問題，常常需要結合多個組件來使用，但是每個組件又有獨立的web界面進行可視化，這時，如果有一個統一的web界面來管理并可以開發所有大數據的組件是非常方便的，而Hue正是這樣的工具，它管理的大數據組件包括：HDFS、HBase、Hive、Pig、Sqoop、Spark、Scala等等幾乎所有常用的組件。

（一）、HUE的介紹：

HUE是一個開源的Apache hadoop UI系統，管理hadoop生態體系結構的所有組件，基于python web框架Django實現，由Cloudera開發

HUE的tar包是源碼包，采用源碼安裝 （源碼安裝的好處：卸載和移植軟件方便）

源碼安裝三步驟：

1、配置：./configure --preifix=安裝的目錄 #檢測系統配置，生成makefile文件 如果有makefile文件，直接進行編譯和安裝

2、編譯：make

3、安裝：make install

HUE的http服務端口：8888

二、安裝和配置HUE：

安裝HUE前，需要安裝它所需要的rpm包及其依賴(27個)，否則HUE運行會報錯 rpm包：redhat軟件包管理器 存放在redhat光盤Packages目錄下

rpm包與tar.gz/.tgz、.bz2的區別：

rpm形式的軟件包安裝、升級、卸載方便，推薦初學者使用rpm形式的軟件包

安裝：rpm -ivh

卸載：rpm -e

tar.gz形式的軟件包安裝方便，卸載麻煩，用tar工具打包、gzip/bzip2壓縮，安裝時直接調用gzip/bzip2解壓即可。如果解壓后只有單一目錄

用rm -rf命令刪除，如果解壓后分散在多個目錄，必須手動一一刪除

安裝：tar -zxvf *.tar.gz/ tar -yxvf *.bz2

卸載：rm -rf/手動刪除

一、安裝rpm包：

方法：使用yum安裝rpm包

yum：能夠從指定的資源庫(repository)自動下載、安裝、升級rpm包及其依賴，必須要有可靠的資源庫(repository)

1、掛載光盤 mount /dev/cdrom /mnt

mount命令：掛載硬盤/光盤/iso文件到指定目錄下，訪問其中的數據

2、建立yum資源庫

cd /etc/yum.repos.d #yum資源庫默認所在的目錄

vim redhat7.repo

[redhat-yum] 資源庫的標識

name=redhat7 資源庫的名字

baseurl=file:///mnt 資源庫的位置

enabled=1 啟用資源庫

gpgcheck=0 不檢查資源庫中的rpm包是否是官方的

3、執行下面的語句：

yum install gcc g++ libxml2-devel libxslt-devel cyrus-sasl-devel cyrus-sasl-gssapi mysql-devel python-devel python-setuptools sqlite-devel ant ibsasl2-dev libsasl2-modules-gssapi-mit libkrb5-dev libtidy-0.99-0 mvn openldap-dev libffi-devel gmp-devel openldap-devel

（二）、安裝HUE：

解壓：tar -zxvf hue-4.0.1.tgz

指定安裝目錄安裝：PREFIX=/root/training make install

注：如果不指定prefix,可執行文件默認安裝到/usr/local/bin中，配置文件默認安裝到/usr/local/etc中，庫文件默認安裝到/usr/local/lib中，其他文件默認安裝到/usr/local/share中

注：HUE的tar包是源碼包，采用源碼安裝

三、配置HUE：

1、與hadoop集成：1、開啟hdfs的web功能 2、允許HUE操作hdfs

<!--開啟hdfs的web功能-->

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

<!--設置hadoop集群root的代理用戶-->

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>*</value>

</property>

<!--設置hadoop集群root的代理用戶組-->

<name>hadoop.proxyuser.root.groups</name>

<value>*</value>

</property>

3、添加一個新用戶并授權：hue要對/root/training/hue有訪問權限

adduser hue

chown -R hue.hue /root/training/hue

4、修改配置文件hue.ini（$HUE_HOME/desktop/conf）:

http_hosts 192.168.182.11

http_port 192.168.182.11

server_user root

server_group root

default_user root

default_hdfs_superuser root

fs_defaulfs hdfs://192.168.182.11:9000

webhdfs_url http://192.168.182.11:50070/webhdfs/v1

hadoop_conf_dir /root/training/hadoop-2.7.3/etc/hadoop

resourcemanager_host 192.168.182.11

resourcemanager_api_url http://192.168.182.11:8088

proxy_api_url http://192.168.182.11:8088

history_server_api_url http://192.168.182.11:19888

二、與HBase集成:

1、修改配置文件hue.ini:

hbase_clusters=(Cluster|192.168.182.11:9090)

hbase_conf_dir=/root/training/hbase-1.3.1/conf

三、與Hive集成：

hive_server_host=192.168.182.11

hive_server_port=10000

hive_conf_dir=/root/training/apache-hive-2.3.0-bin/conf

（三）、啟動HUE：

1、啟動hadoop:start-all.sh hue就可以訪問hadoop

2、啟動hbase:start-hbase.sh

3、啟動hbase的thrift server:hbase-daemon.sh start thrift hue就可以訪問hbase

4、啟動hive的元信息存儲：hive --service metastore（表示前臺運行） hue就可以訪問hive的元信息

5、啟動hive的thrift server:hiveserver2 &（表示后臺運行） hue就可以訪問hive

6、啟動hue：bin/supervisor($HUE_HOME/build/env)

作者：李金澤，清華大學在讀碩士，研究方向：大數據和人工智能