一、Sqoop安裝與配置
步驟:
1、使用XFTP將Sqoop安裝包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz發送到master機器的主目錄。
2、解壓安裝包:
tar -zxvf ~/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
3、修改文件夾的名字,將其改為sqoop,或者創建軟連接也可:
mv ~/sqoop-1.4.6.bin__hadoop-2.0.4-alpha ~/sqoop
4、Sqoop的相關配置文件位于安裝路徑下的conf文件夾中,進入到該目錄下,修改相關配置文件即可。
cd ~/sqoop/conf
5、修改sqoop-env.sh配置文件,該文件一開始并不存在:
vim sqoop-env.sh
在對應的地方補充上Hadoop、Hive、HBase、ZooKeeper等的安裝路徑即可,內容如下:
export HADOOP_COMMON_HOME=/home/hadoop/hadoop-2.9.2
export HADOOP_MAPRED_HOME=/home/hadoop/hadoop-2.9.2
export HBASE_HOME=/home/hadoop/hbase
export HIVE_HOME=/home/hadoop/hive
export ZOOCFGDIR=/home/hadoop/zookeeper-3.4.6
需要根據你的實際情況修改,配置文件修改完成后保存。
6、配置環境變量,后續只需要在master上啟動HBase,因此只在master上配置即可:
vim ~/.bashrc
在文件末尾添加以下內容:
export SQOOP_HOME=/home/hadoop/sqoop
export PATH=$SQOOP_HOME/bin:$PATH
保存文件,然后刷新環境變量或重新啟動命令行終端:
source ~/.bashrc
7、添加MySQL驅動包,將mysql-connector-java-5.1.38.jar驅動包上傳到master主機上,并把它放到Sqoop安裝目錄下的lib文件夾內即可:
mv ~/mysql-connector-java-5.1.38.jar ~/sqoop/lib/
二、測試運行
前提:確保Zookeeper、HDFS、YARN三個重要組件都正確啟動。
步驟:
1、使用help命令查看Sqoop的用法,驗證安裝是否成功:
sqoop help
2、測試MySQL數據庫能否成功連接:
sqoop list-databases --connect jdbc:mysql://localhost --username root -password 123456
如果能打印出本地MySQL數據庫里面的數據庫名稱列表,即為連接本地數據庫成功。
3、(可選)授予本地MySQL數據庫root賬戶遠程訪問權限:
先登錄到MySQL中:
mysql -u root -p
然后執行以下語句:
mysql> grant all on *.* to 'root'@'master' identified by '123456' with grant option;
mysql> grant all on *.* to 'root'@'%' identified by '123456' with grant option;
mysql> flush privileges;
執行完上述語句,就可以把上面連接數據庫的localhost,改成主機名或者ip地址,也可以使用root用戶遠程連接本地的這個MySQL數據庫了。?