前些天發現了一個巨牛的人工智能學習網站，通俗易懂，風趣幽默，忍不住分享一下給大家。點擊跳轉到教程。

業務場景：是在oracle 數據庫和? hive 數據庫中 ，有多個相同結構的表，要求數據從2個庫定時雙向同步。

（導出時可以只導出部分字段，則此時 hive 庫和 oracle 庫中表結構可以并非完全一致）

1. 寫一個文本文檔，把要導入的表名和庫名先編輯好，格式如 oracle_table_list_append.txt ：

wate.BUSI_xxx
wate.xxx_xxx_INFO
wate.xxx_USER_xxx
... # wate 是 oracle 數據庫名， BUSI_xxx 是表名。
# 可寫多行，腳本執行時讀取每個一行，循環導入每個表的數據。

編寫sgoop? import 腳本并執行即可把數據從 oracle 數據庫導入到 hive 數據庫中。

current=`date -d "yesterday" +%Y-%m-%d`     #獲取當前時間
#current=`date -d "yesterday 20190110" +%Y-%m-%d`     #獲取指定日期的前一天begin=${current}" 00:00:00"sed -i '/^$/d' /opt/xxx/sqoop/conf/oracle_table_list_append.txt
cat /opt/xxx/sqoop/conf/oracle_table_list_append.txt|while read line
doOLD_IFS="$IFS"IFS="."arr=($line)db_name=${arr[0]}table_name=${arr[1]}echo "####begin to sqoop from oracle "${db_name}.${table_name} "......"sqoop import \--connect jdbc:oracle:thin:@192.168.xx.xx:1521/${db_name} \--username 數據庫名 \--password 數據庫密碼 \--table ${table_name} \--where "creationtime >=to_date('${begin}','yyyy-mm-dd hh24:mi:ss') or xxxtime>=to_date('${begin}','yyyy-mm-dd hh24:mi:ss') or dxxtime>=to_date('${begin}','yyyy-mm-dd hh24:mi:ss') " \--hive-drop-import-delims \--null-string '\\N' \--null-non-string '\\N' \--fields-terminated-by '\007' \--lines-terminated-by '\n' \--hive-import \--hive-table hive數據庫名.${table_name} \-m 10rc=$?if [ $rc -ne 0 ]thenecho "#### sqoop from oracle "${db_name}.${table_name} " failed......"# echo "#### sqoop from oracle "${db_name}.${table_name} " failed......"|mail -s "failed crontab_${current}" xxx@163.comelseecho "####sqoop from oracle "${db_name}.${table_name} " successed......"fidone
current=`date "+%Y-%m-%d %H:%M:%S"`     #獲取當前時間
end_timeStamp=`date -d "$current" +%s`
du_time=$[end_timeStamp-begin_timeStamp]
echo "sqoop total time used:" $du_time "s" 

--where 此參數是條件過濾，全表導入，可不加此參數。

2.??編寫sgoop? export 腳本并執行，則可把數據從 hive 庫 導出到 oracle 數據庫。?

current_datetime=`date "+%Y-%m-%d %H:%M:%S"`
echo "Start Timing Task:"$current_datetime
current=`date "+%Y-%m-%d %H:%M:%S"`     #獲取當前時間
begin_timeStamp=`date -d "$current" +%s`table_name="cxx_xxx_day"
day=`date -d -1days "+%Y%m%d"` #昨天（此表以天分區，每次只導一天的數據）echo "####開始導出"${day}"的數據 into oracle oracle數據庫名."${table_name} "......"sqoop export \--connect "jdbc:oracle:thin:@192.168.xxx.xxx:1521/oracle數據庫連接名" \--username oracle數據庫名 \--password oracle數據庫密碼 \--table ${table_name} \--export-dir "/user/hive/xxx/hivexxx.db/xxx_xxx_day/day=${day}" \--columns xxx_no,datatime,xxx_value,xxx_status,xxx_voage,staxx_str,stxxxs_hex,fy_id \--input-fields-terminated-by '\007' \--input-lines-terminated-by '\n' \--input-null-string '\\N' \--input-null-non-string '\\N' \--m 4rc=$?if [ $rc -ne 0 ]thenecho "Timing Task Error:"echo "####sqoop from hive into oracle "${table_name} " failed......"elseecho "####sqoop from hive into oracle "${table_name} " successed......"fi
current=`date "+%Y-%m-%d %H:%M:%S"`     #獲取當前時間
end_timeStamp=`date -d "$current" +%s`
du_time=$[end_timeStamp-begin_timeStamp]
echo "sqoop total time used:" $du_time "s"

--export-dir 指定HDFS上的文件路徑
--columns 指定要導出的列，可以只導出部分列

?

3. 官網說明文檔：http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html

要查更多參數和用法可以直接查詢官方文檔。

import說明文檔地址：http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_literal_sqoop_import_literal

export說明文檔地址：http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_literal_sqoop_export_literal