目錄
下載datax工具包(如果下載慢,請嘗試其他國內鏡像站或其他網站下載相應資源)
解壓工具包到當前目錄里
接著進入conf配置目錄并創建一個myjob.json(臨時測試json),myjob.json內容如下,用于模擬test庫tab1表數據同步到test_copy庫tab1表:
寫好上述模擬配置文件后,從當前目錄進入conf目錄?編輯然后執行數據同步,執行前兩個庫表數據如下?編輯
注意事項:如果執行上述同步命令的時候,無法識別pathon命令,則需要在linux服務器安裝并配置python,具體如何安裝及配置,請自行百度
下載datax工具包(如果下載慢,請嘗試其他國內鏡像站或其他網站下載相應資源)
?wget ?https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202308/datax.tar.gz
解壓工具包到當前目錄里
tar -zxvf ../datax.tar.gz -C .
解壓后工具包名為datax,進入datax目錄,文件結構如下
接著進入conf配置目錄并創建一個myjob.json(臨時測試json),myjob.json
內容如下,用于模擬test庫tab1表數據同步到test_copy庫tab1表:
{
??"job": {
????"setting": {
??????"speed": {
????????"channel": 3
??????},
??????"errorLimit": {
????????"record": 0,
????????"percentage": 0.02
??????}
????},
????"content": [
??????{
????????"reader": {
??????????"name": "mysqlreader",
??????????"parameter": {
????????????"username": "root",
????????????"password": "root",
????????????"column": [
??????????????"`id`",
??????????????"`name`",
??????????????"`create_time`"
????????????],
????????????"splitPk": "",
????????????"connection": [
??????????????{
????????????????"table": [
??????????????????"tab1"
????????????????],
????????????????"jdbcUrl": [
??????????????????"jdbc:mysql://192.168.7.231:3306/test?useSSL=false&serverTimezone=Asia/Shanghai"
????????????????]
??????????????}
????????????]
??????????}
????????},
????????"writer": {
??????????"name": "mysqlwriter",
??????????"parameter": {
????????????"username": "root",
????????????"password": "root",
????????????"column": [
??????????????"`id`",
??????????????"`name`",
??????????????"`create_time`"
????????????],
????????????"writeMode": "replace",
????????????"preSql": ["TRUNCATE TABLE tab1"],
????????????"connection": [
??????????????{
????????????????"table": [
??????????????????"tab1"
????????????????],
????????????????"jdbcUrl": "jdbc:mysql://192.168.7.231:3306/test_copy?useSSL=false&serverTimezone=Asia/Shanghai"
??????????????}
????????????]
??????????}
????????}
??????}
????]
??}
}
特別參數說明
channel | 控制同步速度,channel 表示并發通道數(即并行讀寫線程數量,根據系統資源來設定) |
errorLimit>>record | 最大允許錯誤記錄數(0表示不允許任何錯誤) |
errorLimit>>percentage | 允許的錯誤比例上限(即總記錄數的2%) |
reader | 讀(源庫)插件配置 |
column | 源庫表的列字段數組 |
splitPk | 分片鍵字段名,為空表示不分片 |
writer | 寫(目標庫)插件配置 |
writeMode | 寫入模式:replace 表示使用 REPLACE INTO |
preSql | 寫入前執行的SQL語句 |
寫好上述模擬配置文件后,從當前目錄進入conf目錄

然后執行數據同步,執行前兩個庫表數據如下

現在開始執行數據同步python datax.py ../conf/myjob.json
上圖結果表示同步成功,然后查看同步后的兩個庫表的數據,發現已經一致了