下載dataX
https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202308/datax.tar.gz
然后
下載后解壓至本地某個目錄，進入bin目錄，即可運行同步作業：
$ cd {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}
要求你有python和jdk1.8還有maven3
第一步、創建作業的配置文件（json格式）
模板類型：
#stream2stream.json
{
? "job": {
? ? "content": [
? ? ? {
? ? ? ? "reader": {
? ? ? ? ? "name": "streamreader",
? ? ? ? ? "parameter": {
? ? ? ? ? ? "sliceRecordCount": 10,
? ? ? ? ? ? "column": [
? ? ? ? ? ? ? {
? ? ? ? ? ? ? ? "type": "long",
? ? ? ? ? ? ? ? "value": "10"
? ? ? ? ? ? ? },
? ? ? ? ? ? ? {
? ? ? ? ? ? ? ? "type": "string",
? ? ? ? ? ? ? ? "value": "hello，你好，世界-DataX"
? ? ? ? ? ? ? }
? ? ? ? ? ? ]
? ? ? ? ? }
? ? ? ? },
? ? ? ? "writer": {
? ? ? ? ? "name": "streamwriter",
? ? ? ? ? "parameter": {
? ? ? ? ? ? "encoding": "UTF-8",
? ? ? ? ? ? "print": true
? ? ? ? ? }
? ? ? ? }
? ? ? }
? ? ],
? ? "setting": {
? ? ? "speed": {
? ? ? ? "channel": 5
? ? ? ?}
? ? }
? }
}
啟動
$ cd {YOUR_DATAX_DIR_BIN}
$ python datax.py ./stream2stream.json?
github左邊，你想用哪個reader或者writer
直接去當前的resouece下，用他給好的json就行了。
如果你打不開github也無所謂，你下載下來的文件夾里面plugins里面就有模板。
非常簡單。
例子
mysql讀寫例子
{"job": {"content": [{"reader": {"name": "mysqlreader", "parameter": {"username": "root","password": "123123","column": ["*"],"splitPk": "ID","where": "ID <= 1888","connection": [{"jdbcUrl": ["jdbc:mysql://192.168.1.1:3306/xxx?useUnicode=true&characterEncoding=utf8"], "table": ["t_member"]}]}}, "writer": {"name": "mysqlwriter", "parameter": {"column": ["*"], "connection": [{"jdbcUrl": "jdbc:mysql://192.168.1.2:3306/xxx?useUnicode=true&characterEncoding=utf8","table": ["t_xxx"]}], "password": "123123","preSql": ["執行寫入前執行的語句，比如刪除表啊，之類的"], "session": ["set session sql_mode='ANSI'"], "username": "root", "writeMode": "insert"}}}], "setting": {"speed": {"channel": "5"}}} }
