DBSyncer(英[dbs??k??(r)],美[dbs??k??(r) 簡稱dbs)是一款開源的數據同步中間件,提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步場景。支持上傳插件自定義同步轉換業務,提供監控全量和增量數據統計圖、應用性能預警等。
特點
- 組合驅動,自定義庫同步到庫組合,關系型數據庫與非關系型之間組合,任意搭配表同步映射關系
- 實時監控,驅動全量或增量實時同步運行狀態、結果、同步日志和系統日志
- 開發插件,自定義轉化同步邏輯
🌈應用場景
連接器 | 數據源 | 目標源 | 支持版本(包含以下) |
---|---|---|---|
MySQL | ? | ? | 5.7.19以上 |
Oracle | ? | ? | 10g-19c |
SqlServer | ? | ? | 2008以上 |
PostgreSQL | ? | ? | 9.5.25以上 |
ES | ? | ? | 6.0.0-8.15.3 |
Kafka | 開發中 | ? | 2.10-0.9.0.0以上 |
File | ? | ? | *.txt, *.unl |
SQL | ? | 支持以上關系型數據庫 | |
Sqlite | ? | ||
后期計劃 | Redis |
?預覽
📚使用手冊 Wiki
📦安裝配置
- dbsyncer-x.x.x.zip?社區版安裝教程
- dbsyncer-enterprise-x.x.x.zip?專業版安裝教程
方式一 下載安裝包
- 安裝JDK 1.8(省略詳細)
- 下載安裝包dbsyncer-x.x.x.zip(也可手動編譯)
- 解壓安裝包,Window執行bin/startup.bat,Linux執行bin/startup.sh
- 打開瀏覽器訪問:http://127.0.0.1:18686
- 賬號和密碼:admin/admin
方式二 🐳 docker
- 阿里云鏡像(推薦)
docker pull registry.cn-hangzhou.aliyuncs.com/xhtb/dbsyncer:latest
docker pull registry.cn-hangzhou.aliyuncs.com/xhtb/dbsyncer-enterprise:latest
docker pull registry.cn-hangzhou.aliyuncs.com/lifewang/dbsyncer:latest
- docker鏡像
docker pull crazylife/dbsyncer-web:latest
- dockerhub鏡像
??手動編譯
先確保環境已安裝JDK和Maven
$ git clone https://gitee.com/ghi/dbsyncer.git
$ cd dbsyncer
$ chmod u+x build.sh
$ ./build.sh
🏆性能測試
全量同步
系統 | 機器配置 | 數據量 | 耗時 |
---|---|---|---|
Mac | Apple M3 Pro 12核心 內存18GB | 1億條 | 31分50秒 |
Linux | Intel(R) Xeon(R) CPU E5-2696 v3B 8核心 內存48GB | 1億條 | 37分52秒 |
Windows | AMD Ryzen 7 5800x 8核心 12GB | 1億條 | 57分43秒 |
增量同步
系統 | 機器配置 | 分配內存 | TPS | 峰值 |
---|---|---|---|---|
Mac | Apple M3 Pro 12核心 內存18GB | 4GB | 8112/秒 | 11000/秒 |
Linux | Intel(R) Xeon(R) CPU E5-2696 v3B 8核心 內存48GB | 4GB | 8000/秒 | 10000/秒 |
Windows | AMD Ryzen 7 5800x 8核心 12GB | 4GB | 7553/秒 | 9000/秒 |
「dbsyncer-enterprise-2.0.7-bin.zip」
/~e50437dkBk~:/
鏈接:https://pan.quark.cn/s/69250e0e8e7a