目錄

一、前言

二、常用的數據同步解決方案

2.1 為什么需要數據同步

2.2 常用的數據同步方案

2.2.1 Debezium

2.2.2 DataX

2.2.3 Canal

2.2.4 Sqoop

2.2.5 Kettle

2.2.6 Flink CDC

三、Flink CDC介紹

3.1 Flink CDC 概述

3.1.1 Flink CDC 工作原理

3.2  Flink CDC數據同步優勢

3.3 Flink CDC 適用范圍

四、Java集成Flink CDC同步mysql數據

4.1 組件版本選擇

4.2 數據準備

4.3 導入組件依賴

4.4 Java代碼實現過程

4.4.1 自定義反序列化器

4.4.2 自定義Sink輸出

4.4.3 啟動任務類

4.4.4 效果測試

五、與springboot整合過程

5.1 自定義監聽類

5.2 效果測試

六、寫在文末

---

一、前言

在微服務開發模式下，系統的數據源往往不是一個單一的來源，在實際項目中，往往是多種異構數據源的組合，比如核心業務數據在mysql，日志分析數據在hbase，clickhouse，es等，但是不同的數據源需要配合完成某一類業務的時候，就涉及到數據的整合或數據同步問題，尤其是數據同步的場景可以說是非常常見的，那么有哪些解決方案呢？

二、常用的數據同步解決方案

2.1 為什么需要數據同步

當系統發展到一定階段，尤其是系統的規模越來越大，業務體量也不斷擴大的時候，一個系統可能會用到多種數據存儲中間件，而不再是單純的mysql，pgsql等，甚至一個系統中一個或多個微服務無法再滿足業務的需求，而需要單獨做數據存儲的服務，在類似的場景下，很難避免新的服務需要從原有的微服務中抽取數據，或定期做數據的同步處理，諸如此類的場景還有很多。