阿里云AnalyticDB同步數據至華為云taurusdb

1 概述

AnalyticDB和taurusdb都是高度兼容mysql協議的數據庫,從現有的AnalyticDB官方數據同步方案來看,只有FlinkSQL合適。
同步方案官方文檔:

https://help.aliyun.com/zh/analyticdb/analyticdb-for-mysql/user-guide/flink-subscribes-binlog

2 數據同步方案

2.1 架構

在這里插入圖片描述

2.2 限制條件

AnalyticDB for MySQL產品系列為企業版、基礎版、湖倉版和數倉版彈性模式。
AnalyticDB for MySQL集群的內核版本需為3.2.1.0及以上版本。
Flink實時計算引擎需為VVR 8.0.4及以上版本。
XUANWU_V2表不支持開啟Binlog,因此不能通過訂閱Binlog實現AnalyticDB for MySQL集群XUANWU_V2表的數據同步和流式計算。
Flink僅支持處理AnalyticDB for MySQL Binlog中的所有基礎數據類型和復雜數據類型JSON。
Flink不會處理AnalyticDB for MySQL Binlog中的DDL操作記錄和分區表自動分區刪除的操作記錄。

2.3 操作步驟

2.3.1 步驟1:在AnalyticDB中初始化一張示例源表

CREATE DATABASE demo;
use demo;
CREATE TABLE users (id INT AUTO_INCREMENT PRIMARY KEY,username VARCHAR(255) NOT NULL,email VARCHAR(255) NOT NULL
);
INSERT INTO users (username, email) VALUES ('user1', 'user1@example.com');
INSERT INTO users (username, email) VALUES ('user2', 'user2@example.com');
INSERT INTO users (username, email) VALUES ('user3', 'user3@example.com');

在這里插入圖片描述

2.3.2 步驟2:為AnalyticDB的示例源表開啟binlog

binlog開啟僅支持表級別,需要為每一張表開啟binlog。例如,為users表開啟binglog,命令如下:

ALTER TABLE users BINLOG=true;
ALTER TABLE users binlog_ttl='3d';

在這里插入圖片描述

2.3.3 步驟3:在目標數據庫mysql創建表結構

CREATE DATABASE demo;
use demo;
CREATE TABLE users (id INT AUTO_INCREMENT PRIMARY KEY,username VARCHAR(255) NOT NULL,email VARCHAR(255) NOT NULL
);

2.3.4 步驟4:在阿里云實時計算平臺新建自定義連接器

參考官方文檔,執行如下步驟:

1)下載連接器。
2)登錄實時計算控制臺。在Flink全托管頁簽,單擊目標工作空間操作列下的控制臺。
3)在左側導航欄,單擊數據連接。
4)在數據連接頁面,單擊創建自定義連接器。上傳步驟1下載的連接器。上傳完成后,單擊下一步,單擊完成。創建完成的自定義連接器會出現在連接器列表中。

在這里插入圖片描述

2.3.5 步驟5:在阿里云實時計算平臺創建ETL任務

點擊ETL左側菜單,新建流作業,FlinkSQL如下:

CREATE TEMPORARY TABLE adb_source_users (id INT,username VARCHAR(255) NOT NULL,email VARCHAR(255) NOT NULL,PRIMARY KEY (`id`) NOT ENFORCED
) WITH ('connector' = 'adb-mysql-cdc','hostname' = '你的AnalyticDB','username' = 'dba','password' = '你的密碼','database-name' = 'demo','table-name' = 'users'
);CREATE TEMPORARY TABLE adb_sink_users (id INT,username VARCHAR(255) NOT NULL,email VARCHAR(255) NOT NULL,PRIMARY KEY (`id`) NOT ENFORCED
) WITH ('connector' = 'mysql','hostname' = '你的mysql','port' = '3306','username' = 'root','password' = '你的密碼','database-name' = 'demo','table-name' = 'users'
);INSERT INTO adb_sink_users
SELECT * FROM adb_source_users;

對ETL作業進行部署:
在這里插入圖片描述
在目標數據庫查詢數據,發現源表的存量數據已自動同步:
在這里插入圖片描述

2.3.6 步驟6:測試增量數據同步

在源表插入一條新數據,SQL如下:

INSERT INTO users (id, username, email) VALUES (4, 'user4', 'user4@example.com');

在這里插入圖片描述
在目標數據庫查詢數據,發現源表的增量數據已自動同步:
在這里插入圖片描述

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/94126.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/94126.shtml
英文地址,請注明出處:http://en.pswp.cn/web/94126.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

學習嵌入式之驅動——系統移植(二)

一、uboot常用命令與環境變量1.命令:(1)環境變量操作命令命令功能格式printenv 查看環境變量printenvsetenv新建/修改環境變量setenv 環境變量名 環境變量值saveenv保存環境變量saveenv(2)內存操作命令命令功能格式示例…

EasyExcel 合并單元格最佳實踐:基于注解的自動合并與樣式控制

EasyExcel 合并單元格最佳實踐:基于注解的自動合并與樣式控制 前言 在日常開發中,我們經常需要導出 Excel 報表,而合并單元格是提升報表可讀性的常見需求。本文將介紹如何基于 EasyExcel 實現智能的單元格合并功能,通過自定義注解…

Unity設置UI顯示區域

系列文章目錄 untiy工具 文章目錄 系列文章目錄 ??前言 ??一、效果圖 ??二、制作過程(檢測中心點位置) ??2-1、代碼實現 ??三、優化為檢測整個UI四個角點 ??四、性能優化建議 ??壁紙分享 ??總結 ??前言 思路: 獲取屏幕的寬度和高度,定義中間區域的范圍…

Qt中用于圖像縮放的核??法QPixmap::scaled

QPixmap::scaled是Qt中用于圖像縮放的核??法,其作?和?法如下:?一、核心作用??圖像尺寸調整?根據指定尺寸對圖像進?等?例或?等?例縮放,?持放?和縮?操作。?保持寬高比?通過AspectRatioMode參數控制是否保持原始圖像的寬??。…

SQL Workbench/J:一款免費開源、跨平臺的通用SQL查詢工具

SQL Workbench/J 是一款基于 Java 開發的免費開源、跨平臺的通用 SQL 查詢工具。 SQL Workbench/J 主要專注于 SQL 腳本開發和數據導入導出功能,不提供各種數據庫管理功能。 功能特性 跨平臺:可以在任何安裝了 Java 運行時環境的操作系統上運行&#xf…

DOLO 上漲:Berachain 生態爆發的前奏?

在 Berachain 生態逐漸進入公眾視野之際,Dolomite(簡稱 Dolomite,代幣 DOLO)成為鏈上表現最為突出的明星協議。其代幣價格在短短兩個月內,從 $0.03 飆升至 $0.3,漲幅接近 10 倍。市場不僅將其視作 Berachai…

吉利汽車與芯鼎微成立聯合創新實驗室共譜車規級LCoS顯示新篇章

2025年8月20日,吉利汽車研究院技術規劃中心副主任李莉、光學實驗室負責人李金樺博士等一行四人蒞臨芯鼎微,雙方共同為"吉利汽車-芯鼎微聯合創新實驗室"揭牌,標志著兩家企業在車載先進顯示技術領域邁入深度協同創新的新階段。 在這汽…

NPM組件 @angular_devkit/core 等竊取主機敏感信息

【高危】NPM組件 angular_devkit/core 等竊取主機敏感信息 漏洞描述 當用戶安裝受影響版本的 angular_devkit/core 等NPM組件包時會竊取用戶的主機名、用戶名、IP地址信息并發送到攻擊者可控的服務器地址。 MPS編號MPS-1jf5-s6ix處置建議強烈建議修復發現時間2025-08-14投毒…

docker cuda版安裝 dockercuda版安裝

目錄 1.一鍵安裝docker 測試ok 2.安裝cuda支持 通用的應該沒問題 安裝工具包 配置 runtime: 3.檢查 Docker 是否支持 NVIDIA 運行時 1.一鍵安裝docker 測試ok curl -fsSL https://get.docker.com | sh 2.安裝cuda支持 通用的應該沒問題 也可以搜索安裝 cuda版d…

Spring發布訂閱模式詳解

Spring 的發布訂閱模式(Publish-Subscribe Pattern)是一種基于事件驅動的設計模式,通過 "事件" 作為中間載體實現組件間的解耦。在這種模式中,"發布者"(Publisher)負責產生事件并發布&…

服務器硬件中的磁盤SSD與HDD性能區別,以及分別適用于什么業務?

SSD(固態硬盤)和 HDD(機械硬盤)是服務器中常見的存儲設備類型,兩者在性能、可靠性、成本等方面存在顯著差異。根據這些特性,它們適用于不同的業務需求。以下是詳細的對比與應用場景分析:1. SSD …

AI驅動的SEO關鍵詞優化秘籍

內容概要人工智能技術的飛速發展正重塑SEO關鍵詞優化領域,為從業者帶來全新機遇與挑戰。本文將系統解析AI如何革新關鍵詞策略,覆蓋從語義搜索深度解析到長尾詞智能挖掘的核心環節。通過工具驅動的內容優化路徑,讀者將掌握提升流量轉化率的關鍵…

自然語言處理(NLP)技術的發展歷史

自然語言處理(NLP)作為人工智能的重要分支,其發展歷程跨越了大半個世紀,從早期的規則式嘗試到如今的大模型時代,技術路徑不斷迭代,核心目標始終是實現人機間的自然語言交互。以下從關鍵階段、技術突破和標志…

Swift 解法詳解 LeetCode 361:轟炸敵人,用動態規劃輕松拿下

文章目錄摘要描述題解答案題解代碼分析代碼解析示例測試及結果時間復雜度空間復雜度總結摘要 “轟炸敵人”這道題名字聽起來就很帶感,它其實是一個二維網格搜索問題。我們要找到一個能放置炸彈的位置,讓炸掉的敵人最多。雖然題目看起來復雜,…

如何高效推進將科技創新成果轉化為標準?

2024年10月26日,全國標準信息公共服務平臺正式發布了國家標準《科技成果評估規范》(GB/T 44731-2024 ),并從發布之日起正式實施。這一標準的正式推出,標志著政府在推進科技成果轉化、提升科技服務能力方面邁出了重要一…

CMake 快速開始

CMake 快速開始 CMake 安裝 編輯環境:VS Code 編譯環境:VS Code Remote SSH模式 Ubuntu 24.04 CMake 官?源代碼下載地址:https://cmake.org/download/ CMake 官?英? 檔地址:https://cmake.org/cmake/help/latest/index.html S…

STM32F1 EXTI介紹及應用

第三章 EXTI介紹及應用 1. EXTI介紹 EXTI(External interrupt/event controller)—外部中斷/事件控制器,管理了控制器的 20 個中斷/事件線。每個中斷/事件線都對應有一個邊沿檢測器,可以實現輸入信號的上升沿檢測和下降沿的檢測。…

Oracle SYS用戶無法登錄數據庫-ORA-12162

錯誤詳情 [Oracleorcl bin]$ ./sqlplus / as sysdba SQL*Plus: Release 11.2.0.4.0 Production on Mon Aug 18 08:12:04 2025 Copyright (c) 1982, 2013, Oracle. All rights reserved. ERROR: ORA-12162: TNS:net service name is incorrectly specifiedOS登錄解析 注意&…

【計算機視覺與深度學習實戰】06基于光流算法的實時運動檢測系統設計與實現——以蚊子軌跡追蹤為例(有完整代碼)

第一章 引言 計算機視覺作為人工智能領域的重要分支,近年來在目標檢測、運動分析、行為識別等方面取得了顯著進展。其中,運動檢測技術作為視頻分析的基礎技術之一,在安防監控、交通管理、體感交互、生物行為研究等領域發揮著越來越重要的作用。光流算法作為運動檢測的經典方…

國產CANFD芯片技術特性與應用前景綜述:以ASM1042系列為例

摘要本文綜述了國科安芯推出的國產CANFD芯片ASM1042系列的技術特性與應用前景。ASM1042系列作為一款高性能的CANFD收發器,支持5Mbps的高速通信和高達70V的總線耐壓,廣泛應用于汽車電子、工業控制和航空航天等領域。文中詳細分析了其高速率設計、高耐壓設…