Kafka集成Debezium監聽postgresql變更

在這里插入圖片描述

下載postgres的插件:https://debezium.io/documentation/reference/2.7/install.html

2.7版本支持postgresql12數據庫。

debezium-connector-postgres-2.7.4.Final-plugin.tar.gz

上傳插件并解壓

mkdir /usr/local/kafka/kafka_2.12-2.2.1/connector
cd /usr/local/kafka/kafka_2.12-2.2.1/connector
tar -zxvf debezium-connector-postgres-2.7.4.Final-plugin.tar.gz

進入kafka配置目錄配置連接器(單機kafka)

cd /usr/local/kafka/kafka_2.12-2.2.1/config
#修改配置
vi connect-standalone.properties
#配置kafka地址
bootstrap.servers=192.168.159.100:9092#采集的數據存儲到kafka的數據格式
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter#是否存儲schemas,存儲則格式會復雜些
key.converter.schemas.enable=false
value.converter.schemas.enable=false#插件的路徑
plugin.path=/usr/local/kafka/kafka_2.12-2.2.1/connector

使用命令啟動 Kafka Connect 服務(單機kafka)

/usr/local/kafka/kafka_2.12-2.2.1/bin/connect-standalone.sh -daemon /usr/local/kafka/kafka_2.12-2.2.1/config/connect-standalone.properties /usr/local/kafka/kafka_2.12-2.2.1/config/connect-file-source.properties /usr/local/kafka/kafka_2.12-2.2.1/config/connect-file-sink.properties

配置Debezium Connector:

pgsql修改配置文件:postgresql.conf

listen_addresses = '*'
#開啟邏輯復制
wal_level = logical
# 允許多少個流復制協議連接過來,一個流復制協議會產生一個walsender進程,該數不能低于master的配置數量
max_wal_senders = 2	
max_replication_slots = 1

修改pg_hba.conf:

#添加
host    all             all             0.0.0.0/0                 trust
host    replication     all             0.0.0.0.0                 trust

注冊連接器:

{"name": "my-postgresql-connector","config": {"connector.class": "io.debezium.connector.postgresql.PostgresConnector","database.hostname": "192.168.159.103","database.port": "15432","database.dbname": "db_test","database.user": "postgres","database.password": "123456","plugin.name": "pgoutput","database.server.name": "server5","topic.prefix": "linging"}
}

執行:

curl -i -X POST -H "Accept:application/json" -H "Content-Type:application/json" 192.168.159.100:8083/connectors/ -d '{"name":"my-postgresql-connector","config":{"connector.class":"io.debezium.connector.postgresql.PostgresConnector","database.hostname":"192.168.159.103","database.port":"15432","database.dbname":"db_test","database.user":"postgres","database.password":"123456","plugin.name":"pgoutput","database.server.name":"server5","topic.prefix":"linging"}}'

修改數據庫表,查看kafka消息:
在這里插入圖片描述

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/73157.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/73157.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/73157.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

『uniapp』簡單文本復制文字 富文本內容復制文字(詳細圖文注釋)

目錄 text組件錯誤代碼示例成功代碼總結 歡迎關注 『uniapp』 專欄,持續更新中 歡迎關注 『uniapp』 專欄,持續更新中 text組件 官方文檔可知app端用selectable可實現文本選中進而可復制,也就是說text標簽內部的文本就可以復制了 https://uniapp.dclou…

RestTemplate和RPC區別

RestTemplate是Spring框架中用于進行RESTful風格的HTTP請求的模板類,通常用于與外部服務進行通信。它基于HTTP協議,使用GET、POST、PUT、DELETE等HTTP方法來進行通信,傳輸的數據通常使用JSON或XML格式。它是一種基于資源的通信方式&#xff0…

算法模型從入門到起飛系列——背包問題(探索最大價值的掘金之旅)

文章目錄 前言一、背包問題溯源(動態規劃)1.1 動態規劃的概念1.2 動態規劃的基本步驟1.3 動態規劃的實際應用 二、背包問題2.1 背包問題衍生2.2 0-1背包2.2.1 0-1背包描述2.2.2 0-1背包圖解2.2.3 0-1背包代碼刨析 2.3 完全背包2.3.1 完全背包描述2.3.2 完…

Python實現爬蟲:天氣數據抓取(+折線圖)

一、基本架構 1、URL管理器:爬蟲的調度中樞 核心職責 功能說明URL去重防止重復抓取URL優先級管理控制抓取順序(廣度優先/深度優先)斷點續爬支持持久化存儲抓取狀態分布式協同多節點共享URL隊列 2、網頁下載器:數據獲取的引擎 功…

DFS刷題

洛谷P2089烤雞 #include<iostream> using namespace std; const int N 20, M 1000010; int ans[N]; int dp[M][N]; int n, count; void dfs(int x, int sum){if(sum > n)return;if(x > 10){if(sum n){count;for(int i 1; i < n; i)dp[count][i] ans[i];}r…

《Operating System Concepts》閱讀筆記:p460-p4470

《Operating System Concepts》學習第 36 天&#xff0c;p460-p4470 總結&#xff0c;總計 11 頁。 一、技術總結 無。 二、英語總結(生詞&#xff1a;3) 1.lifespan (1)lifespan: life span(“the period of time that sth exists or happens”) c. 也寫作 life-span, …

stratis,容器podman

一、stratis 1.stratis可以實現動態的在線擴容&#xff0c;lvm雖然也可以實現在線擴容&#xff0c;但是是需要人為的手動擴容。 2.stratis不需要手動格式化&#xff0c;自動會創建文件系統&#xff08;默認是xfs&#xff09; 1. 安裝stratis軟件包 yum list | grep stratis…

音頻焦點 Android Audio Focus

Android 音頻焦點詳解 音頻焦點&#xff08;Audio Focus&#xff09;是 Android 系統用于協調多個應用同時訪問音頻輸出的機制。當多個應用需要播放音頻時&#xff0c;音頻焦點確保用戶聽到的內容不會混亂&#xff08;如多個音樂應用同時播放&#xff09;。以下從核心概念、使…

【用 Trace讀源碼】PlanAgent 執行流程

前提條件 在 Trae 中打開 OpenManus 工程&#xff0c;使用 build 模式&#xff0c;模型選擇 claude-sonnet-3.7 提示詞 分析 agent/planning.py 中 main 方法及相關類的執行流程&#xff0c;以流程圖的方式展示PlanningAgent 執行流程圖 以下流程圖展示了 PlanningAgent 類…

1、雙指針法

關于每個知識點的例題 可以自己看力扣標準題解。也可以在嗶哩嗶哩上看。想看我的&#xff0c;就到github 看 - 庫 &#xff0c;介紹里寫的算法講解那些&#xff0c;里面有知識點&#xff0c;有題庫。題庫&#xff0c;每天都發題&#xff0c;可能跟博客的進度不一樣。因為我上傳…

LangChain 基礎

一、LangChain 模塊和體系 LangChain 是一個用于開發由大型語言模型&#xff08;LLMs&#xff09;驅動的應用程序的框架。 官方文檔&#xff1a;https://python.langchain.com/docs/introduction/ LangChain 簡化了LLM應用程序生命周期的每個階段&#xff1a; 開發&#xf…

#echarts#折線圖#餅圖

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>折線圖</title> </head> <body><div id"app" style"width:100%;height:100%;"><div id"chart-c…

Parsing error: Unexpected token, expected “,“

今天在使用Trae AI 編程工具開發大文件切片上傳功能&#xff0c;使用的是VUE3,TS技術棧&#xff0c;開發完成運行時&#xff0c;編譯報錯&#xff08;Parsing error: Unexpected token, expected ","&#xff09;&#xff0c;讓AI自行修復此問題多次后還是沒有解決&a…

NLP高頻面試題(九)——大模型常見的幾種解碼方案

大模型常見的幾種解碼方案 在自然語言生成任務中&#xff0c;如何從模型生成的概率分布中選擇合適的詞匯&#xff0c;是影響文本質量的關鍵問題。常見的解碼方法包括貪心搜索&#xff08;Greedy Search&#xff09;、束搜索&#xff08;Beam Search&#xff09;、隨機采樣&…

農用車一鍵啟動工作原理

移動管家農用車一鍵啟動的工作原理與普通汽車類似&#xff0c;主要依賴于無線射頻識別技術&#xff08;RFID&#xff09;。以下是具體的工作步驟和原理&#xff1a; 智能鑰匙識別&#xff1a; 車主攜帶智能鑰匙靠近車輛時&#xff0c;鑰匙通過發射射頻信號與車輛進行交互。車輛…

Cursor從小白到專家

文章目錄 1&#xff1a;簡單開發一個貪吃蛇游戲規則設置提示詞 cursor開發小工具開發整體步驟創建.cursorrules輸入提示詞composer模式chat模式 執行cursor accept all發布到線上進行分享 cursor開發一個瀏覽器插件創建.cursorrulescursor rules范例集工具 輸入提示詞執行curso…

MAC+PHY 的硬件連接

文章目錄 以太網的 MAC 與 PHY簡介硬件拓撲CPU集成MAC與PHYCPU集成MAC&#xff0c;PHY采用獨立芯片CPU不集成MAC與PHY&#xff0c;MAC與PHY采用集成芯片 在 OSI 分層中的位置MACPHYMAC 與 PHY 數據交互參考 本文為筆者學習以太網對網上資料歸納整理所做的筆記&#xff0c;文末均…

仿函數 VS 函數指針實現回調

前提&#xff1a; 本博客對比 函數指針實現回調 和 仿函數 &#xff0c;突出仿函數的優勢。 目的&#xff1a; 一個類要能夠靈活的調用兩個函數&#xff0c;essfc 和 greaterfc&#xff0c;分別用于比較兩個整數的大小&#xff1a; ①&#xff1a;lessfc&#xff1a;判斷 x …

CH32V208藍牙內部帶運放32位RISC-V工業級微控制器

開發板 CH32V208CBU6立創格式的開發板上述鏈接可下載&#xff0c;官方文件進行了轉換&#xff0c;使用前請仔細核對。 CH32V208CBU6原理圖&#xff0c;上述圖片為芯片部分。已進行DRC。 CH32V208CBU6 PCB三維圖&#xff0c;上述圖片為芯片部分。已進行DRC。 概述 CH32V208C…

整理和總結微信小程序的高頻知識點

前言 近期萌生了一些想法&#xff0c;感覺可以做一個小程序作為產出。 但小程序做得比較少&#xff0c;因此邊做邊復習。整理和總結了一些高頻知識點和大家一起分享。 一、模板和組件 1.1模板&#xff08;Template&#xff09; 優勢 簡單靈活&#xff1a;模板定義和使用都較…