java 連接kafka_設置多個kafka連接接收器

我正在研究從postgreSQL到HDFS的數據流 . 我在HDP 2.6沙箱上設置了融合環境 . 我對postgreSQL的jdbc源配置是

name=jdbc_1

connector.class=io.confluent.connect.jdbc.JdbcSourceConnector

tasks.max=1

connection.url=jdbc:postgresql://host:port/db?currentSchema=schema&user=user&password=password

mode=timestamp

timestamp.column.name=col1

validate.non.null=false

topic.prefix=psql-

連接的所有其他屬性也很好,我正在運行它

./bin/connect-standalone ./etc/kafka/connect-standalone.properties ./etc/kafka-connect-jdbc/source.properties

它工作正常,并根據數據庫中的表數創建主題

psql-table1

psql-table2

現在我想在所有主題上運行HDFS接收器,為postgreSQL數據庫中的每個表創建單獨的目錄 . 但是當我用命令運行HDFS接收器時

./bin/connect-standalone ./etc/kafka/connect-standalone.properties ./etc/kafka-connect-hdfs/hdfs-postGres.properties

通過運行源我得到錯誤

ERROR Stopping after connector error (org.apache.kafka.connect.cli.ConnectStandalone:113)

org.apache.kafka.connect.errors.ConnectException: Unable to start REST server

at org.apache.kafka.connect.runtime.rest.RestServer.start(RestServer.java:214)

at org.apache.kafka.connect.runtime.Connect.start(Connect.java:53)

at org.apache.kafka.connect.cli.ConnectStandalone.main(ConnectStandalone.java:95)

Caused by: java.net.BindException: Address already in use

at sun.nio.ch.Net.bind0(Native Method)

at sun.nio.ch.Net.bind(Net.java:433)

at sun.nio.ch.Net.bind(Net.java:425)

at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)

at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)

at org.eclipse.jetty.server.ServerConnector.openAcceptChannel(ServerConnector.java:331)

at org.eclipse.jetty.server.ServerConnector.open(ServerConnector.java:299)

at org.eclipse.jetty.server.AbstractNetworkConnector.doStart(AbstractNetworkConnector.java:80)

at org.eclipse.jetty.server.ServerConnector.doStart(ServerConnector.java:235)

at org.eclipse.jetty.util.component.AbstractLifeCycle.start(AbstractLifeCycle.java:68)

at org.eclipse.jetty.server.Server.doStart(Server.java:398)

at org.eclipse.jetty.util.component.AbstractLifeCycle.start(AbstractLifeCycle.java:68)

at org.apache.kafka.connect.runtime.rest.RestServer.start(RestServer.java:212)

... 2 more

如果我停止源連接并啟動接收器它工作正常 . 任何人都可以幫我,我可以設置多個水槽連接器 .

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/277505.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/277505.shtml
英文地址,請注明出處:http://en.pswp.cn/news/277505.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Web應用性能分析工具—HAR文件

Web應用性能分析工具—HAR文件 來源 https://raynorli.com/2018/06/11/web-performance-analysis-har-file/ 客戶經常有的一個問題就是,我的網頁服務通過你的設備之后,訪問變慢了,這類直觀感受的故障很不好量化,而且基于Web應用的…

【mybatis】mybatis多表聯查,存在一對多關系的,實體中使用List作為字段接收查詢結果的寫法...

實體如下: IntegralGoods  積分商品 IntegralGoodsImg  積分商品圖片 ShelfLog    積分商品自動上架記錄 IntegralGoods :IntegralGoodsImg:ShelfLog   1:n:1 1:1的多表聯查或者m:n的多表聯查 很簡…

lr java腳本_【上海校區】 LR Java腳本編寫方法

之前在某一家銀行也接觸過java寫的性能接口腳本,最近因項目,也需編寫java接口性能測試腳本,腦袋一下懵逼了,有點不知道從何入手。隨后上網查了相關資料,自己又稍微總結了一下,與大家共同分享哈~   首先&a…

Flask Web表單

title: flask學習筆記 subtitle: 3. flask Web表單 date: 2018-12-14 10:17:28 --- Web表單 HTML表單是用戶和web站點或應用程序之間交互的主要內容之一。它們允許用戶將數據發送到web站點。大多數情況下,數據被發送到web服務器,但是web頁面也可以自己攔…

一些PHP函數功能

函數 描述 PHP basename() 返回路徑中的文件名部分。 3 chgrp() 改變文件組。 3 chmod() 改變文件模式。 3 chown() 改變文件所有者。 3 clearstatcache() 清除文件狀態緩存。 3 copy() 復制文件。 3 delete() 參見 unlink() 或 unset()。 dirname() 返回路徑中的目錄名稱部分…

mac java tomcat_mac idea 配置tomcat

mac idea 配置tomcat一、下載安裝tomcat二、有一個 javaWeb項目創建一個javaWeb項目 ,參考第一條,只是在第二步的時候選中java Web就行三、完善web項目在WEB-INF 下新建兩個文件夾,lib(存放jar包)和classes(存放編譯后的文件)打開項目結構設置配置classe…

30342程序格式

1.匯編語言程序格式 2.表達式操作符 轉載于:https://www.cnblogs.com/ZanderZhao/p/11055237.html

初識docker,弄清鏡像和容器

前言: 之前總是有人拿虛擬機和容器做比較。我之前一直理解的容器,就類似于虛擬機快照類似。拿別人的東西就直接用了。在我的虛擬機中安裝一下,環境就搞好了。其實容器是一個徹底解耦的東西。各個軟件相互獨立互不影響 什么是鏡像 從docker本身…

configure 查找依賴庫_Rust在編譯Android的庫時,如何設定依賴的第三方庫引用的C/C++的動態庫的搜索路徑?...

謝邀。不懂android,也不懂OpenCL。但是我嘗試了解了一下你的問題。既然你用了第三方庫,那就得查源碼了。翻開ocl 庫的源碼搜android關鍵字,很容易定位到下面代碼。#https://github.com/cogciprocate/ocl/blob/master/ocl-interop/build.rs}el…

SprinBoot易學難精

Spring Boot易學難精 易學 組件自動裝配:規約大于配置,專注核心業務外部化配置:一次構建、按需調配,到處運行嵌入式容器:內紙容器、無序部署、獨立運行Spring Boot Stater:簡化依賴、按需裝配、自我包含Pro…

一道沒人搞得定的趣味Shell編程游戲題!,看看你會不會?

1.1猜數字編程游戲首先讓系統隨機生成一個數字,給這個數字定一個范圍(1-60),讓用戶輸入猜的數字,對輸入進行判斷,如果不符合要求,就給予高或低的提示。其他要求:1、全部猜對后則給出…

java中拷貝文件的代碼_拷貝文件夾中的所有文件到另外一個文件夾

[java]代碼庫/**** 拷貝文件夾中的所有文件到另外一個文件夾** param srcDirector* 源文件夾** param desDirector* 目標文件夾**/public static void copyFileWithDirector(String srcDirector,String desDirector) throws IOException {(new File(desDirector)).mkdirs();Fil…

數據庫IN查詢參數化改造的方法

// 批量查詢的 2019-05-14 if (!string.IsNullOrWhiteSpace(Request["userCodes"])){string userCodes Request["userCodes"].Replace("\r", "").Replace(",", ",").Replace(" ", "&q…

Docker鏡像構成和定制

Docker鏡像構成和定制 利用 commit 理解鏡像構成 docker commit 命令應用場合 docker commit 命令除了學習之外,還有一些特殊的應用場合,比如被***后保存現場等。但是,不要使用 docker commit 定制鏡像,定制鏡像應該使用 Dockerfi…

孿生網絡跟蹤

github: https://github.com/foolwood/DaSiamRPN paper: https://arxiv.org/pdf/1808.06048.pdf http://openaccess.thecvf.com/content_cvpr_2018/papers/Li_High_Performance_Visual_CVPR_2018_paper.pdf轉載于:https://www.cnblogs.com/heixialee/p/11064568.html

infoseccrypto_java下載_關於php接ICBC的支付接口的解決方案

一:背景: 目前項目使用的是php語言開發,需要接入中國工商銀行的ICBC的線上支付接口。二:遇到的問題:支付時需要對數據簽名,但是銀行那邊不提供php版本的程序,只有java版本的,以下是對…

AS 中 Plugin for Gradle 和 Gradle 之間的版本對應關系

Plugin for Gradle 和 Gradle 之間的版本對應關系 來源:https://developer.android.com/studio/releases/gradle-plugin.html Plugin versionRequired Gradle version1.0.0 - 1.1.32.2.1 - 2.31.2.0 - 1.3.12.2.1 - 2.91.5.02.2.1 - 2.132.0.0 - 2.1.22.10 - 2.132.…

java bean 工廠模式_深入理解Java的三種工廠模式

一、簡單工廠模式簡單工廠的定義:提供一個創建對象實例的功能,而無須關心其具體實現。被創建實例的類型可以是接口、抽象類,也可以是具體的類實現汽車接口public interfaceCar {String getName();}奔馳類public class Benz implementsCar {Ov…

java windows 取所有任務_Win下,通過Jstack截取Java進程中的堆棧信息

在Java軟件的使用過程中,有時會莫名的出現奇怪的問題。而這些問題常常無法使用日志信息定位,這時我們就需要通過查看進程內部線程的堆棧調用關系來分析問題出在哪里。舉個例子,當我們在做某個操作時,莫名的會彈出多個警告框&#…

docker mysql Exit 1

用laradock啟動mysql時,state總是 Exit 1 ,docker-compose build后也沒有效果 這時應該在~/.laradock/data(.env的DATA_PATH_HOST路徑)下,把mysql的數據文件刪除 這種情況常見于mysql安裝多版本&#xff0c…