Windows平臺下kafka環境的搭建

近期在搞kafka,在Windows環境搭建的過程中遇到一些問題,把具體的流程幾下來防止后面忘了。?
準備工作:?
1.安裝jdk環境?
http://www.oracle.com/technetwork/java/javase/downloads/index.html?
2.下載kafka的程序安裝包:?
http://kafka.apache.org/downloads?
解壓文件提取出里面的文件?
在cmd命令行打開至根目錄下,內容如下:?
這里寫圖片描述?
(1).bin目錄下存放的是程序運行時使用的腳本文件,window平臺是一個獨立的文件夾里面存放著 .bat 文件,bin的目錄下存放的是 Linux 平臺使用的 .sh 的shell腳本,在window平臺上用不到,嫌麻煩可以刪了。?
(2).config目錄下存放的是一些程序運行的配置文件,在后期自定義使用kafka的時候需要修改里面的文件內容。?
(3).libs目錄是打包好的jar包,這個版本自帶了zookeeper的jar包,所以在安裝的過程中不需要再在本地安裝zookeeper了。

? ?啟動zookeeper:?
? 在正常啟動zoopkeeper之前需要修改zookeeper.properties的文件內容,將其data的輸出目錄指定一下,可自行創建一個文件夾如下:?
這里寫圖片描述?
然后啟動:

bin\windows\zookeeper-server-start.bat config\zookeeper.properties

正常啟動后他的狀態是這樣的:?
這里寫圖片描述?
3. 啟動kfaka服務:?
在啟動前,任然需要修改server.properties中log.dir的配置目錄,?
這里寫圖片描述?
修改后,啟動服務:?
這里寫圖片描述?
4. 創建一個主題:

bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kjTest

這里寫圖片描述

可以使用如下命令查看創建的主題列表:

bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

這里寫圖片描述?
5. 啟動生產者:

bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic kjTest

這里寫圖片描述

此時可以從控制臺輸入信息,待消費者啟動后可接收到生產者發布的消息。?
這里寫圖片描述?
6. 啟動消費者:

bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic kjTest --from-beginning

此時便能看到發布出去的消息了?
這里寫圖片描述?
7. 在后期還可以啟動多個集群服務,同時進行操作,修改server.properties中的內容:便可啟動,與上相似。

config/server-1.properties:broker.id=<new id>listeners=PLAINTEXT://:<new port>log.dir=<you log dir>   
操作步驟:

1).分別啟動需要的kafka服務

這里寫圖片描述

?

這里寫圖片描述?


2). 創建主題,設置分區數目?
這里寫圖片描述?


可以使用下面的命令查看是否創建成功,和具體的分區?
這里寫圖片描述?


3). 分別啟動生產者消費者?
這里寫圖片描述

?

這里寫圖片描述?


4). 可以查看下當前工作狀態?
這里寫圖片描述?


查看得當前服務使用的是broker編號為2的服務,但我們將其down掉后?
這里寫圖片描述?


再次執行消息發送任務:?
producer

?

consumer?
消息仍能發送成功,命令行中會提示一個服務已關閉。?
就查看當前狀態:?
這里寫圖片描述?


此時的leader換成了broker 0

?轉自:https://blog.csdn.net/qq_32485573/article/details/54562237?locationNum=5&fps=1

?

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/390881.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/390881.shtml
英文地址,請注明出處:http://en.pswp.cn/news/390881.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

deeplearning.ai 改善深層神經網絡 week2 優化算法

這一周的主題是優化算法。 1. Mini-batch&#xff1a; 上一門課討論的向量化的目的是去掉for循環加速優化計算&#xff0c;X [x(1) x(2) x(3) ... x(m)]&#xff0c;X的每一個列向量x(i)是一個樣本&#xff0c;m是樣本個數。但當樣本很多時&#xff08;比如m500萬&#xff09…

gcc匯編匯編語言_什么是匯編語言?

gcc匯編匯編語言Assembly Language is the interface between higher level languages (C, Java, etc) and machine code (binary). For a compiled language, the compiler transforms higher level code into assembly language code.匯編語言是高級語言(C &#xff0c;Java等…

鋪裝s路畫法_數據管道的鋪裝之路

鋪裝s路畫法Data is a key bet for Intuit as we invest heavily in new customer experiences: a platform to connect experts anywhere in the world with customers and small business owners, a platform that connects to thousands of institutions and aggregates fin…

leetcode421. 數組中兩個數的最大異或值(貪心算法)

給你一個整數數組 nums &#xff0c;返回 nums[i] XOR nums[j] 的最大運算結果&#xff0c;其中 0 ≤ i ≤ j < n 。 進階&#xff1a;你可以在 O(n) 的時間解決這個問題嗎&#xff1f; 示例 1&#xff1a; 輸入&#xff1a;nums [3,10,5,25,2,8] 輸出&#xff1a;28 解…

IBM推全球首個5納米芯片:計劃2020年量產

IBM日前宣布&#xff0c;該公司已取得技術突破&#xff0c;利用5納米技術制造出密度更大的芯片。這種芯片可以將300億個5納米開關電路集成在指甲蓋大小的芯片上。 IBM推全球首個5納米芯片 IBM表示&#xff0c;此次使用了一種新型晶體管&#xff0c;即堆疊硅納米板&#xff0c;將…

drop sql語句_用于從表中刪除數據SQL Drop View語句

drop sql語句介紹 (Introduction) This guide covers the SQL statement for dropping (deleting) one or more view objects.本指南介紹了用于刪除(刪除)一個或多個視圖對象SQL語句。 A View is an object that presents data from one or more tables.視圖是顯示來自一個或多…

async 和 await的前世今生 (轉載)

async 和 await 出現在C# 5.0之后&#xff0c;給并行編程帶來了不少的方便&#xff0c;特別是當在MVC中的Action也變成async之后&#xff0c;有點開始什么都是async的味道了。但是這也給我們編程埋下了一些隱患&#xff0c;有時候可能會產生一些我們自己都不知道怎么產生的Bug&…

項目案例:qq數據庫管理_2小時元項目:項目管理您的數據科學學習

項目案例:qq數據庫管理Many of us are struggling to prioritize our learning as a working professional or aspiring data scientist. We’re told that we need to learn so many things that at times it can be overwhelming. Recently, I’ve felt like there could be …

react 示例_2020年的React Cheatsheet(+真實示例)

react 示例Ive put together for you an entire visual cheatsheet of all of the concepts and skills you need to master React in 2020.我為您匯總了2020年掌握React所需的所有概念和技能的完整視覺摘要。 But dont let the label cheatsheet fool you. This is more than…

leetcode 993. 二叉樹的堂兄弟節點

在二叉樹中&#xff0c;根節點位于深度 0 處&#xff0c;每個深度為 k 的節點的子節點位于深度 k1 處。 如果二叉樹的兩個節點深度相同&#xff0c;但 父節點不同 &#xff0c;則它們是一對堂兄弟節點。 我們給出了具有唯一值的二叉樹的根節點 root &#xff0c;以及樹中兩個…

Java之Set集合的怪

工作中可能用Set比較少&#xff0c;但是如果用的時候&#xff0c;出的一些問題很讓人摸不著頭腦&#xff0c;然后我就看了一下Set的底層實現&#xff0c;大吃一驚。 ###看一個問題 Map map new HashMap();map.put(1,"a");map.put(12,"ab");map.put(123,&q…

為mysql數據庫建立索引

前些時候&#xff0c;一位頗高級的程序員居然問我什么叫做索引&#xff0c;令我感到十分的驚奇&#xff0c;我想這絕不會是滄海一粟&#xff0c;因為有成千上萬的開發者&#xff08;可能大部分是使用MySQL的&#xff09;都沒有受過有關數據庫的正規培訓&#xff0c;盡管他們都為…

查詢數據庫中有多少個數據表_您的數據中有多少汁?

查詢數據庫中有多少個數據表97%. That’s the percentage of data that sits unused by organizations according to Gartner, making up so-called “dark data”.97 &#xff05;。 根據Gartner的說法&#xff0c;這就是組織未使用的數據百分比&#xff0c;即所謂的“ 暗數據…

記錄一個Python鼠標自動模塊用法和selenium加載網頁插件的設置

寫爬蟲&#xff0c;或者網頁自動化&#xff0c;讓程序自動完成一些重復性的枯燥的網頁操作&#xff0c;是最常見的需求。能夠解放雙手&#xff0c;空出時間看看手機&#xff0c;或者學習別的東西&#xff0c;甚至還能幫朋友親戚減輕工作量。 然而&#xff0c;網頁自動化代碼編寫…

和css3實例教程_最好CSS和CSS3教程

和css3實例教程級聯樣式表(CSS) (Cascading Style Sheets (CSS)) CSS is an acronym for Cascading Style Sheets. It was first invented in 1996, and is now a standard feature of all major web browsers.CSS是層疊樣式表的縮寫。 它于1996年首次發明&#xff0c;現在已成…

leetcode 1442. 形成兩個異或相等數組的三元組數目(位運算)

給你一個整數數組 arr 。 現需要從數組中取三個下標 i、j 和 k &#xff0c;其中 (0 < i < j < k < arr.length) 。 a 和 b 定義如下&#xff1a; a arr[i] ^ arr[i 1] ^ … ^ arr[j - 1] b arr[j] ^ arr[j 1] ^ … ^ arr[k] 注意&#xff1a;^ 表示 按位異…

數據科學與大數據技術的案例_作為數據科學家解決問題的案例研究

數據科學與大數據技術的案例There are two myths about how data scientists solve problems: one is that the problem naturally exists, hence the challenge for a data scientist is to use an algorithm and put it into production. Another myth considers data scient…

AJAX, callback,promise and generator

AJAX with jQuery $.ajax({url:??,type:??,data:??,success: function(){??} //callback,error:function(jqXHR,textStatus,error){??} })think about what AJAX wants from human , AJAX asks questions : tell Me By Which Way You Want To Do Things : —— GET …

Spring-Boot + AOP實現多數據源動態切換

2019獨角獸企業重金招聘Python工程師標準>>> 最近在做保證金余額查詢優化&#xff0c;在項目啟動時候需要把余額全量加載到本地緩存&#xff0c;因為需要全量查詢所有騎手的保證金余額&#xff0c;為了不影響主數據庫的性能&#xff0c;考慮把這個查詢走從庫。所以涉…

css 幻燈片_如何使用HTML,CSS和JavaScript創建幻燈片

css 幻燈片A web slideshow is a sequence of images or text that consists of showing one element of the sequence in a certain time interval.網絡幻燈片是一系列圖像或文本&#xff0c;包括在一定時間間隔內顯示序列中的一個元素。 For this tutorial you can create a…