kafka命令

kafka安裝先安裝zookeeper,jdk
確保jdk版本與kafka版本匹配:
?

先啟動zookeeper:

? ? # 啟動獨立安裝的zookeeper
? ? ./zkServer.sh start
? ??
? ? # 也可以自動kafka自帶的zookerper
? ? ./zookeeper-server-start.sh ../config/zookeeper.properties

再啟動kafka:
? ? cd /usr/local/kafka_2.12-3.1.0/bin
? ??
? ? ./kafka-server-start.sh -daemon ../config/server.properties

關閉kafka:
? ? # 關閉kafka
? ? ./kafka-server-stop.sh
? ??
? ? # 關閉zookeeper
? ? ./zkServer.sh stop

生產者:

創建一個topic:test20250604
bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test20250604

查看創建的topic列表:

bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

查詢topic的詳細信息:
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test_kafka_topic
說明:如果未指定 topic 則輸出所有 topic 的信息

增加topic的partition數:

bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic test_kafka_topic --partitions 5?
?

查看 topic 指定分區 offset 的最大值或最小值

time 為 -1 時表示最大值,為 -2 時表示最小值:

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic test_kafka_topic --time -1 --broker-list 127.0.0.1:9092 --partitions 0?

刪除topic:

刪除名為 test_kafka_topic 的 Topic

bin/kafka-topics.sh --delete --zookeeper localhost:2181 ?--topic test_kafka_topic
說明:在${KAFKA_HOME}/config/server.properties中配置 delete.topic.enable 為 true,這樣才能生效,刪除指定的 topic主題


消費者:

消費消息(從頭開始)

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test20250604 --from-beginning

--from-beginning為限制消費從頭開始消費

?? ?--from-beginning #為可選參數,表示要從頭消費消息
?? ?--from-earliest #從最早的消息開始消費(待驗證)
?? ?--from-latest #從最新的消息開始消費
?? ?--指定offset #從指定的位置開始消費

消費消息(從尾開始)

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test_kafka_topic --offset latest
?

消費消息(從尾開始制定分區)

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test_kafka_topic --offset latest --partition 0
?

消費消息(指定分區和偏移量)

–partition 指定起始偏移量消費–offset:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test_kafka_topic ?--partition 0 --offset 100?
?

消費者消費消息(指定分組)
注意給客戶端命名之后,如果之前有過消費,那么–from-beginning就不會再從頭消費了

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 ?--from-beginning --topic test_kafka_topic --group t1
?

取指定個數
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test_kafka_topic --offset latest --partition 0 --max-messages 1
?

消費者group:

指定分組從頭開始消費消息(應該會指定偏移量)

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test -group test_group --from-beginning

消費者group列表:
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
?

查看group詳情:

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test_group --describe

輸出日志:

Consumer group 'test_group' has no active members.

TOPIC ? ? ? ? ? PARTITION ?CURRENT-OFFSET ?LOG-END-OFFSET ?LAG ? ? ? ? ? ? CONSUMER-ID ? ? HOST ? ? ? ? ? ?CLIENT-ID
test ? ? ? ? ? ?0 ? ? ? ? ?5 ? ? ? ? ? ? ? 5 ? ? ? ? ? ? ? 0 ? ? ? ? ? ? ? - ? ? ? ? ? ? ? - ? ? ? ? ? ? ? -

# CURRENT-OFFSET: 當前消費者群組最近提交的 offset,也就是消費者分區里讀取的當前位置
# LOG-END-OFFSET: 當前最高水位偏移量,也就是最近一個讀取消息的偏移量,同時也是最近一個提交到集群的偏移量
# LAG:消費者的 CURRENT-OFFSET 與 broker 的 LOG-END-OFFSET 之間的差距
?

刪除group中topic:
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test_group --topic test --delete

刪除group:
/usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test_group --delete
?

補充:
平衡leader:
bin/kafka-preferred-replica-election.sh --bootstrap-server localhost:9092
?

自帶壓測工具:

bin/kafka-producer-perf-test.sh --topic test --num-records 100 --record-size 1 --throughput 100 --producer-props bootstrap.servers=localhost:9092?
?

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/82576.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/82576.shtml
英文地址,請注明出處:http://en.pswp.cn/web/82576.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

微服務面試(分布式事務、注冊中心、遠程調用、服務保護)

1.分布式事務 分布式事務,就是指不是在單個服務或單個數據庫架構下,產生的事務,例如: 跨數據源的分布式事務跨服務的分布式事務綜合情況 我們之前解決分布式事務問題是直接使用Seata框架的AT模式,但是解決分布式事務…

Linux --進程優先級

概念 什么是進程優先級,為什么需要進程優先級,怎么做到進程優先級這是本文需要解釋清楚的。 優先級的本質其實就是排隊,為了去爭奪有限的資源,比如cpu的調度。cpu資源分配的先后性就是指進程的優先級。優先級高的進程有優先執行的…

React 性能監控與錯誤上報

核心問題與技術挑戰 現代 React 應用隨著業務復雜度增加,性能問題和運行時錯誤日益成為影響用戶體驗的關鍵因素。沒有可靠的監控與錯誤上報機制,我們將陷入被動修復而非主動預防的困境。 性能指標體系與錯誤分類 關鍵性能指標定義 // performance-me…

芒果深度學習檢測:開啟農業新視界(貓臉碼客第230期)

芒果深度學習檢測:開啟農業新視界 一、引言 芒果作為熱帶水果中的“明星”,在全球水果市場占據著重要地位,擁有廣泛的市場需求和可觀的經濟價值。伴隨人們生活品質的提升,對芒果品質的要求也愈發嚴苛。芒果產業規模持續擴張&#…

PDF文件轉換之輸出指定頁到新的 PDF 文件

背景 一份 PDF 學習資料需要打印其中某幾頁,文件有幾百兆,看到 WPS 有PDF拆分功能,但是需要會員,開了一個月會員后完成了轉換。突然想到,會員到期后如果還要拆解的話,怎么辦呢?PDF 文件拆解功能…

【計網】SW、GBN、SR、TCP

目錄 三種可靠傳輸機制(數據鏈路層) 停止-等待(Stop and Wait,SW)協議 回退N幀(Go-back-N,GBN)協議 選擇重傳(Selective Repeat,SR)協議 傳輸…

Go的隱式接口機制

正確使用Interface 不要照使用C/Java等OOP語言中接口的方式去使用interface。 Go的Interface的抽象不僅可以用于dynamic-dispatch 在工程上、它最大的作用是:隔離實現和抽象、實現完全的dependency inversion 以及interface segregation(SOLID principle中的I和D)。…

Async-profiler 內存采樣機制解析:從原理到實現

引言 在 Java 性能調優的工具箱中,async-profiler 是一款備受青睞的低開銷采樣分析器。它不僅能分析 CPU 熱點,還能精確追蹤內存分配情況。本文將深入探討 async-profiler 實現內存采樣的多種機制,結合代碼示例解析其工作原理。 為什么需要內…

Android 顏色百分比對照

本文就是簡單寫個demo,打印下顏色百分比的數值.方便以后使用. 1: 獲取透明色 具體的代碼如下: /*** 獲取透明色* param percent* param red* param green* param blue* return*/public static int getTransparentColor(int percent, int red, int green, int blue) {int alp…

MPLS-EVPN筆記詳述

目錄 EVPN簡介: EVPN路由: 基本四種EVPN路由 擴展: EVPN工作流程: 1.啟動階段: 2.流量轉發: 路由次序整理: 總結: EVPN基本術語: EVPN表項: EVPN支持的多種服務模式: 簡介: 1.Port Based: 簡介: 配置實現: 2.VLAN Based: 簡介: 配置實現: 3.VLAN Bundle: 簡…

SpringBoot自定義線程池詳細教程

文章目錄 1. 線程池基礎概念1.1 什么是線程池1.2 Java線程池核心參數1.3 線程池執行流程 2. SpringBoot中的線程池2.1 SpringBoot默認線程池2.2 SpringBoot異步任務基礎 3. 自定義線程池配置3.1 配置文件方式3.2 Java配置方式3.3 線程池工廠配置 4. 異步任務實際應用4.1 業務服…

智能快遞地址解析接口如何用PHP調用?

一、什么是智能快遞地址解析接口 隨著互聯網技術的普及和電子商務的迅猛發展,網購已成為現代人日常生活的重要組成部分。然而,在這個便捷的背后,一個看似不起眼卻影響深遠的問題正悄然浮現——用戶填寫的快遞地址格式混亂、信息不全甚至錯漏…

概率分布,支撐AI算法的數學基石

概率分布,是現代人工智能(AI)算法不可或缺的數學語言。它不僅描述了數據中的不確定性,更揭示了機器學習模型背后的本質運作機制。本文將帶你深入了解概率分布的數學本質,以及它在監督學習、深度學習、生成模型等核心AI領域的關鍵作用,揭秘概率論如何成為AI理論和實踐的強…

2025年Splunk的替代方案:更智能的安全選擇

在安全信息和事件管理(SIEM)領域,2025年的競爭愈發激烈。Splunk憑借其強大的功能和穩定性長期占據市場主導地位,但其高昂的成本、復雜性和擴展性挑戰促使許多企業轉向其他解決方案。無論是初創公司、快速發展的中型企業&#xff0…

(10)Fiddler抓包-Fiddler如何設置捕獲Firefox瀏覽器的Https會話

1.簡介 經過上一篇對Fiddler的配置后,絕大多數的Https的會話,我們可以成功捕獲抓取到,但是有些版本的Firefox瀏覽器仍然是捕獲不到其的Https會話,需要我們更進一步的配置才能捕獲到會話進行抓包。 2.環境 1.環境是Windows 10版…

simulink mask的使用技巧

1.mask界面布局 1.1如何調整控件的位置和控件大小? 反正2020a是調不了, 找了好久,只能是調布局,例如你要調成下面這樣: 第一個控件的iTem location屬性選擇New row 后面跟著的幾個和第一個同一行的空間屬性選擇Cu…

Go中MAP底層原理分析

MAP底層原理分析 參考 https://golang.design/go-questions/map/principalmap | Golang 中文學習文檔 先來看一下map結構體,(runtime.hmap結構體就是代表著 go 中的map,與切片一樣map的內部實現也是結構體) type hmap struct {/…

#開發環境篇:postMan可以正常調通,但是瀏覽器里面一直報403

本地header代理下面內容即可 headers: { // 添加必要的請求頭 ‘Host’: ‘服務端域名’, ‘Origin’: https://服務端域名, ‘Referer’: https://服務端域名 }, devServer: {// 本地開發代理API地址proxy: {^/file: {target: https://服務端域名,changeOrigin: true, // 是否…

【論文閱讀 | PR 2024 |ICAFusion:迭代交叉注意力引導的多光譜目標檢測特征融合】

論文閱讀 | PR 2024 |ICAFusion:迭代交叉注意力引導的多光譜目標檢測特征融合 1.摘要&&引言2.方法2.1 架構2.2 雙模態特征融合(DMFF)2.2.1 跨模態特征增強(CFE)2.2.2 空間特征壓縮(SFS)…

效率、便捷、安全:智慧充電樁一站式解決方案如何重塑新能源充電體驗?

在新能源浪潮席卷全球的背景下,電動汽車的普及對充電基礎設施提出了更高要求。傳統充電模式因效率低、操作繁瑣、安全隱患等問題,難以滿足用戶需求。智慧充電樁一站式解決方案應運而生,通過技術創新將效率、便捷與安全融為一體,徹…