kafka 常用知識點

文章目錄

  • 前言
    • kafka 常用知識點
      • 1. kafka 概念
      • 2. 消息共享和廣播
      • 3. 分區和副本數量奇偶數

前言

??如果您覺得有用的話,記得給博主點個贊,評論,收藏一鍵三連啊,寫作不易啊^ _ ^。
??而且聽說點贊的人每天的運氣都不會太差,實在白嫖的話,那歡迎常來啊!!!


kafka 常用知識點

在這里插入圖片描述

1. kafka 概念

Kafka 是一個 分布式、高吞吐、可持久化的消息隊列系統.。

  • 生產者(Producer):寫信的人,負責“投遞消息”。
  • 消費者(Consumer):收信的人,負責“接收消息”。
  • 主題(Topic):信箱,按主題投放和接收信。
  • Broker(代理):Kafka 服務器,就是郵局,負責存儲和投遞。
  • 分區(Partition):每個信箱的子格子,信按順序放入格子中。
  • 消費組(Consumer Group):一群消費者在“輪流收信”。

2. 消息共享和廣播

Kafka 的消息共享(負載)和廣播(全量)消費行為,是通過自定義的消費組 group.id來決定的。
示例:
不同的 group.id(廣播模式):

@KafkaListener(topics = "log-topic", groupId = "group-A") // A
@KafkaListener(topics = "log-topic", groupId = "group-B") // B

相同的 group.id(集群分攤模式)

@KafkaListener(topics = "log-topic", groupId = "group-A") // A1
@KafkaListener(topics = "log-topic", groupId = "group-A") // A2

在這里插入圖片描述

3. 分區和副本數量奇偶數

屬性是否建議奇數說明
分區數? 無要求根據并發需求、消費者數量設定即可
副本數? 建議奇數多數副本機制保證高可用(如 3 副本)

4、Kafka 主題管理相關命令示例(基于 kafka-topics.sh)

創建主題,3個分區,副本數2


kafka-topics.sh --create --topic my_topic --partitions 3 --replication-factor 2 --bootstrap-server localhost:9092

查看所有主題

kafka-topics.sh --list --bootstrap-server localhost:9092

查看某個主題詳細信息

kafka-topics.sh --describe --topic my_topic --bootstrap-server localhost:9092

刪除主題(需要broker配置允許刪除)

kafka-topics.sh --delete --topic my_topic --bootstrap-server localhost:9092

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/82957.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/82957.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/82957.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

5G RedCap是什么-與標準5G的區別及支持路由器推薦

技術背景與重要性 從智能穿戴到工業傳感器,物聯網設備種類繁多,但并非所有設備都需要標準5G的全部功能。為滿足這些中端應用的需求,3GPP在Release 17中引入了5G RedCap(Reduced Capability),也稱為5G NR-L…

C++構造函數與初始化全面指南:從基礎到高級實踐

C構造函數與初始化全面指南:從基礎到高級實踐 1. 構造函數基礎概念 構造函數是C中一種特殊的成員函數,它在創建類對象時自動調用,用于初始化對象的數據成員。構造函數的核心特點包括: 與類同名無返回類型(連void都沒…

大模型長對話中上下文無法承載全部歷史,如何壓縮或提取重點

在人工智能技術迅猛發展的今天,大模型已經滲透到我們生活的方方面面,尤其是自然語言處理領域,簡直是掀起了一場革命。從智能客服到個人助手,從在線教育到心理咨詢,大模型驅動的對話系統正在以一種前所未有的方式改變我們與機器的互動模式。特別是那些能夠進行多輪對話、甚…

ubuntu20.04安裝教程(圖文詳解)

Ubuntu 24.04 LTS,代號 Noble Numbat,于 2024 年 4 月 25 日發布,現在可以從 Ubuntu 官方網站及其鏡像下載。此版本將在 2029 年 4 月之前接收為期五年的官方安全和維護更新。 關于 Ubuntu 24.04 LTS 的一些關鍵點: 發布日期&am…

數據結構之隊列:原理與應用

一、基本原理 隊列是一種特殊的線性表隊列是一個有序表(可以用數組或鏈表實現)遵循“先來先服務”的原則,它只允許在表的前端(隊頭)進行刪除操作,在表的后端(隊尾)進行插入操作 (一) 核心操作 入隊&…

Ubuntu 安裝 Miniconda 及配置國內鏡像源完整指南

目錄 Miniconda 安裝Conda 鏡像源配置Pip 鏡像源配置驗證配置基本使用常見問題 1. Miniconda 安裝 1.1 下載安裝腳本 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh1.2 執行安裝 bash Miniconda3-latest-Linux-x86_64.sh按回車查看許可協議…

PYTHON通過VOSK實現離線聽寫支持WINDOWSLinux_X86架構

在當今人工智能快速發展的時代,語音識別技術已經成為人機交互的重要方式之一。本文將介紹如何使用Python結合Vosk和PyAudio庫實現一個離線語音識別系統,無需依賴網絡連接即可完成語音轉文字的功能。 技術棧概述 1. Vosk語音識別引擎 Vosk是一個開源的…

【Java進階】圖像處理:從基礎概念掌握實際操作

一、核心概念:BufferedImage - 圖像的畫布與數據載體 在Java圖像處理的世界里,BufferedImage是當之無愧的核心。你可以將它想象成一塊內存中的畫布,所有的像素數據、顏色模型以及圖像的寬度、高度等信息都存儲在其中。 BufferedImage繼承自…

數據治理系統是什么?數據治理工具有什么用?

目錄 一、數據治理系統是什么? 二、數據治理系統的重要性 1. 保障數據質量 2. 確保數據安全 3. 促進數據共享與協作 三、常見的數據治理工具及其特點 1. 數據質量管理工具 2. 數據集成工具 3. 元數據管理工具 四、數據治理工具有哪些作用? 1.…

消息隊列-kafka為例

目錄 消息隊列應用場景和基礎知識MQ常見的應用場景MQ消息隊列的兩種消息模式如何保證消息隊列的高可用?如何保證消息不丟失?如何保證消息不被重復消費?如何保證消息消費的冪等性?重復消費的原因解決方案 如何保證消息被消費的順序…

C++17常量

nullptr nullptr出現的目的是為了替代NULL。在某種意義上來說,傳統會把NULL,0視為同一種東 西,這取決于編譯器如何定義NULL,有些編譯器會將定義為((void*)0),有些則會直接將其定義 為0。 C不允許直接將void*隱式轉換到其他類型。…

計算機網絡學習(九)——CDN

一、CDN CDN(Content Delivery Network,內容分發網絡)是一種通過分布式節點將內容更高效地傳遞給用戶的技術架構,廣泛應用于加速網站、視頻、下載、直播等業務。 CDN 是把內容放到離用戶最近的“高速公路入口”,提升訪…

Elasticsearch的寫入流程介紹

Elasticsearch 的寫入流程是一個涉及 分布式協調、分片路由、數據同步和副本更新 的復雜過程,其設計目標是確保數據一致性、可靠性和高性能。以下是寫入流程的詳細解析: 一、寫入流程總覽 二、詳細步驟解析 1. 客戶端請求路由 請求入口:客戶端(如 Java 客戶端、REST API)…

vue為什么點擊兩遍才把參數傳遞過去

先說一下場景,就是我把云服務器這個下拉選擇框分別初始化之后,然后點擊新建權限然后就打開了右側的抽屜式的對話框,頁面上那個文字信息是傳遞過來了。那個是正確的,但是我請求接口的時候,發現請求的接口的參數總是要慢…

java代碼性能優化

刷題過程中遇到的一些時間復雜度相同&#xff0c;但是常數因子的差距導致的性能差距&#xff0c;遇到持續更新 枚舉 VS contains 例如&#xff1a;判斷一個字符是不是元音 法一&#xff1a; if(ch a || ch e || ch i || ch o || ch u) 法二&#xff1a; Set<Charact…

OpenGL Chan視頻學習-9 Index Buffers inOpenGL

bilibili視頻鏈接&#xff1a; 【最好的OpenGL教程之一】https://www.bilibili.com/video/BV1MJ411u7Bc?p5&vd_source44b77bde056381262ee55e448b9b1973 函數網站&#xff1a; docs.gl 說明&#xff1a; 1.之后就不再單獨整理網站具體函數了&#xff0c;網站直接翻譯會…

基于微服務架構的社交學習平臺WEB系統的設計與實現

設計&#xff08;論文&#xff09;題目 基于微服務架構的社交學習平臺WEB系統的設計與實現 摘 要 社交學習平臺 web 系統要為學習者打造一個開放、互動且社交性強的在線教育環境&#xff0c;打算采用微服務架構來設計并實現一個社交學習平臺 web 系統&#xff0c;以此適應學…

生成式人工智能:重構軟件開發的范式革命與未來生態

引言 生成式人工智能&#xff08;GenAI&#xff09;正以顛覆性力量重塑軟件開發的底層邏輯。從代碼生成到業務邏輯設計&#xff0c;從數據分析到用戶交互&#xff0c;GenAI通過其強大的推理能力與場景適應性&#xff0c;將傳統開發流程的“復雜工程”轉化為“敏捷實驗”&#…

C++17原生測試編程實踐:現代特性與分支覆蓋指南

C17原生測試編程實踐&#xff1a;現代特性與分支覆蓋指南 概述 本文將深入探討如何利用C17新特性進行原生測試代碼編寫&#xff0c;實現完全分支覆蓋。我們將不依賴任何外部測試框架&#xff0c;而是使用C17標準庫構建完整的測試解決方案。 一、C17測試核心工具集 1. 斷言工…

RK3568項目(四)--uboot啟動流程之啟動模式選擇

目錄 一、引言 二、芯片初始化 ------>2.1、io_domain ------>2.2、調頻調壓 ------>2.3、控制臺初始化 三、平臺初始化 ------>3.1、設置mac地址 ------------>3.1.1、vendor分區 ------>3.2、設置serialno ------>3.3、設置下載模式 -------…