消息中間件Client模塊劃分

上圖是之間討論確定的系統架構(后續內容會按照這個架構來敘述),其中:

  1. 客戶端包含Producer和Consumer兩大塊

  2. 客戶端需要和NameServer交互來獲取元數據

  3. 客戶端需要和Broker交互來讀寫消息

Client模塊劃分

1. 網絡模塊

第一個仍然是網絡模塊。Client需要獲取元數據,需要讀寫消息,網絡模塊是必不可少的。 和Broker不同的是,Client的網絡模塊要簡單一些。Broker需要向NameServer匯報數據,同時還要處理來自Client的請求,而Client更多的只是發出請求:

  • 向NameServer獲取元數據

  • 向Broker寫入消息

  • 從Broker獲取消息

2. 編解碼模塊

Client需要將消息寫到Broker,同時也需要從Broker獲取消息,這兩個過程會涉及到消息的編解碼。

3. 元數據相關

Client相關的元數據有Topic、消費進度、Group(之前介紹過的概念,可以看之前的文章),另外還需要感知其他的客戶端的存在(叫Member信息或者Client Instance信息吧),所以需要Member數據。那么元數據相關大概是以下組件:

  • TopicManager

  • PositionManager

  • GroupManager

  • MemberManager

4. 發送相關

Producer API

對于Client而言,很重要的一個模塊就是暴露出去的發送和消費的API,這是使用方唯一能接觸到的地方(寫代碼時,任何暴露出去的API已經要謹慎謹慎再謹慎)。

對于發送的API,從不同的角度可以分為:

  • 從發送方式上有同步發送和異步發送

  • 從發送消息量上有單條發送和批量發送

路由模塊

對于發送而言,一條消息最終需要落到某一個確定的分區上。所以客戶端會包含一個路由模塊來根據消息的屬性和Topic的元信息來選擇分區。

5. 消費相關

Consumer API

消費相關的API會比發送的復雜一些,因為消費需要提供更多的模式。另外為了保證順序性、減少消息的重復等,消費還需要引入租約等組件。租約和Consumer的各種模式已經是比較細節的問題了,在設計階段在進行介紹。

分區分配模塊

發送方需要選擇將消息寫入到哪個分區,而消費方需要決定自己消費哪些分區,所以對應于發送方的路由模塊,消費方會有分區分配的模塊。

緩存模塊

為了保證性能,Consumer從Broker獲取消息和使用方消費消息是異步的,中間需要Buffer來緩存消息,所以Consumer相對于Producer會多一個緩存模塊。

除了以上模塊,還會有LifeCycle這樣生命周期相關的基礎模塊,這個也是上一篇在介紹Broker模塊時遺漏的。

總結以上內容,Client包含的模塊大概如下:

?

結語

本篇主要是把Client的幾個模塊劃分出來,為之后的詳細設計做準備。 下一篇會整理一下NameServer的模塊,然后大概會有一到兩篇的篇幅總結一些架構、流程、數據流等。

往期內容:

《什么是分布式消息中間件》

《消息中間件的一些概念》

《業務方對消息中間件的需求》

《消息中間件架構討論》

《Broker模塊劃分》

歡迎關注此公眾號,將堅持不懈的寫MQ相關的技術文章,希望能和更多的朋友交流。

如果本文對您有幫助,點一下右下角的“推薦”

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/455662.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/455662.shtml
英文地址,請注明出處:http://en.pswp.cn/news/455662.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

詳解HashMap數據結構實現

HashMap的設計是由數組加鏈表的符合數據結構,在這里用自己的語言以及結合源碼去總結一下,如果有不對的地方希望評論指正,先拱手謝謝。 HashMap是日常中非常常用的一種數據結構,我們要想深入了解學習任何一門技術,都是要…

java web開發學習手冊_Java 人必備學習手冊開發下載!

今天給大家分享一套 5000 頁的 Java 學習手冊,新鮮出爐!此手冊內容專注 Java技術,包括 JavaWeb,SSM,Linux,Spring Boot,MyBatis,MySQL,Nginx,Git,…

Django初次體驗

Django初次體驗 關于django的安裝,寶寶們可以參考django簡介以及安裝 Django框架的搭建 在終端中進入需要建立項目的目錄 執行: django-admin startproject mysite其中,mysite是項目目錄名,可以自定義 我們來看看startprojec…

【LeetCode-面試算法經典-Java實現】【002-Add Two Numbers (單鏈表表示的兩個數相加)】...

【002-Add Two Numbers (單鏈表表示的兩個數相加)】 原題 You are given two linked lists representing two non-negative numbers. The digits are stored in reverse order and each of their nodes contain a single digit. Add the two numbers and return it as a linked…

關鍵幀 關于decode_one_frame函數

田克平(94338047) 16:57:34能自己設置某幀為關鍵幀嗎? 抱柱者(86311414) 16:57:59to 田克平可以 田克平(94338047) 17:00:00呵呵,把丟包后的下一幀設置為I幀可以嗎?來處理丟幀現象 ☆雪天/kf☆(279373002) 17:00:42這個難度大了 田克平(94338…

不出現php version網頁_php冷知識 - 從命令行參數列表中獲取選項

分享一個php的冷知識 - ,從命令行參數列表中獲取選項用到的函數是getopt 說明函數簽名是這樣的getopt ( string $options [, array $longopts [, int &$optind ]] ) : array|bool false解析傳入腳本的選項,成功返回數組,解析失敗返回fals…

【機器學習】opencv-攝像頭中的人臉采集

本次在視頻識別的程度上增添了攝像頭實時識別, 區別在于: # v cv2.VideoCapture(./dzd2.mp4) v cv2.VideoCapture(0) import numpy as npimport cv2face_detector cv2.CascadeClassifier(./haarcascade_frontalface_alt2.xml) # v cv2.VideoCapt…

[計算機視覺][神經網絡與深度學習]Faster R-CNN配置及其訓練教程2

faster-rcnn分為matlab版本和python版本,首先記錄弄python版本的環境搭建過程.matlab版本見另一篇:faster-rcnn(testing): ubuntu14.04caffecuda7.5cudnn5.1.3opencv3.0matlabR2014a環境搭建記錄 首先,進入官方github網站:https://github.com/rbgirshick/py-faster-…

modbus從站模擬軟件_作為工控電氣人,你知道我們必備的軟件有哪些嗎?

作為工控電氣人,你知道我們必備的軟件有哪些嗎?今天我就來給大家介紹一下,工控電氣人常用的幾款軟件,有了它們,我們的工作學習將會更易上手,效率翻倍。以下介紹主要是分為電工常用軟件,PLC編程軟…

錯誤檢測dP-bitstream-ei_flag runRestrictRef

JM86模型,對于錯誤檢測,dP->bitstream->ei_flag在什么情況下置1?還是無錯的時候dP->bitstream->ei_flag0,有錯時dP->bitstream->ei_flag等于一個較大的無效值? 看下所有給 dP->bitstream->ei_…

【數據分析】豆瓣電影Top250爬取的數據的可視化分析

豆瓣Top250網址 將之前爬取到的豆瓣電影進行簡單的可視化: 數據列表保存為CSV格式,如圖 導入數據 做好準備 #!-*- coding:utf-8 -*- import pandas as pd import numpy as np import matplotlib.pylab as plt import re from numpy import rank from bu…

sqlmap的二次開發

1、sqlmapapi的幫助信息。 -s 啟動sqlmap作為服務器 -h 指定sqlmap作為服務器的IP地址,默認127.0.0.1 -p 指定sqlmap服務器的端口,默認端口為8775 2、啟動服務 瀏覽器訪問: 3、api介紹:sqlmap項目下的api.py文件含有所有的api adm…

Django創建第一個應用

Django創建第一個應用 1,創建應用 Django自帶一個實用程序,可以自動生成應用程序的基本目錄結構,因此您可以專注于編寫代碼而不是創建目錄。 要創建您的應用程序,請確保您與目錄位于同一目錄,manage.py 并鍵入以下命令&#xff1…

docker nginx配置_docker隨手筆記第十二節 jenkins+docker+nginx+純靜態頁面配置

docker隨手筆記第一節 docker概念及安裝docker隨手筆記第二節 docker常用命令解析docker隨手筆記第三節 docker構建java鏡像docker隨手筆記第四節 docker安裝mysql5.7docker隨手筆記第五節 docker安裝redis4.0docker隨手筆記第六節 docker安裝jenkinsdocker隨手筆記第七節 jenk…

【機器學習】邏輯斯蒂回歸原理

邏輯斯蒂函數 引入: 在線性感知器算法中,我們使用了一個f(x)x函數,作為激勵函數,而在邏輯斯蒂回歸中,我們將會采用sigmoid函數作為激勵函數,所以它被稱為sigmoid回歸也叫對數幾率回歸(logistic …

。。。。。etc 時域錯誤隱藏個人理解

三個文件名以 erc 開頭的文件就是 EC 相關的文件。EC 的入口在 exit_picture 函數中,從 ercStartSegment 開始到 ercConcealInterFrame 結束。你自己做一個丟包之后的碼流,把程序跑起來跟蹤一下 EC 過程,慢慢分析代碼。 錯誤隱藏過程在整個幀…

手機影音第十一天,顯示視頻緩沖,顯示卡頓時的網速,播放系統視頻時調用播放器的選擇...

代碼已經托管到碼云,有興趣的小伙伴可以下載看看https://git.oschina.net/joy_yuan/MobilePlayer一、設置視頻緩沖進度顯示視頻播放進度的效果圖如下:灰色的是緩沖的進度。原理:只有播放網絡視頻時,才有緩沖這個說法,所…

Django之創建應用以及配置路由

Django之創建應用以及配置路由 配置所有IP都可以訪問你的項目 1.進入manage.py同級的my_web里面的settings.py的文件 2.在文件的第28行把ALLOWED_HOSTS []改成ALLOWED_HOSTS [*] 注意:*代表的是所有IP都可以訪問 創建一個app應用 在終端中,結束項目…

python中opencv是什么_python-opencv的用法

#!/usr/bin/env python # -*- coding:utf-8 -*- # author:love_cat import cv2 # 接收兩個參數,一個是文件名,一個值,如果值為1,接收的是彩色圖片,如果值為零,接受的是灰度圖片。會有一個返回值&#xff0c…

openjudge 14:求10000以內n的階乘

14:求10000以內n的階乘 總時間限制:5000ms內存限制:655360kB描述求10000以內n的階乘。 輸入只有一行輸入&#xff0c;整數n&#xff08;0<n<10000&#xff09;。輸出一行&#xff0c;即n!的值。樣例輸入100 樣例輸出933262154439441526816992388562667004907159682643816…