
目標:測試創建1000萬客戶端連接到Coolpy7 MQTT服務器端,服務器操作系統 Linux(任意一款發行版服務器版本)。分別在兩臺硬件一樣的服務器,其中一臺用于服務器端運行,另一臺用于創建千萬客戶端連接客戶端機器。在硬件一致的情況下請確保網絡設備達到相關測試要求,例如萬兆網絡等等。

服務端系統參數調優(Linux)
修改文件/etc/sysctl.conf,配置網絡參數。
net.ipv4.tcp_wmem = 4096 87380 4161536
net.ipv4.tcp_rmem = 4096 87380 4161536
net.ipv4.tcp_mem = 786432 2097152 3145728
fs.file-max = 12000000 #一千兩百萬
執行/sbin/sysctl -p即時生效。
echo 12000000 > /proc/sys/fs/nr_open #需root權限
/etc/systemd/system.conf 設置服務最大文件句柄數:
DefaultLimitNOFILE=12000000
修改/etc/security/limits.conf文件
* hard nofile 12000000
* soft nofile 12000000
* soft nproc 12000000
* hard nproc 12000000
需重啟系統生效,服務器操作系統參數調優完成。關于啟動CoolPy7服務器端程序請參閱本章中的《程序安裝》小節
客戶端的參數調優(Linux)
根據TCP/IP協議,由于端口是16位整數,也就只能是0到 65535,而0到1023是預留端口,所以能分配的端口只是1024到65534,也就是64511個。一臺機器一個IP只能創建六萬多個長連接。 要想達到更多的客戶端連接,可以用更多的機器或者網卡,也可以使用虛擬IP來實現,比如下面的命令增加了19個IP地址,其中一個給服務器用,其它18個給client,這樣可以產生18 * 60000 = 1080000個連接。本測試用例需要增加到一千萬或以上的足夠IP。

以上指令查看到網卡名稱為 eth0

以上指令操作增加虛擬IP,添加完成后通過 ifconfig 指令查看確認所有虛擬IP最已列出。
修改/etc/sysctl.conf文件:
fs.file-max = 12000000
fs.nr_open = 12000000
net.ipv4.ip_local_port_range = 1024 65535
執行/sbin/sysctl -p即時生效。
echo 12000000 > /proc/sys/fs/nr_open #需root權限
/etc/security/limits.conf配置
* soft nofile 12000000
* hard nofile 12000000
* soft nproc 12000000
* hard nproc 12000000
# 下載測試工具
git clone https://github.com/Coolpy7/coolpy7_benchmark.git
# 進入bin文件夾
cd bin
# 啟動Coolpy7靜連接測試工具
# 參數url: Coolpy7服務端所在服務器ip地址,默認端口號:1883
# 參數workers: 需要創建的客戶端連接數量
# 參數cid: mqtt連接客戶端(ClientId)前綴,工具會自動以cid+WorkersId作為連接clientid值
# 參數topic: 連接成功后訂閱的topic主題(支持以%i取得workersid:例: mytopic%i)不進行訂閱測試填寫null字符串
# 參數keepalive: 連接ping時間間隔
# 參數clear: mqtt客戶端連接的clearsession屬性,當設置為true時重連時不能再次訂閱qos0以上的主題
# 以下例示建立連接到192.168.200.238所在的Coolpy7服務器端,并創建400萬個MQTT客戶端連接
./go_build_cp7_bench_sub_go_linux -workers=4000000 -cid=tqy -topic=null -qos=0 -url=tcp://192.168.200.238:1883 -keepalive=60000s -clear=true

測試時需時刻關注服務器端網絡資源使用情況,測試數據顯示在高連接數下ping/pong狀態下已占用極大的網絡帶寬,需根據當前設備的硬件資源合理設置最大連接數量以保證系統的穩定長期運行

服務器端啟動并host于1883 TCP端口

通過HTOP工具監測Coolpy7(連接時)硬件資源占用情況

通過NLOAD工具監測Coolpy7(連接時)網絡資源占用情況

使用Coolpy_benchmark工具測試連接400萬連接
- 測試工具開源地址:https://github.com/Coolpy7/coolpy7_benchmark
- 工具會以1000為單位打印連接信息
- 工具啟動后會一直創建參數指定的客戶端連接數
按應用場景測試
MQTT 是一個設計得非常出色的傳輸層協議,在移動消息、物聯網、車聯網、智能硬件甚至能源勘探等領域有著廣泛的應用。1個字節報頭、2個字節心跳、消息 QoS 支持等設計,非常適合在低帶寬、不可靠網絡、嵌入式設備上應用。
不同的應用有不同的系統要求,用戶使用Coolpy7消息服務器前,可以按自己的應用場景進行測試,而不是簡單的連接壓力測試:
- Android 消息推送: 推送消息廣播測試。
- 移動即時消息應用: 消息收發確認測試。
- 智能硬件應用: 消息的往返時延測試。
- 物聯網數據采集: 并發連接與吞吐測試。