一、前言

1、Infiniband網絡

What is InfiniBand Network and the Difference with Ethernet?

Infiniband是一種高帶寬、低延遲、高可靠性的開放標準網絡互連技術，這項技術是由 IBTA (InfiniBand Trade Association)定義的，該技術在超級計算機集群領域得到了廣泛的應用。

1.1、網絡類型

Infiniband在物理層定義了多種鏈路速度，如x1鏈路、x4鏈路、x12鏈路，每個單獨的鏈路都是四線串行差分連接（每個方向兩根線），目前大多采用x4鏈路，當前Infiniband主流常見網絡類型參考如下：

網絡類型	信號速率	編碼方式	x1鏈路速率	x4鏈路速率	x12鏈路速率
SDR（Single Data Rate）	2.5Gb/s	8b/10b	2Gb/s	8Gb/s	24Gb/s
DDR（Double Data Rate）	5Gb/s	8b/10b	4Gb/s	16Gb/s	48Gb/s
QDR（Quad Data Rate）	10Gb/s	8b/10b	8Gb/s	32Gb/s	96Gb/s
FDR（Fourteen Data Rate）	14.0625Gb/s	64b/66b	13.64Gb/s	54.54Gb/s	163.64Gb/s
EDR（Ehanced Data Rate）	25.78125Gb/s	64b/66b	25Gb/s	100Gb/s	300Gb/s
HDR（High Data Rate）	50Gb/s	64b/66b	50Gb/s	200Gb/s	600Gb/s
NDR（Next Data Rate）	100Gb/s	64b/66b	100Gb/s	400Gb/s	1200Gb/s

1.2、網絡拓撲

Infiniband是處理器和I/O設備之間數據流的通信鏈路，支持多達64,000個可尋址設備。IBA(InfiniBand Architecture)是一個行業標準規范，它定義了一個點對點交換輸入/輸出框架，用于互連服務器、通信基礎設施、存儲設備和嵌入式系統。

Infiniband具有廣泛性、低時延、高帶寬和低管理成本等優點，是將多個數據流(集群、通信、存儲、管理)在一個連接中連接數千個節點的理想選擇。最小的IBA完整單元是一個子網（單個子網最大可由6萬多個節點組成），多個子網通過路由器相互連接，形成一個大的IBA網絡。子網內部使用交換機進行二層處理，子網之間使用路由器或網橋進行連接。

Infiniband是一種基于通道的結構，通道適配器就是搭建Infiniband通道使用的，所有傳輸均以通道適配器開始或結束，以確保安全或在給定的QoS（服務質量）級別下工作。其組成單元可以分為以下四類：

• HCA（Host Channel Adapters）：主機通道適配器
• TCA（Target Channel Adapters）：目標通道適配器
• IB Link（Infiniband Link）：Infiniband連接通道，包括連接頭和線纜兩部分，其中線纜可以是電纜或光纖
• Switch/Router：Infiniband組網設備

1.3、硬件設備

1.3.1、網卡

高端網卡通常支持IB RDMA和ROCE兩種，可以接入IB交換機或以太網交換機，具體支持情況需要根據產品規格進行確定。
網卡按照速率可分為QDR（40Gb）、EDR（100Gb）、HDR（200Gb）及NDR（400Gb）

1.3.2、連接線纜

連接線纜包括光模塊和線纜兩部分

a、光模塊

The Big Differences Between SFP, SFP+, SFP28, QSFP+, QSFP28, QSFP-DD, and OSFP
Quickview about SFP, SFP+, SFP28, QSFP+, QSFP28, QSFP-DD and OSFP
sfp-vs-sfp-vs-sfp28-vs-qsfp-vs-qsfp28-vs-qsfp-dd-vs-osfp-differences

光模塊在數據通信行業中起著關鍵的作用，SFP、SFP+、SFP28、QSFP+、QSFP28、QSFP56、QSFP-DD和OSFP是不同類型的光收發器。
它們都是可熱插拔的網絡接口模塊，用于連接網絡交換機和其他網絡設備(如服務器)的數據傳輸，常見光模塊類型參考如下：

光模塊類型	支持速率	大小(mm2)	兼容性	線纜類型	連接頭
SFP	100 Mb/s 1 Gb/s	113.9	100 Mb/s SFP+	Fiber、Twisted Pair	LC、RJ45
SFP+	10 Gb/s	113.9	1 Gb/s SFP	Fiber、Twisted Pair、DAC	LC、RJ45
SFP28	25 Gb/s	113.9	10 Gb/s SFP+	Fiber、DAC	LC
SFP56	50 Gb/s	113.9	SFP、SFP+、SFP28	Fiber、DAC	LC
QSFP	4 Gb/s	156	none
QSFP+	40 Gb/s	156	none	Fiber、DAC	LC、MTP/MPO
QSFP28	50 Gb/s	156	QSFP+	Fiber、DAC	LC
QSFP28	100 Gb/s	156	none	Fiber、DAC	LC、MTP/MPO-12
QSFP56	200 Gb/s	156	none	Fiber、DAC	LC、MTP/MPO-12
QSFP-DD	400 Gb/s	156	QSFP+、QSFP28	Fiber、DAC	LC、MTP/MPO-16
OSFP	400 Gb/s 800 Gb/s	比QSFP略大	none	Fiber、DAC	LC、MTP/MPO-12

b、線纜

Infiniband網絡中，使用的線纜區別于傳統的以太網線纜和光纖線纜。針對不同的連接場景，需使用專用的InfiniBand線纜，可分為DAC高速銅纜、AOC有源線纜兩種，兩者材質不一（前者使用銅纜、后者使用光纖），AOC有源線纜價格要高于DAC高速銅纜
注：針對不同網絡速率，QDR（40Gb）、EDR（100Gb）、HDR（200Gb）及NDR（400Gb）對應線纜有所不同，需要根據選定的IB交換機及網卡適配

1.3.4、交換機

Infiniband網絡需使用專用的IB交換機

2、Ethernet網絡

以太網（Ethernet）是由Xerox主導，并由Xerox、Intel、DEC聯合開發的基帶局域網規范標準，于1980年9月30日發布，是現有局域網所采用最通用的通信協議標準，通過電纜傳輸和接收數據。
以太網用于創建局域網并連接多臺計算機或其他設備（如打印機、掃描儀等），在有線網絡中通過光纖電纜完成，在無線網絡中通過無線網絡技術完成。
目前由IEEE主導的IEEE 802.3已發布100GE、200GE、400GE的以太網接口標準，常用的網絡類型有以下幾種

網絡名稱	IEEE標準	傳輸速率	網絡類型
Ethernet	802.3	10 Mbps	10Base-T
Fast Ethernet	802.3u	100 Mbps	100Base-TX 100Base-FX
Gigabit Ethernet	802.3z	1000 Mbps	1000Base-T 1000Base-SX 1000Base-LX
10 Gigabit Ethernet	IEEE 802.3ae	10 Gbps	10GBase-SR 10GBase-LX4 10GBase-LR/ER 10GBase-SW/LW/EW

二、部署實踐（以太網）

1、Intel E810-XXVDA2

1.1、網卡信息

網卡介紹：英特爾? 以太網網絡適配器 E810-XXVDA2

• 網卡端口：雙口（Dual-Port）
• 網卡速率：25/10/1GbE
• PCIe版本：16 GT/s（PCIe 4.0）
• 插槽寬度：x8 lanes
• 網卡控制器：Intel Ethernet Controller E810
• 網卡驅動：ice

1.2、檢查命令

• 查看當前PCIe網卡列表：lspci | grep Eth

[root@node155 ~]# lspci | grep Eth
18:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
18:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
60:00.0 Ethernet controller: Intel Corporation Ethernet Connection X722 for 1GbE (rev 09)
60:00.1 Ethernet controller: Intel Corporation Ethernet Connection X722 for 1GbE (rev 09)
61:00.0 Ethernet controller: Intel Corporation Device 159b (rev 02)
61:00.1 Ethernet controller: Intel Corporation Device 159b (rev 02)

• 查看當前PCIe網卡產品型號：lspci -vvv -s <pci-device-num> | grep "Product Name"

[root@node155 ~]# lspci -vvv -s 61:00.0 | grep "Product Name"Product Name: Intel(R) Ethernet Network Adapter E810-XXVDA2

• 查看當前PCIe網卡速率：lspci -vvv -s<pci-device-num> | grep -E '(LnkCap:|LnkSta:)'
  注：LnkCap表示網卡理論的傳輸速率，LnkSta表示網卡實際的傳輸速率，當出現LnkSta < LnkCap情況時，網卡速率會大幅下降，通常為服務器PCIe插槽和網卡存在兼容性問題，嘗試更換網卡或PCIe插槽解決

[root@node8 ~]# lspci -vvv -s 61:00.0 | grep -E '(LnkCap:|LnkSta:)'LnkCap: Port #0, Speed 16GT/s, Width x8, ASPM not supported, Exit Latency L0s unlimited, L1 <4usLnkSta: Speed 8GT/s, Width x4, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-

1.2、驅動編譯

驅動下載：Intel? Network Adapter Driver for E810 Series Devices under Linux*

• 下載驅動程序(下載地址：適用于 Linux* 下的 E810 系列裝置的 Intel? 網絡適配器驅動程序)

wget https://downloadmirror.intel.com/789309/ice-1.12.7.tar.gz

• 源碼編譯安裝，加載ice網卡驅動模塊

tar -zxvf ice-1.12.7.tar.gz
cd ice-1.12.7/src/
make install
modprobe ice

• 查看網卡速率信息

[root@node8 src]# ethtool enp97s0f0
Settings for enp97s0f0:Supported ports: [ FIBRE ]Supported link modes:   1000baseT/Full25000baseCR/Full25000baseSR/Full1000baseX/Full10000baseCR/Full10000baseSR/Full10000baseLR/FullSupported pause frame use: SymmetricSupports auto-negotiation: NoSupported FEC modes: NoneAdvertised link modes:  25000baseSR/Full10000baseSR/FullAdvertised pause frame use: NoAdvertised auto-negotiation: NoAdvertised FEC modes: None BaseR RSSpeed: 25000Mb/sDuplex: FullPort: FIBREPHYAD: 0Transceiver: internalAuto-negotiation: offSupports Wake-on: dWake-on: dCurrent message level: 0x00000007 (7)drv probe linkLink detected: yes

2、Mellanox MCX456A-ECAT [ConnectX-4]

環境信息
100G雙口網卡 Mellanox MCX456A-ECAT
100G以太網DAC線纜（3米） Mellanox MCP1600-C003

2.1、網卡信息

NVIDIA ConnectX InfiniBand網卡介紹
NVIDIA ConnectX-4 InfiniBand/Ethernet Adapter Cards User Manual

• 網卡端口：雙口（Dual-port QSFP28）
• 網卡速率：InfiniBand: SDR/DDR/QDR/FDR/EDREthernet: 10/25/40/50/100 Gb/s
• PCIe版本：8.0GT/s（PCIe 3.0）
• 插槽寬度：x16 lanes
• 網卡驅動：mlx5_core

1.2、檢查命令

• 查看當前PCIe網卡列表：lspci | grep Eth

[root@node176 ~]# lspci | grep Eth
0000:01:00.0 Ethernet controller: Mellanox Technologies MT27700 Family [ConnectX-4]
0000:01:00.1 Ethernet controller: Mellanox Technologies MT27700 Family [ConnectX-4]
0001:06:00.0 Ethernet controller: Beijing Wangxun Technology Co., Ltd. WX1860A2 Gigabit Ethernet Controller (rev 01)
0001:06:00.1 Ethernet controller: Beijing Wangxun Technology Co., Ltd. WX1860A2 Gigabit Ethernet Controller (rev 01)

• 查看當前PCIe網卡速率：lspci -vvv -s<pci-device-num> | grep -E '(LnkCap:|LnkSta:)'
  注：LnkCap表示網卡理論的傳輸速率，LnkSta表示網卡實際的傳輸速率，當出現LnkSta < LnkCap情況時，網卡速率會大幅下降，通常為服務器PCIe插槽和網卡存在兼容性問題，嘗試更換網卡或PCIe插槽解決

[root@node176 ~]# lspci -vvv -s 0000:01:00.0 | grep -E '(LnkCap:|LnkSta:)'LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM not supportedLnkSta: Speed 8GT/s, Width x16

1.2、驅動安裝

驅動下載：Intel? Network Adapter Driver for E810 Series Devices under Linux*

• 根據當前操作系統版本及硬件架構，選擇下載對應驅動軟件包（MLNX_OFED_LINUX-5.8-4.1.5.0-rhel8.2-aarch64.tgz）

• 對于主流發行系統版本，在不升級默認內核版本情況下，mlnx_ofed提供了預構建RPM包，直接執行驅動軟件安裝即可

tar -zxvf MLNX_OFED_LINUX-5.8-4.1.5.0-rhel8.2-aarch64.tgz
cd MLNX_OFED_LINUX-5.8-4.1.5.0-rhel8.2-aarch64/
./mlnxofedinstall