【DevOps】Linux 內核網絡子系統全面指南與性能調優

一、Linux 內核網絡子系統

1. Netfilter

主要特性

工作流程

2. Traffic Control (TC)

主要特性

工作流程

3. Socket

主要特性

工作流程

二、內核參數優化

1. net.ipv4.tcp_window_scaling

2. net.core.netdev_max_backlog

3. net.ipv4.tcp_rmem 和 net.ipv4.tcp_wmem

4. net.ipv4.tcp_fin_timeout

5. net.core.rmem_default 和 net.core.wmem_default

一、Linux 內核網絡子系統

Linux 內核的網絡子系統是其架構中非常復雜和強大的部分，負責處理所有網絡相關的操作。這些操作包括數據包過濾、地址轉換、流量控制、服務質量保證，以及為應用程序提供網絡通信的接口。下面我們詳細介紹幾個關鍵的網絡子系統：Netfilter、Traffic Control 和 Socket。

1. Netfilter

Netfilter?是 Linux 內核中一個非常重要的網絡子系統，主要用于在內核中實現包過濾、網絡地址轉換 (NAT) 和其他網絡相關的鉤子功能。Netfilter 提供了一系列的鉤子（hook），這些鉤子位于網絡協議棧的不同位置，可以捕獲網絡協議棧中的數據包，進行處理或決定數據包的去向。

主要特性

數據包過濾：Netfilter 通過與 iptables（在較新的內核中是 nftables）的配合，可以實現包括但不限于 IP 地址、端口號、協議類型等條件的數據包過濾。
網絡地址轉換 (NAT)：Netfilter 支持源 NAT (SNAT)、目的 NAT (DNAT) 和端口映射，這對于路由器和防火墻的功能是非常關鍵的。
狀態跟蹤：Netfilter 可以跟蹤每個網絡連接的狀態，這使得它可以識別和處理每個連接的數據包，如區分新連接、已建立的連接和結束的連接。
用戶空間通信：Netfilter 可以通過?nfnetlink?與用戶空間程序通信，允許用戶空間程序動態地更改過濾規則或收集網絡狀態信息。

工作流程

Netfilter 提供了五個主要的鉤子點，它們位于網絡協議棧的不同層次：

NF_IP_PRE_ROUTING：在路由決策之前，對進入的數據包進行處理。
NF_IP_LOCAL_IN：在確定數據包目的地為本機后進行處理。
NF_IP_FORWARD：在進行路由轉發決策后，對需要轉發的數據包進行處理。
NF_IP_LOCAL_OUT：在本機產生的數據包即將發送出去前進行處理。
NF_IP_POST_ROUTING：在數據包即將離開網卡前進行處理。

2. Traffic Control (TC)

Traffic Control (TC)?是 Linux 內核的另一個網絡子系統，用于實現網絡流量控制和服務質量（QoS）。TC 允許 Linux 內核對網絡接口的數據包發送隊列進行控制，包括帶寬限制、延遲管理和數據包排隊策略。

主要特性

帶寬管理：通過諸如令牌桶過濾器 (TBF)、隨機早期檢測 (RED) 等機制，控制數據流的速率。
排隊策略：包括 FIFO、Stochastic Fairness Queueing (SFQ)、Hierarchical Token Bucket (HTB) 等，用于控制數據包的發送順序和方式。
分類：TC 使用分類器將數據包分流到不同的類和隊列，允許對不同類型的流量實施不同的控制策略。
過濾：通過過濾器確定數據包屬于哪個類，過濾器可以基于多種條件，如協議、端口號、IP 地址等。

工作流程

分類：數據包首先通過分類器進行分類，判定進入哪個類。
排隊：每個類有自己的隊列，數據包按照策略進入相應的隊列。
調度：調度器根據策略從隊列中取出數據包發送。

3. Socket

Socket?是 Linux 內核提供的用于網絡通信的基本接口，屬于網絡子系統中的應用層接口部分。Socket 抽象了網絡通信的細節，使應用程序可以通過標準的接口發送和接收數據，而無需關心底層網絡協議的具體實現。

主要特性

多種類型：支持多種類型的 Socket，包括流式套接字 (SOCK_STREAM)、數據報套接字 (SOCK_DGRAM) 和原始套接字 (SOCK_RAW)。
多種協議：支持多種網絡協議，如 IPv4、IPv6、TCP、UDP 等。
阻塞與非阻塞操作：Socket 可以在阻塞模式和非阻塞模式下工作，允許應用根據需要選擇合適的工作方式。
安全特性：支持通過 SSL/TLS 等協議提供加密通信。

工作流程

創建 Socket：應用程序通過?socket()?系統調用創建一個 Socket。
配置 Socket：通過各種系統調用 (如?bind(),?listen(),?connect()) 配置 Socket 的屬性和行為。
數據傳輸：使用?send()?和?recv()?(或?write()?和?read()) 系統調用進行數據的發送和接收。
關閉 Socket：通過?close()?系統調用關閉 Socket。

這些子系統合作，形成了 Linux 內核中強大而靈活的網絡功能，支持從簡單的數據傳輸到復雜的網絡應用。

二、內核參數優化

在 Linux 系統中，通過調整內核參數來優化網絡性能是一種常見且有效的方法。內核參數可以控制 TCP/IP 棧和其他網絡子系統的行為，從而改善網絡吞吐量、降低延遲、增加連接的穩定性和響應速度。下面是對您提到的兩個參數的詳細介紹，以及其他一些常用的內核參數和它們的優化作用。

1. net.ipv4.tcp_window_scaling

參數說明：net.ipv4.tcp_window_scaling?是一個布爾值參數，用于啟用或禁用 TCP 窗口縮放功能。
作用：TCP 窗口縮放是一種機制，允許 TCP 連接動態調整其接收窗口大小，從而適應不同的網絡延遲和帶寬條件。這個功能在高延遲或高帶寬的網絡環境（如衛星通信、長距離光纖連接）中尤其重要，可以顯著提高數據傳輸效率。
默認值：通常默認為?1（啟用）。
調整建議：
- 在網絡環境穩定且網絡延遲較低的局域網環境中，這個選項的效果不明顯，但在寬帶較大的網絡中，啟用窗口縮放可以提高傳輸性能。
- 如果要啟用 TCP 窗口縮放，確保?sysctl?設置為?net.ipv4.tcp_window_scaling = 1。

2. net.core.netdev_max_backlog

參數說明：net.core.netdev_max_backlog?設置了在內核處理之前，網絡設備驅動能夠隊列的接收包的最大數量。
作用：這個參數決定了網絡設備接收隊列的最大長度，對于高速網絡或是在突發大量網絡請求時，增加這個參數的值可以減少因隊列溢出而導致的丟包，從而提高網絡性能。
默認值：默認值可能在 1000 左右，具體值依據不同的內核和系統配置而變化。
調整建議：
- 在高速網絡環境中或大量并發連接的服務器上，可以適當增加這個值，例如設置為?2000?或更高，如?3000。
- 修改方式：sysctl -w net.core.netdev_max_backlog=2000?或通過編輯?/etc/sysctl.conf?文件添加?net.core.netdev_max_backlog = 2000?并重新加載配置?sysctl -p。

3. net.ipv4.tcp_rmem 和 net.ipv4.tcp_wmem

參數說明：
- net.ipv4.tcp_rmem：這個參數控制 TCP 接收緩沖區的最小值、默認值和最大值，單位是字節。
- net.ipv4.tcp_wmem：這個參數控制 TCP 發送緩沖區的最小值、默認值和最大值，單位是字節。
作用：調整這些參數可以優化 TCP 的緩沖區大小，適應不同的網絡環境，特別是在高帶寬和高延遲的網絡中，增大這些值可以提高網絡性能。
默認值：通常形式為?4096 87380 6291456。
調整建議：
- 對于高性能服務器，可以將這些值調整為更大，例如?4096 65536 16777216（對應最小、默認、最大）。
- 修改方式：
```
sysctl -w net.ipv4.tcp_rmem="4096 65536 16777216"
sysctl -w net.ipv4.tcp_wmem="4096 65536 16777216"
```

4. net.ipv4.tcp_fin_timeout

參數說明：net.ipv4.tcp_fin_timeout?指定了等待一個 TCP 連接完全終止前的超時時間，單位是秒。
作用：這個參數影響 TIME-WAIT 狀態的持續時間。減少這個值可以快速回收套接字，但是太小可能導致舊的重復數據段出現在新的連接中。
默認值：通常默認為?60?秒。
調整建議：
- 對于處理大量短連接的服務器，可以適當減少這個值，例如設置為?30?或更低，如?15。
- 修改方式：sysctl -w net.ipv4.tcp_fin_timeout=30

5. net.core.rmem_default 和 net.core.wmem_default

參數說明：
- net.core.rmem_default：指定接收套接字緩沖區的默認大小（字節）。
- net.core.wmem_default：指定發送套接字緩沖區的默認大小（字節）。
作用：這些參數控制非 TCP 套接字的默認緩沖區大小，對于 UDP 通信等場景下，增大這些值可以提高性能。
默認值：通常為?212992。
調整建議：
- 對于需要大量 UDP 通信的應用，可以增加這些值，如設置為?262144?或更大。
- 修改方式：
```
sysctl -w net.core.rmem_default=262144
sysctl -w net.core.wmem_default=262144
```