---

Linux 內核發包流程與路由控制實戰

在網絡調優、性能優化、SDN、NFV、容器網絡等場景下，理解 Linux 內核發包路徑和路由控制機制是必修課。
本文將從內核網絡棧的原理入手，再結合 iproute2 命令和 策略路由給出實戰案例。

---

一、Linux 內核發包流程（TX Path）

Linux 的發包路徑可以分為 用戶態 → 內核協議棧 → 網卡驅動 → 物理鏈路 四大階段。

1. 用戶態到內核

1. 應用調用 send()/sendto()/write() → 進入內核系統調用入口

2. 數據被拷貝到 內核 socket 緩沖（SKB）

3. 根據 socket 類型（TCP/UDP/RAW）進入對應的協議處理函數

   • TCP：進入 tcp_sendmsg()
   • UDP：進入 udp_sendmsg()

---

2. 協議棧處理（L4 → L3 → L2）

內核構造 sk_buff (skb) 結構，這是一塊帶有元數據的網絡數據緩沖區。
流程：

1. 傳輸層（L4）

   • TCP：加 TCP 首部（端口、序號、校驗和）
   • UDP：加 UDP 首部（端口、長度、校驗和）

2. 網絡層（L3）

   • 查路由表（fib_lookup）
   • 決定下一跳 IP、出接口
   • 加 IP 首部（源/目的地址、TTL、協議號、校驗和）

3. 鏈路層（L2）

   • 根據下一跳查 ARP 緩存（或觸發 ARP 請求）
   • 加以太網頭（MAC 源地址、目的地址、類型字段）

---

3. qdisc（隊列規則）與流量整形

• 數據進入 TC（Traffic Control）隊列
• 默認是 pfifo_fast，可替換為 fq_codel、htb 等進行 QoS、帶寬限制、優先級隊列

命令示例：

# 查看當前 qdisc
tc qdisc show dev eth0# 修改為 FQ（減少延遲）
tc qdisc replace dev eth0 root fq

---

4. 網卡驅動與 DMA

• 內核將 skb 交給網卡驅動
• 驅動將數據放入 TX 環形緩沖區（TX Ring Buffer）
• 通過 DMA 直接搬運到網卡硬件
• 網卡硬件發出數據幀到物理鏈路（光纖/電纜）

---

5. 關鍵優化點

• GSO/TSO：大包分片在網卡進行（減少 CPU 處理開銷）
• XDP：繞過協議棧直接在驅動層處理數據（用于高性能轉發/過濾）
• 多隊列 RSS：多核并行發包

---

二、路由控制原理

Linux 內核使用 FIB（Forwarding Information Base） 進行路由決策。
核心思路：最長前綴匹配（Longest Prefix Match）

1. 路由查找順序

1. 策略路由（Policy Routing）：

   • 根據規則（IP、端口、接口、fwmark）決定查哪個路由表

2. 路由表查找：

   • 按最長匹配前綴找到路由項

3. 鄰居子系統（ARP/NDP）：

   • 找出下一跳的 L2 地址

---

2. 查看路由表

ip route show

輸出示例：

default via 192.168.1.1 dev eth0
192.168.1.0/24 dev eth0 proto kernel scope link src 192.168.1.100
10.0.0.0/8 via 192.168.1.254 dev eth0

---

三、路由控制實戰

1. 添加靜態路由

# 發往 10.10.0.0/16 通過 192.168.1.254
ip route add 10.10.0.0/16 via 192.168.1.254 dev eth0

---

2. 策略路由（多出口場景）

場景：服務器有兩個網卡，分別連兩條不同的運營商線路，需要按源地址走不同出口。

# 添加自定義路由表
echo "200 net1" >> /etc/iproute2/rt_tables
echo "201 net2" >> /etc/iproute2/rt_tables# 在表 net1 中添加路由
ip route add default via 192.168.1.1 dev eth0 table net1
# 在表 net2 中添加路由
ip route add default via 172.16.1.1 dev eth1 table net2# 添加策略規則
ip rule add from 192.168.1.100 table net1
ip rule add from 172.16.1.100 table net2

驗證：

ip rule show
ip route show table net1

---

3. 按端口路由（配合 iptables）

如果要按 TCP 端口選擇出口，可以用 fwmark：

# 將目標端口 80 的流量打標 1
iptables -t mangle -A OUTPUT -p tcp --dport 80 -j MARK --set-mark 1# 策略路由匹配 fwmark
ip rule add fwmark 1 table net1

---

4. 臨時切換默認路由

ip route change default via 192.168.1.1 dev eth0

---

四、案例：高性能轉發調優

場景：Linux 作為軟件路由器（如容器網關、KVM 虛擬機宿主機）
優化思路：

1. 打開轉發功能：

sysctl -w net.ipv4.ip_forward=1

2. 使用 XDP/eBPF 在驅動層轉發包（減少協議棧延遲）
3. 調整鄰居緩存大小與超時：

sysctl -w net.ipv4.neigh.default.gc_thresh3=8192

4. 優化路由查找性能（大規模路由表場景使用 FIB Trie 壓縮）

---

五、關鍵知識點總結

• 發包路徑：用戶態 → 內核協議棧（L4→L3→L2）→ TC 隊列 → 網卡驅動 → DMA → 鏈路

• 路由決策：

  • 策略路由優先于常規路由
  • 查找過程遵循最長前綴匹配

• 實戰技巧：

  • 靜態路由：ip route add
  • 多出口策略路由：ip rule + 自定義路由表
  • 按端口路由：iptables mangle + fwmark

• 性能優化：

  • 多隊列 + RSS
  • GSO/TSO
  • XDP/eBPF
  • 合理的 ARP 緩存與路由壓縮

---

。