一、sendfile 是什么？

sendfile 是 Nginx 中一個關鍵的配置參數，用于控制是否使用操作系統提供的 sendfile() 系統調用來傳輸文件。

• sendfile on;：啟用零拷貝技術，直接由內核將文件發送到網絡。
• sendfile off;：使用傳統方式，數據需經過用戶空間處理。

---

二、傳統文件傳輸的痛點：為什么要傳到用戶空間？

1. 傳統流程有多麻煩？

以下載一個圖片為例：

1. read() 系統調用：
   • 文件從磁盤通過 DMA（直接內存訪問）拷貝到內核緩沖區。
2. 用戶空間拷貝：
   • 數據從內核緩沖區復制到用戶空間的程序緩沖區。
3. write() 系統調用：
   • 數據從用戶空間寫入網絡套接字緩沖區。
4. 網絡發送：
   • 數據通過 DMA 發送到網卡。

問題總結：

• 兩次內存拷貝（內核 → 用戶空間，用戶空間 → 網絡緩沖區）。
• 兩次上下文切換（用戶態 ? 內核態）。
• CPU 資源浪費：頻繁的拷貝和切換消耗大量 CPU 時間。

2. 為什么不能直接從內核發？

早期操作系統的設計限制導致必須將數據傳到用戶空間：

• 靈活性需求：
  • 如果需要對文件內容進行動態處理（如加密、壓縮、添加水印），必須在用戶空間操作。
• 系統隔離性：
  • 用戶空間與內核空間是操作系統的核心設計原則，用戶程序無法直接訪問內核緩沖區。
• 硬件兼容性：
  • 早期網卡只能從用戶空間的緩沖區讀取數據，無法直接從內核緩沖區發送。

---

三、零拷貝（Zero Copy）的革命：sendfile 的優化

1. 什么是零拷貝？

“零拷貝”并非真正“零”拷貝，而是通過減少內存拷貝次數來優化性能。

• 傳統方式：2 次內存拷貝（DMA 從磁盤 → 內核緩沖區，內核 → 用戶空間）
• 零拷貝：1 次內存拷貝（DMA 從磁盤 → 內核緩沖區

2. sendfile 的工作原理

sendfile() 系統調用直接在內核中完成數據傳輸：

1. DMA 從磁盤 → 內核緩沖區
2. 內核緩沖區 → 網絡套接字緩沖區
3. DMA 從網絡緩沖區 → 網卡

關鍵優化：

• 減少一次用戶空間拷貝，節省 CPU 資源。
• 減少一次上下文切換，提升系統吞吐量。

3. Linux 2.4 的進一步優化：SG-DMA

在 Linux 2.4 內核版本中，引入了 SG-DMA（分散/聚集 DMA） 技術，進一步優化 sendfile 的性能：

1. DMA 直接從內核緩沖區 → 網卡
2. 完全省去 CPU 拷貝，實現真正的“零拷貝”。

條件限制：

• 需要網卡支持 SG-DMA（可通過 ethtool -k eth0 | grep scatter-gather 檢查）。

---

四、為什么大文件又要關閉 sendfile？**

雖然 sendfile 很快，但在某些場景下反而會帶來問題，尤其是大文件下載。

原因如下：

1. 一次性加載整個文件到內存：

   • sendfile 默認會把整個文件映射進內存，如果文件很大（如幾個 GB），會導致內存占用飆升。

2. 影響其他請求響應：

   • 如果服務器同時處理多個大文件請求，容易造成內存瓶頸，拖慢整個系統。

3. 缺乏異步支持：

   • 使用 sendfile 時是同步傳輸，不支持異步 I/O，不利于并發處理。

---

五、sendfile 的性能優化建議

1. 靜態資源優化

http {sendfile        on;tcp_nopush      on;  # 合并數據包，減少網絡碎片tcp_nodelay     off; # 與 tcp_nopush 配合使用
}

2. 大文件下載優化

• 關閉 sendfile：

  location /download {sendfile        off;
  }
  

• 啟用異步 I/O（aio）：

  location /download {aio             on;directio        512k;  # 大于該閾值時使用直接 I/O
  }
  

3. 硬件層面的優化

• 確保網卡支持 SG-DMA：

  ethtool -k eth0 | grep scatter-gather
  

• 調整內核參數：
  • 增大 net.core.wmem_default 和 net.core.rmem_default。

---

七、總結

場景	是否開啟 sendfile	推薦配置
靜態資源服務	? 開啟	sendfile on; + tcp_nopush
大文件下載	? 關閉	sendfile off; + aio + directio
動態生成內容（如 API）	? 關閉	傳統 read/write 方式

---

八、常見問題解答

Q1：為什么傳統方式需要傳到用戶空間？

A：早期系統設計需要用戶空間處理動態內容（如加密、壓縮），且網卡硬件不支持直接從內核讀取數據。

Q2：sendfile 一定能提升性能嗎？

A：不一定！需確保網卡支持 SG-DMA，否則僅減少一次拷貝，效果有限。

Q3：如何判斷網卡是否支持 SG-DMA？

A：執行命令 ethtool -k eth0 | grep scatter-gather，輸出為 scatter-gather: on 表示支持。

參考: https://dunwu.github.io/nginx-tutorial/#/