目錄
- 零拷貝
- mmap
- sendFile
- 總結
零拷貝
要了解零拷貝,首先得先了解一下傳統 IO 的執行流程,這里舉個例子,通過傳統的 IO 進行網絡傳輸來傳輸一個文件。
先上一張圖,這張圖就代表了傳統 IO 傳輸文件的流程。
讀取文件的時候,會從用戶態切換為內核態,同時基于 DMA 引擎將磁盤文件拷貝到內核緩沖區。
看到這里,可能你就已經懵逼了,什么是用戶態和內核態,什么是 DMA 拷貝,我用大白話解釋一下
首先用戶態其實就是 CPU 在執行你的代碼,而內核態呢,其實就是你沒有那個權限去操作硬件,所以只能交給系統去調用,這個時候就是內核態。舉個例子,你的女朋友需要你修個電腦(醒醒,但凡有一粒花生米也不至于喝成這樣),我換個說法,假如你同班的女同學想讓你修個電腦,但是宿管阿姨不肯放你進女生宿舍,這個時候你就是用戶態,你不能進女生宿舍,所以你只能讓宿管阿姨(內核態)來幫你把電腦取出來。
那什么是 DMA 拷貝呢,DMA(DirectMemoryAccess,直接內存存取)其實就是因為 CPU 老哥太累了,所以找了個小弟,就是 DMA 替他完成一部分的拷貝工作,這樣 CPU 就能去做其他事情了。
講完了內核態和用戶態還有 DMA 的大概意思,我們接著回到剛才的 IO 流程中,第一步我們將文件從磁盤文件讀到了用戶緩沖區,此時經歷了一次上下文切換和一次拷貝。
由內核態切換為用戶態,基于 CPU 把內核緩沖區的數據拷貝到用戶緩沖區。
調用 socket 的輸出流的 write 方法的話,此時會從用戶態切換到內核態,同時基于 CPU把用戶緩沖區里的數據拷貝到 Socket 緩沖區里去,接著會有一個異步化的過程,基于 DMA 引擎從 Socket 緩沖區里把數據拷貝到網絡協議引擎里發送出去。
當 IO 操作完成之后,又從內核態切換為用戶態。
通過上面的步驟可以發現傳統的 IO 操作執行,有 4 次上下文的切換和 4 次拷貝,是不是很繁瑣。
零拷貝的話,一般有 mmap 和 sendFile 兩種,一個一個來說。
mmap
mmap 是一種內存映射技術,mmap 相比于傳統的 IO 來說,其實就是少了 1 次 CPU 拷貝而已,上圖。
傳統 IO 里面從內核緩沖區到用戶緩沖區有一次 CPU 拷貝,從用戶緩沖區到 Socket 緩沖區又有一次 CPU 拷貝。mmap 則一步到位,直接基于 CPU 將內核緩沖區的數據拷貝到了 Socket 緩沖區。
之所以能夠減少一次拷貝,就是因為 mmap 直接將磁盤文件數據映射到內核緩沖區,這個映射的過程是基于 DMA 拷貝的,同時用戶緩沖區是跟內核緩沖區共享一塊映射數據的,建立共享映射之后,就不需要從內核緩沖區拷貝到用戶緩沖區了。
雖然減少了一次拷貝,但是上下文切換的次數還是沒變。
RocketMQ 中就是使用的 mmap 來提升磁盤文件的讀寫性能。
sendFile
在 Linux 中,提供 sendFile 函數,實現了零拷貝,依舊是先上圖。
可以看到在圖中,已經沒有了用戶緩沖區,因為用戶緩沖區是在用戶空間的,所以沒有了用戶緩沖區也就意味著不需要上下文切換了,就省略了這一步的從內核態切換為用戶態。
同時也不需要基于 CPU 將內核緩沖區的數據拷貝到 Socket 緩沖區了,只需要從內核緩沖區拷貝一些 offset 和 length 到 Socket 緩沖區。
接著從內核態切換到用戶態,從內核緩沖區直接把數據拷貝到網絡協議引擎里去;同時從 Socket 緩沖區里拷貝一些 offset 和 length 到網絡協議引擎里去,但是這個 offset 和 length 的量很少,幾乎可以忽略。
sendFile 整個過程只有兩次上下文切換和兩次 DMA 拷貝,很重要的一點是這里完全不需要 CPU 來進行拷貝了,所以才叫做零拷貝,這里的拷貝指的就是操作系統的層面。
那你肯定會問,那 mmap 里面有一次 CPU 拷貝為啥也算零拷貝,只能說那不算是嚴格意義上的零拷貝,但是他確實是優化了普通 IO 的執行流程,就像老婆餅里也沒有老婆嘛。
Kafka 和 Tomcat 內部使用就是 sendFile 這種零拷貝。
總結
傳統 IO 執行的話需要 4 次上下文切換(用戶態 -> 內核態 -> 用戶態 -> 內核態 -> 用戶態)和 4 次拷貝(磁盤文件 DMA 拷貝到內核緩沖區,內核緩沖區 CPU 拷貝到用戶緩沖區,用戶緩沖區 CPU 拷貝到 Socket 緩沖區,Socket 緩沖區 DMA 拷貝到協議引擎)。
mmap 將磁盤文件映射到內存,支持讀和寫,對內存的操作會反映在磁盤文件上,適合小數據量讀寫,需要 4 次上下文切換(用戶態 -> 內核態 -> 用戶態 -> 內核態 -> 用戶態)和3 次拷貝(磁盤文件DMA拷貝到內核緩沖區,內核緩沖區 CPU 拷貝到 Socket 緩沖區,Socket 緩沖區 DMA 拷貝到協議引擎)。