一、 順序寫入:磁盤性能的極致挖掘
Kafka的高性能本質上源于對磁盤順序訪問的深度優化。
傳統隨機寫入的磁盤操作需要磁頭頻繁尋道,機械硬盤的隨機寫性能通常僅為100IOPS左右,而Kafka通過追加日志(Append-Only Log)模式,將所有消息按順序寫入分區文件,使磁盤操作轉化為順序寫,機械硬盤的順序寫速度可達100MB/s以上,接近內存隨機讀寫性能。
1.1 頁緩存(Page Cache)的妙用
- 寫入優化:Kafka的消息并非直接寫入磁盤,而是先存入操作系統的頁緩存(Page Cache),由系統內核異步刷盤。這種機制使寫入延遲從磁盤的毫秒級降低至內存的微秒級,同時避免了JVM堆內存的頻繁分配與回收,減少GC壓力。
- 讀取優化:消費者拉取消息時,優先從頁緩存中讀取數據,只有在緩存未命中時才訪問磁盤。據測試&#