?昨天在查LVS調度均衡性問題時,最終確定是?persistence_timeout?參數會使用IP哈希。目的是為了保證長連接,即一定時間內訪問到的是同一臺機器。而我們內部系統,由于出口IP相對單一,所以總會被哈希到相同的RealServer。
????過去使用LVS,遇到過單核CPU被軟中斷耗盡的問題,然后知道了網卡驅動與多隊列。而后知道了淘寶對LVS的優化,然后對生產環境進行了優化,效果顯著。
????如今單臺LVS帶寬吃到近500Mb/s,每秒進出包都過40萬。此時發現網卡(4隊列)對應CPU的軟中斷消耗已過40%了,倍感壓力。按理,空閑CPU如果少于40%,則要新增節點了。關于中斷不均衡的問題,聽取了淘寶普空的意見,效果也非常明顯,全均衡了:
?
???原來CentOS?6.1就開始支持RPS了,原生支持需要使用Linux內核2.6.38或以上版本。
???簡單來講,RPS就是讓網卡使用多核CPU的。傳統方法就是網卡多隊列(RSS,需要硬件和驅動支持),RPS則是在系統層實現了分發和均衡。獻上修改設置的腳本一例:
#!/bin/bash # Enable RPS (Receive Packet Steering) rfc=4096 cc=$(grep -c processor /proc/cpuinfo) rsfe=$(echo $cc*$rfc | bc) sysctl -w net.core.rps_sock_flow_entries=$rsfe for fileRps in $(ls /sys/class/net/eth*/queues/rx-*/rps_cpus) doecho fff > $fileRps donefor fileRfc in $(ls /sys/class/net/eth*/queues/rx-*/rps_flow_cnt) doecho $rfc > $fileRfc donetail /sys/class/net/eth*/queues/rx-*/{rps_cpus,rps_flow_cnt}
版權屬于: 呂滔博客
原文地址: https://www.lvtao.net/server/492.html
轉載時必須以鏈接形式注明原始出處及本聲明。
- 上一篇:?我才知道的淘寶內核對LVS的性能優化
- 下一篇:?Linux:權限、用戶、用戶組、root、安全審核、安全配置備忘錄