Linux系統下,TCP連接斷開后,會以TIME_WAIT狀態保留一定的時間,然后才會釋放端口。當并發請求過多的時候,就會產生大量的TIME_WAIT狀態的連接,無法及時斷開的話,會占用大量的端口資源和服務器資源。這個時候我們可以優化TCP的內核參數,來及時將TIME_WAIT狀態的端口清理掉。
本文介紹的方法只對擁有大量TIME_WAIT狀態的連接導致系統資源消耗有效,如果不是這種情況下,效果可能不明顯。可以使用netstat命令去查TIME_WAIT狀態的連接狀態,輸入下面的組合命令,查看當前TCP連接的狀態和對應的連接數量:#netstat?-n?|?awk?‘/^tcp/?{++S[$NF]}?END?{for(a?in?S)?print?a,?S[a]}’這個命令會輸出類似下面的結果:LAST_ACK?16SYN_RECV?348ESTABLISHED?70FIN_WAIT1?229FIN_WAIT2?30CLOSING?33TIME_WAIT?18098我們只用關心TIME_WAIT的個數,在這里可以看到,有18000多個TIME_WAIT,這樣就占用了18000多個端口。要知道端口的數量只有65535個,占用一個少一個,會嚴重的影響到后繼的新連接。這種情況下,我們就有必要調整下Linux的TCP內核參數,讓系統更快的釋放TIME_WAIT連接。用vim打開配置文件:#vim?/etc/sysctl.conf
在這個文件中,加入下面的幾行內容:
組1:
###########################################################################################net.ipv4.tcp_syncookies?=?1net.ipv4.tcp_tw_reuse?=?1net.ipv4.tcp_tw_recycle?=?1net.ipv4.tcp_fin_timeout?=?30
輸入下面的命令,讓內核參數生效:#sysctl?-p
簡單的說明上面的參數的含義:
net.ipv4.tcp_syncookies?=?1#表示開啟SYN?Cookies。當出現SYN等待隊列溢出時,啟用cookies來處理,可防范少量SYN***,默認為0,表示關閉;net.ipv4.tcp_tw_reuse?=?1#表示開啟重用。允許將TIME-WAIT?sockets重新用于新的TCP連接,默認為0,表示關閉;net.ipv4.tcp_tw_recycle?=?1#表示開啟TCP連接中TIME-WAIT?sockets的快速回收,默認為0,表示關閉;net.ipv4.tcp_fin_timeout#修改系統默認的?TIMEOUT?時間。
在經過這樣的調整之后,除了會進一步提升服務器的負載能力之外,還能夠防御小流量程度的DoS、CC和SYN***。
############################################################################################
此外,如果你的連接數本身就很多,我們可以再優化一下TCP的可使用端口范圍,進一步提升服務器的并發能力。依然是往上面的參數文件中,加入下面這些配置:
組2:
############################################################################################net.ipv4.tcp_keepalive_time?=?1200net.ipv4.ip_local_port_range?=?10000?65000net.ipv4.tcp_max_syn_backlog?=?8192net.ipv4.tcp_max_tw_buckets?=?5000#這幾個參數,建議只在流量非常大的服務器上開啟,會有顯著的效果。一般的流量小的服務器上,沒有必要去設置這幾個參數。
net.ipv4.tcp_keepalive_time?=?1200#表示當keepalive起用的時候,TCP發送keepalive消息的頻度。缺省是2小時,改為20分鐘。net.ipv4.ip_local_port_range?=?10000?65000#表示用于向外連接的端口范圍。缺省情況下很小:32768到61000,改為10000到65000。(注意:這里不要將最低值設的太低,否則可能會占用掉正常的端口!)net.ipv4.tcp_max_syn_backlog?=?8192#表示SYN隊列的長度,默認為1024,加大隊列長度為8192,可以容納更多等待連接的網絡連接數。net.ipv4.tcp_max_tw_buckets?=?6000#表示系統同時保持TIME_WAIT的最大數量,如果超過這個數字,TIME_WAIT將立刻被清除并打印警告信息。默?認為180000,改為6000。對于Apache、Nginx等服務器,上幾行的參數可以很好地減少TIME_WAIT套接字數量,但是對于Squid,效果卻不大。此項參數可以控制TIME_WAIT的最大數量,避免Squid服務器被大量的TIME_WAIT拖死。
############################################################################################
內核其他TCP參數說明:net.ipv4.tcp_max_syn_backlog?=?65536#記錄的那些尚未收到客戶端確認信息的連接請求的最大值。對于有128M內存的系統而言,缺省值是1024,小內存的系統則是128。net.core.netdev_max_backlog?=?32768#每個網絡接口接收數據包的速率比內核處理這些包的速率快時,允許送到隊列的數據包的最大數目。net.core.somaxconn?=?32768#web應用中listen函數的backlog默認會給我們內核參數的net.core.somaxconn限制到128,而nginx定義的NGX_LISTEN_BACKLOG默認為511,所以有必要調整這個值。
net.core.wmem_default?=?8388608net.core.rmem_default?=?8388608net.core.rmem_max?=?16777216???????????#最大socket讀buffer,可參考的優化值:873200net.core.wmem_max?=?16777216???????????#最大socket寫buffer,可參考的優化值:873200net.ipv4.tcp_timestsmps?=?0#時間戳可以避免序列號的卷繞。一個1Gbps的鏈路肯定會遇到以前用過的序列號。時間戳能夠讓內核接受這種“異常”的數據包。這里需要將其關掉。net.ipv4.tcp_synack_retries?=?2#為了打開對端的連接,內核需要發送一個SYN并附帶一個回應前面一個SYN的ACK。也就是所謂三次握手中的第二次握手。這個設置決定了內核放棄連接之前發送SYN+ACK包的數量。net.ipv4.tcp_syn_retries?=?2#在內核放棄建立連接之前發送SYN包的數量。#net.ipv4.tcp_tw_len?=?1net.ipv4.tcp_tw_reuse?=?1#?開啟重用。允許將TIME-WAIT?sockets重新用于新的TCP連接。
net.ipv4.tcp_wmem?=?8192?436600?873200#?TCP寫buffer,可參考的優化值:?8192?436600?873200net.ipv4.tcp_rmem??=?32768?436600?873200#?TCP讀buffer,可參考的優化值:?32768?436600?873200net.ipv4.tcp_mem?=?94500000?91500000?92700000#?同樣有3個值,意思是:net.ipv4.tcp_mem[0]:低于此值,TCP沒有內存壓力。net.ipv4.tcp_mem[1]:在此值下,進入內存壓力階段。net.ipv4.tcp_mem[2]:高于此值,TCP拒絕分配socket。上述內存單位是頁,而不是字節。可參考的優化值是:786432?1048576?1572864
net.ipv4.tcp_max_orphans?=?3276800#系統中最多有多少個TCP套接字不被關聯到任何一個用戶文件句柄上。如果超過這個數字,連接將即刻被復位并打印出警告信息。這個限制僅僅是為了防止簡單的DoS***,不能過分依靠它或者人為地減小這個值,更應該增加這個值(如果增加了內存之后)。net.ipv4.tcp_fin_timeout?=?30#如果套接字由本端要求關閉,這個參數決定了它保持在FIN-WAIT-2狀態的時間。對端可以出錯并永遠不關閉連接,甚至意外當機。缺省值是60秒。2.2?內核的通常值是180秒,你可以按這個設置,但要記住的是,即使你的機器是一個輕載的WEB服務器,也有因為大量的死套接字而內存溢出的風險,FIN-?WAIT-2的危險性比FIN-WAIT-1要小,因為它最多只能吃掉1.5K內存,但是它們的生存期長些。
經過這樣的優化配置之后,你的服務器的TCP并發處理能力會顯著提高。以上配置僅供參考,用于生產環境請根據自己的實際情況。