問(wèn)題現(xiàn)象

云服務(wù)器中存在大量處于TIME_WAIT狀態(tài)的連接。

原因分析

首先通過(guò)調(diào)用close()發(fā)起主動(dòng)關(guān)閉，在發(fā)送最后一個(gè)ACK之后會(huì)進(jìn)入time_wait的狀態(tài)，該發(fā)送方會(huì)保持2MSL時(shí)間之后才會(huì)回到初始狀態(tài)。MSL值是數(shù)據(jù)包在網(wǎng)絡(luò)中的最大生存時(shí)間。產(chǎn)生這種結(jié)果使得這個(gè)TCP連接在2MSL連接等待期間，定義這個(gè)連接的四元組（客戶(hù)端IP地址和端口，服務(wù)端IP地址和端口號(hào)）不能被使用。

解決方法

通過(guò)netstat或ss命令，可以看到大量處于TIME_WAIT狀態(tài)的連接。

1. 執(zhí)行以下命令，查看TIME_WAIT狀態(tài)的連接數(shù)量。
   netstat -n | awk '/^tcp/ {++y[$NF]} END {for(w in y) print w, y[w]}'

   說(shuō)明：或者執(zhí)行ss -tan state time-wait命令，查看TIME_WAIT連接信息。

2. 執(zhí)行以下命令，編輯系統(tǒng)內(nèi)核配置。
   vi /etc/sysctl.conf

   修改或加入以下內(nèi)容。
   
   net.ipv4.tcp_syncookies = 1 
   net.ipv4.tcp_tw_reuse = 1 
   net.ipv4.tcp_tw_recycle = 1
   net.ipv4.tcp_fin_timeout = 30

   警告：對(duì)于服務(wù)端來(lái)說(shuō)，在NAT環(huán)境中，開(kāi)啟net.ipv4.tcp_tw_recycle = 1配置可能導(dǎo)致校驗(yàn)時(shí)間戳遞增，從而影響業(yè)務(wù)，不建議開(kāi)啟該功能。關(guān)于這四個(gè)內(nèi)核參數(shù)的更多介紹，請(qǐng)參考以下內(nèi)容：
   

   • net.ipv4.tcp_syncookies=1：開(kāi)啟SYN的cookies，當(dāng)出現(xiàn)SYN等待隊(duì)列溢出時(shí)，啟用cookies進(jìn)行處理。
   • net.ipv4.tcp_tw_reuse=1：允許將TIME-WAIT的socket重新用于新的TCP連接。如果新請(qǐng)求的時(shí)間戳，比存儲(chǔ)的時(shí)間戳更大，則系統(tǒng)將會(huì)從TIME_WAIT狀態(tài)的存活連接中選取一個(gè)，重新分配給新的請(qǐng)求連接。
   • net.ipv4.tcp_tw_recycle=1：開(kāi)啟TCP連接中TIME-WAIT的sockets快速回收功能。需要注意的是，該機(jī)制也依賴(lài)時(shí)間戳選項(xiàng)，系統(tǒng)默認(rèn)開(kāi)啟tcp_timestamps機(jī)制，而當(dāng)系統(tǒng)中的tcp_timestamps和tcp_tw_recycle機(jī)制同時(shí)開(kāi)啟時(shí)，會(huì)激活TCP的一種行為，即緩存每個(gè)連接最新的時(shí)間戳，若后續(xù)的請(qǐng)求中時(shí)間戳小于緩存的時(shí)間戳?xí)r，該請(qǐng)求會(huì)被視為無(wú)效，導(dǎo)致數(shù)據(jù)包會(huì)被丟棄。特別是作為負(fù)載均衡服務(wù)器的場(chǎng)景，不同客戶(hù)端請(qǐng)求經(jīng)過(guò)負(fù)載均衡服務(wù)器的轉(zhuǎn)發(fā)，可能被認(rèn)為是同一個(gè)連接，若客戶(hù)端的時(shí)間不一致，對(duì)于后端服務(wù)器來(lái)說(shuō)，會(huì)發(fā)生時(shí)間戳錯(cuò)亂的情況，因此會(huì)導(dǎo)致數(shù)據(jù)包丟失，從而影響業(yè)務(wù)。
   • net.ipv4.tcp_fin_timeout=30：如果socket由服務(wù)端要求關(guān)閉，則該參數(shù)決定了保持在FIN-WAIT-2狀態(tài)的時(shí)間。

3. 執(zhí)行命令以下命令，使配置生效。
   /sbin/sysctl -p 

4. TIME_WAIT狀態(tài)的連接較多時(shí)，會(huì)導(dǎo)致各種問(wèn)題，除了直觀的減少TIME_WAIT狀態(tài)的連接，也可以通過(guò)擴(kuò)大端口范圍和對(duì)TIME_WAIT的bucket進(jìn)行擴(kuò)容等手段優(yōu)化系統(tǒng)性能
   如果您有其他問(wèn)題，可以聯(lián)系北京志遠(yuǎn)天成阿里云代理商，為您提供一對(duì)一專(zhuān)業(yè)全面的技術(shù)服務(wù)，同時(shí)新老阿里云會(huì)員，均可享受我公司代理商價(jià)格，歡迎咨詢(xún)！
   。