시스템 관리_18 TCP 소켓 누적 문제 해결 TIME_WAIT 및 CLOSE_WAIT 원인 분석과 완벽 대응 가이드

# 1. 시스템 전체의 TCP 소켓 상태 요약 확인
$ ss -s
Total: 1425
TCP:   12530 (estab 420, closed 11800, orphaned 0, timewait 11500)
# -> timewait 수치가 비정상적으로 높거나 closed 상태가 과도한지 확인

# 2. 상태별(TIME-WAIT, CLOSE-WAIT 등) 소켓 수 카운트
$ ss -tan | awk '{print $1}' | sort | uniq -c | sort -nr
  11520 TIME-WAIT
   1240 CLOSE-WAIT
    420 ESTAB
     32 LISTEN

# 3. CLOSE_WAIT 상태를 유지하고 있는 특정 프로세스(PID) 및 포트 식별
$ sudo ss -tonp state close-wait
Recv-Q  Send-Q   Local Address:Port     Peer Address:Port   Process
1       0        192.168.1.100:8080     192.168.1.50:45120  users:(("java",pid=3456,fd=215))
# -> Recv-Q에 읽지 않은 버퍼가 남아있는지, 어떤 PID와 파일 디스크립터(FD)인지 확인

# 4. 시스템의 사용 가능한 로컬 포트(Ephemeral Port) 범위 및 현재 커널 파라미터 확인
$ sysctl net.ipv4.ip_local_port_range
net.ipv4.ip_local_port_range = 32768    60999
$ sysctl net.ipv4.tcp_tw_reuse
net.ipv4.tcp_tw_reuse = 2

#!/bin/bash
# check_tcp_sockets.sh - Monitor TIME_WAIT and CLOSE_WAIT socket states

TW_THRESHOLD=${1:-5000}
CW_THRESHOLD=${2:-50}

echo "=========================================="
echo " [TCP 소켓 상태 진단 시작]"
echo " TIME_WAIT 경고 기준: ${TW_THRESHOLD}개"
echo " CLOSE_WAIT 경고 기준: ${CW_THRESHOLD}개"
echo "=========================================="

# 1. 소켓 상태별 집계
echo -e "\n[1] 상태별 TCP 소켓 개수:"
SOCKET_STATS=$(ss -tan | awk 'NR>1 {print $1}' | sort | uniq -c | sort -nr)
echo "$SOCKET_STATS"

TW_COUNT=$(echo "$SOCKET_STATS" | awk '$2=="TIME-WAIT" {print $1}')
CW_COUNT=$(echo "$SOCKET_STATS" | awk '$2=="CLOSE-WAIT" {print $1}')

TW_COUNT=${TW_COUNT:-0}
CW_COUNT=${CW_COUNT:-0}

# 2. TIME_WAIT 상태 분석
echo -e "\n[2] TIME_WAIT 상태 점검 (현재: ${TW_COUNT}개):"
if [ "$TW_COUNT" -gt "$TW_THRESHOLD" ]; then
    echo "  [경고] TIME_WAIT 소켓이 과도하게 누적되어 로컬 포트 고갈 위험이 있습니다."
    
    # 커널 파라미터 점검
    REUSE_STATUS=$(sysctl -n net.ipv4.tcp_tw_reuse 2>/dev/null)
    echo "  - net.ipv4.tcp_tw_reuse 설정값: ${REUSE_STATUS}"
    if [ "$REUSE_STATUS" -eq 0 ]; then
        echo "  -> tcp_tw_reuse가 비활성화(0)되어 있습니다. 활성화(1 또는 2) 검토가 필요합니다."
    fi
else
    echo "  [정상] TIME_WAIT 개수가 임계치 이하로 유지되고 있습니다."
fi

# 3. CLOSE_WAIT 상태 및 원인 프로세스 추적
echo -e "\n[3] CLOSE_WAIT 상태 점검 (현재: ${CW_COUNT}개):"
if [ "$CW_COUNT" -gt "$CW_THRESHOLD" ]; then
    echo "  [위험] CLOSE_WAIT 누적이 감지되었습니다! (애플리케이션 소켓 미종료 버그 가능성)"
    echo "  -> 누적을 유발하는 상위 프로세스 목록:"
    
    sudo ss -tanp state close-wait | awk 'NR>1 {print $6}' | cut -d',' -f1 | sort | uniq -c | sort -nr | head -n 5 | sed 's/^/     /'
    
    echo -e "\n  -> Recv-Q 버퍼가 비워지지 않은 연결 확인:"
    sudo ss -tanp state close-wait | awk '$2 > 0 {printf "     PID/Process: %-20s Recv-Q: %s\n", $6, $2}' | head -n 5
else
    echo "  [정상] CLOSE_WAIT 상태가 정상 범위입니다."
fi

echo -e "\n=========================================="
echo " [진단 완료]"
echo "=========================================="