시스템 관리_29 고동시성 대량 트래픽 환경의 Broken pipe 및 Connection reset by peer 오류 원인 분석과 완벽 대응 가이드

# 1. 애플리케이션 및 웹 서버 에러 로그 확인
$ tail -n 20 /opt/tomcat/logs/catalina.out
# [출력 예시 - WAS]
# org.apache.catalina.connector.ClientAbortException: java.io.IOException: Broken pipe
# 또는
# java.io.IOException: Connection reset by peer

# [출력 예시 - Nginx 프록시 에러 로그]
# [error] 14502#14502: *982121 recv() failed (104: Connection reset by peer) while reading response header from upstream, client: 203.0.113.50, upstream: "http://127.0.0.1:8080/api/v1/orders"

# 2. 커널 백로그 큐 오버플로우로 인해 드롭된 TCP 연결 카운터 확인
$ nstat -az TcpExtListenOverflows TcpExtListenDrops
# TcpExtListenOverflows         12450              0.0
# TcpExtListenDrops             12450              0.0
# -> 카운터가 0이 아니고 지속 증가 중이라면 수신 큐(Accept Queue)가 꽉 차서 커널이 연결을 끊고 RST를 보낸 상태임

# 3. 리스닝 소켓의 현재 백로그 수용 한도(Send-Q)와 현재 대기열 크기(Recv-Q) 점검
$ ss -lnt '( sport = :80 or sport = :8080 )'
# State      Recv-Q Send-Q Local Address:Port  Peer Address:Port
# LISTEN     129    128    0.0.0.0:8080        0.0.0.0:*
# -> Recv-Q가 Send-Q(128) 한도를 초과하여 차 있는 경우 신규 SYN/ACK 연결이 거부되어 RST 발생

# 4. 현재 커널 파라미터(somaxconn, syn_backlog) 값 확인
$ sysctl net.core.somaxconn net.ipv4.tcp_max_syn_backlog
# net.core.somaxconn = 128 (기본값이 너무 작음)
# net.ipv4.tcp_max_syn_backlog = 512

# 5. 비정상 종료를 유발하는 TCP RST 패킷 발생 실시간 캡처
$ sudo tcpdump -nn -i any "tcp[tcpflags] & tcp-rst != 0" and port 8080

#!/bin/bash
# diagnose_high_concurrency_resets.sh - Diagnose TCP Backlog drops, RST packets, and Broken pipe causes

echo "=========================================="
echo " [고동시성 TCP 연결 단절 및 백로그 진단]"
echo "=========================================="

# 1. 커널 소켓 대기열 파라미터 점검
echo -e "\n[1] 시스템 글로벌 커널 백로그 설정 점검:"
SOMAXCONN=$(sysctl -n net.core.somaxconn 2>/dev/null)
SYN_BACKLOG=$(sysctl -n net.ipv4.tcp_max_syn_backlog 2>/dev/null)
TCP_ABORT=$(sysctl -n net.ipv4.tcp_abort_on_overflow 2>/dev/null)

echo "  - net.core.somaxconn          : ${SOMAXCONN}"
echo "  - net.ipv4.tcp_max_syn_backlog : ${SYN_BACKLOG}"
echo "  - net.ipv4.tcp_abort_on_overflow: ${TCP_ABORT}"

if [ "$SOMAXCONN" -lt 1024 ]; then
    echo "  [경고] somaxconn(현재: ${SOMAXCONN})이 1024 미만으로 너무 작습니다."
    echo "  -> 대량 트래픽 급증 시 Accept Queue 오버플로우로 Connection reset 발생 위험 높음."
fi

# 2. 커널 ListenDrops 통계 분석 (nstat)
echo -e "\n[2] 커널 레벨 연결 드롭 및 거절 통계:"
if command -v nstat &>/dev/null; then
    OVERFLOWS=$(nstat -az TcpExtListenOverflows | awk 'NR>1 {print $2}')
    DROPS=$(nstat -az TcpExtListenDrops | awk 'NR>1 {print $2}')
    RESETS_SENT=$(nstat -az TcpOutRsts | awk 'NR>1 {print $2}')
    
    echo "  - Listen Overflow 횟수 : ${OVERFLOWS:-0}"
    echo "  - Listen Drop 횟수     : ${DROPS:-0}"
    echo "  - 송신된 TCP RST 수     : ${RESETS_SENT:-0}"
    
    if [ "${OVERFLOWS:-0}" -gt 0 ]; then
        echo "  [위험] 백로그 큐 초과로 유실된 연결이 감지되었습니다! (Reset의 직접 원인)"
    else
        echo "  [정상] 백로그 오버플로우가 감지되지 않았습니다."
    fi
else
    echo "  [안내] nstat 명령어가 없어 상세 통계를 건너뜁니다."
fi

# 3. 주요 웹/WAS 포트의 Accept Queue 점유율 진단
echo -e "\n[3] 주요 리스닝 포트의 큐 포화도 점검 (Recv-Q vs Send-Q):"
ss -lnt | awk 'NR>1 && $4 ~ /:(80|443|8080|9000)$/ {printf "  포트: %-15s Recv-Q(현재대기): %-5s Send-Q(최대한도): %-5s\n", $4, $2, $3}'

# 4. 파일 디스크립터(FD) 한도 여유 점검
echo -e "\n[4] 시스템 및 프로세스 파일 디스크립터 한도:"
SYS_FILE_MAX=$(sysctl -n fs.file-max)
SYS_FILE_NR=$(cat /proc/sys/fs/file-nr | awk '{print $1}')
echo "  - 전체 파일 오픈 수 / 한도: ${SYS_FILE_NR} / ${SYS_FILE_MAX}"

echo -e "\n=========================================="
echo " [진단 완료]"
echo "=========================================="