시스템 관리_28 톰캣 WAS CPU 100% 점유 및 서비스 정지 Hang 현상 발생 시 스레드 덤프 완벽 디버깅 가이드

# 1. 시스템 전체 부하 및 톰캣 메인 PID 확인
$ top -c
# PID: 28450 | USER: tomcat | %CPU: 398.5 | COMMAND: /usr/bin/java -Djava.util.logging.config.file=...

# 2. 톰캣 프로세스 내부에서 CPU를 과점하고 있는 개별 스레드(TID/LWP) 실시간 추적 (-H 옵션)
$ top -H -p 28450
# PID(스레드ID)  USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
# 28512          tomcat    20   0 8520448 4.215g  18420 R  99.1  26.3   5:12.34 java
# 28513          tomcat    20   0 8520448 4.215g  18420 R  98.7  26.3   5:10.12 java
# -> 28512, 28513 번 OS 스레드가 지속적으로 CPU 99%를 소모 중임을 확인

# 3. CPU 과점 스레드 ID(28512)를 16진수(Hexadecimal) nid 형태로 변환
$ printf "0x%x\n" 28512
0x6f60

# 4. jstack 또는 jcmd로 스레드 덤프 추출
$ sudo -u tomcat jstack -l 28450 > /tmp/tomcat_threads.tdump
# 또는 최신 JDK jcmd 사용 시:
$ sudo -u tomcat jcmd 28450 Thread.print -l > /tmp/tomcat_threads.tdump

# 5. 16진수 nid(0x6f60)로 스레드 덤프 내 실행 중인 정확한 클래스 및 메서드 라인 검색
$ grep -A 30 "nid=0x6f60" /tmp/tomcat_threads.tdump
# [출력 예시]
# "http-nio-8080-exec-12" #45 daemon prio=5 os_prio=0 cpu=312450.12ms elapsed=420.15s tid=0x00007f9c8402a000 nid=0x6f60 runnable [0x00007f9c564e9000]
#    java.lang.Thread.State: RUNNABLE
#         at com.example.service.OrderService.calculateDiscount(OrderService.java:142)
#         at com.example.service.OrderService.processOrder(OrderService.java:58)
#         at com.example.controller.OrderController.checkout(OrderController.java:34)
# -> OrderService.java 142번 라인(무한 루프 또는 정규표현식 재귀 연산)에서 멈추어 있음을 즉시 규명

#!/bin/bash
# trace_tomcat_cpu_threads.sh - Auto-trace high CPU threads and map with Java Thread Dump

TOMCAT_PID=${1:-""}

echo "=========================================="
echo " [톰캣 CPU 100% 과점 스레드 자동 추적기]"
echo "=========================================="

# 1. 톰캣 PID 자동 감지
if [ -z "$TOMCAT_PID" ]; then
    TOMCAT_PID=$(pgrep -f "org.apache.catalina.startup.Bootstrap" | head -n 1)
fi

if [ -z "$TOMCAT_PID" ]; then
    echo "  [오류] 톰캣 프로세스를 찾을 수 없습니다. PID를 인자로 전달하세요."
    echo "  사용법: sudo $0 [Tomcat_PID]"
    exit 1
fi

TOMCAT_USER=$(ps -o user= -p "$TOMCAT_PID")
echo "  - 대상 톰캣 PID: ${TOMCAT_PID}"
echo "  - 톰캣 실행 계정: ${TOMCAT_USER}"

# 2. CPU를 가장 많이 쓰는 상위 3개 스레드(LWP) 추출 (ps -eLo 활용)
echo -e "\n[1] CPU 과점 상위 스레드 식별 중..."
TOP_THREADS=$(ps -eLo pid,lwp,pcpu,comm --sort=-pcpu | awk -v pid="$TOMCAT_PID" '$1==pid && $4 ~ /java/ {print $2, $3}' | head -n 3)

if [ -z "$TOP_THREADS" ]; then
    echo "  [알림] 톰캣 스레드 정보를 읽어올 수 없습니다."
    exit 1
fi

echo "  LWP(TID) | %CPU"
echo "  ------------------"
echo "$TOP_THREADS" | awk '{printf "  %-8s | %s%%\n", $1, $2}'

# 3. 스레드 덤프 생성
DUMP_FILE="/tmp/tomcat_dump_${TOMCAT_PID}_$(date +%Y%m%d_%H%M%S).tdump"
echo -e "\n[2] 스레드 덤프 생성 중 -> ${DUMP_FILE}"
sudo -u "$TOMCAT_USER" jstack -l "$TOMCAT_PID" > "$DUMP_FILE" 2>/dev/null

if [ ! -s "$DUMP_FILE" ]; then
    echo "  [오류] jstack 스레드 덤프 생성에 실패했습니다. (JDK 유틸리티 설치 여부 확인 필요)"
    exit 1
fi

# 4. 교차 분석 및 문제 코드 라인 출력
echo -e "\n[3] 과점 스레드별 호출 스택(Call Stack) 역추적:"
while read -r TID CPU_USAGE; do
    HEX_NID=$(printf "0x%x" "$TID")
    echo "================================================================="
    echo "  스레드 ID: ${TID} (16진수 nid: ${HEX_NID}) | CPU 점유율: ${CPU_USAGE}%"
    echo "================================================================="
    
    # 덤프에서 해당 nid 검색 및 상위 25라인 스택 추출
    grep -A 25 -i "nid=${HEX_NID}\b" "$DUMP_FILE" | sed 's/^/    /'
    echo ""
done <<< "$TOP_THREADS"

# 5. 데드락(Deadlock) 탐지 여부 검사
echo "[4] 데드락(Deadlock) 여부 검증:"
DEADLOCK_INFO=$(grep -i "Found one Java-level deadlock:" -A 10 "$DUMP_FILE")
if [ -n "$DEADLOCK_INFO" ]; then
    echo "  [치명적 위험] JVM 수준의 데드락이 감지되었습니다!"
    echo "$DEADLOCK_INFO" | sed 's/^/    /'
else
    echo "  [정상] 덤프에서 감지된 Java 데드락은 없습니다."
fi

echo -e "\n=========================================="
echo " [진단 완료] 전체 덤프 파일: ${DUMP_FILE}"
echo "=========================================="