시스템 관리_22 톰캣 WAS java.lang.OutOfMemoryError Java heap space 오류 원인 분석 및 JVM 튜닝 가이드

# 1. 톰캣 로그에서 OutOfMemoryError 발생 내역 확인
$ tail -n 50 /opt/tomcat/logs/catalina.out
# [출력 예시]
# java.lang.OutOfMemoryError: Java heap space
# Dumping heap to /opt/tomcat/dump/heap_20261004.hprof ...
# Heap dump file created [1824719283 bytes in 3.412 secs]

# 2. 톰캣 프로세스(PID) 및 적용된 JVM 시작 인자(-Xms, -Xmx 등) 확인
$ ps -ef | grep -E 'org.apache.catalina.startup.Bootstrap|tomcat' | grep -v grep
# tomcat  32145  1  99 14:10 ?  00:15:20 /usr/bin/java -Djava.util.logging.config.file=... -Xms512m -Xmx1024m -XX:+HeapDumpOnOutOfMemoryError ...
# -> 힙 크기 설정이 기본값(1GB)으로 너무 작게 잡혀 있는지, 힙 덤프 옵션이 누락되었는지 확인

# 3. 실시간 GC 동작 통계 및 힙 영역별 점유율 모니터링 (1초 간격 5회 갱신)
# S0C/S1C: 서바이버 영역 용량, EC: 에덴 영역 용량, OC: 올드 영역 용량, OU: 올드 영역 사용량
$ jstat -gcutil 32145 1000 5
  S0     S1     E      O      M     CCS    YGC     YGCT    FGC    FGCT     CGC    CGCT     GCT   
  0.00   0.00 100.00  99.98  95.40  91.20   1245   12.450    85   185.340     -       -   197.790
# -> Old 영역(O)이 99.98%에 도달하고 Full GC(FGC) 횟수 및 시간(FGCT)이 폭증하면 Heap Space 고갈 상태임

# 4. 메모리를 가장 많이 점유하고 있는 Top 20 자바 클래스 인스턴스 실시간 덤프 (히스토그램)
$ sudo -u tomcat jcmd 32145 GC.class_histogram | head -n 25
# [출력 예시] byte[] 배열이나 특정 Entity/VO 객체가 메모리의 대부분을 차지하는지 확인

#!/bin/bash
# diagnose_tomcat_heap.sh - Diagnose Tomcat JVM Heap Memory and GC Health

echo "=========================================="
echo " [톰캣 JVM 힙 메모리 및 OOM 상태 점검]"
echo "=========================================="

# 1. 톰캣 PID 추출
TOMCAT_PID=$(pgrep -f "org.apache.catalina.startup.Bootstrap" | head -n 1)

if [ -z "$TOMCAT_PID" ]; then
    echo "  [오류] 구동 중인 톰캣 프로세스를 찾을 수 없습니다."
    exit 1
fi

TOMCAT_USER=$(ps -o user= -p "$TOMCAT_PID")
echo "  - 톰캣 PID      : ${TOMCAT_PID}"
echo "  - 실행 계정     : ${TOMCAT_USER}"

# 2. JVM 시작 옵션 점검
JVM_CMD=$(ps -p "$TOMCAT_PID" -o args=)
XMS=$(echo "$JVM_CMD" | grep -oE "\-Xms[0-9]+[kmgKMG]")
XMX=$(echo "$JVM_CMD" | grep -oE "\-Xmx[0-9]+[kmgKMG]")
DUMP_OPT=$(echo "$JVM_CMD" | grep -o "HeapDumpOnOutOfMemoryError")

echo -e "\n[1] 설정된 힙 메모리 옵션:"
echo "  - 초기 힙(-Xms) : ${XMS:-"미설정 (기본값 사용)"}"
echo "  - 최대 힙(-Xmx) : ${XMX:-"미설정 (기본값 사용)"}"

if [ -z "$DUMP_OPT" ]; then
    echo "  [경고] -XX:+HeapDumpOnOutOfMemoryError 옵션이 설정되어 있지 않습니다."
    echo "  -> OOM 발생 시 메모리 릭 분석을 위한 .hprof 파일이 생성되지 않습니다."
else
    echo "  [정상] OOM 자동 힙 덤프 옵션이 활성화되어 있습니다."
fi

# 3. 호스트 시스템 물리 메모리 대비 비교
TOTAL_SYS_MEM_MB=$(free -m | awk '/Mem:/ {print $2}')
echo -e "\n[2] 호스트 시스템 메모리 현황:"
echo "  - 전체 RAM 용량 : ${TOTAL_SYS_MEM_MB} MB"

# 4. jstat을 활용한 실시간 Old 영역 점유율 및 Full GC 점검
echo -e "\n[3] 실시간 힙 Old 영역 및 Full GC 상태 (jstat):"
if command -v jstat &>/dev/null; then
    GC_LINE=$(sudo -u "$TOMCAT_USER" jstat -gcutil "$TOMCAT_PID" | tail -n 1)
    OLD_USAGE=$(echo "$GC_LINE" | awk '{print $4}')
    FGC_COUNT=$(echo "$GC_LINE" | awk '{print $9}')
    FGCT_TIME=$(echo "$GC_LINE" | awk '{print $10}')

    echo "  - Old 영역 점유율 : ${OLD_USAGE}%"
    echo "  - Full GC 누적횟수 : ${FGC_COUNT}회"
    echo "  - Full GC 누적시간 : ${FGCT_TIME}초"

    # 점유율 임계치 경고
    IS_HIGH=$(echo "$OLD_USAGE > 90.0" | bc -l 2>/dev/null)
    if [ "$IS_HIGH" -eq 1 ]; then
        echo "  [위험] Old Generation 점유율이 90%를 초과했습니다! 임박한 OOM 위험."
    else
        echo "  [정상] Old Generation 여유 공간이 확보되어 있습니다."
    fi
else
    echo "  [안내] jstat 명령어를 찾을 수 없어 GC 통계를 건너뜁니다."
fi

echo -e "\n=========================================="
echo " [진단 완료]"
echo "=========================================="

# /opt/tomcat/bin/setenv.sh
export CATALINA_OPTS="$CATALINA_OPTS \
-Xms4096m -Xmx4096m \
-XX:+UseG1GC \
-XX:InitiatingHeapOccupancyPercent=45 \
-XX:+HeapDumpOnOutOfMemoryError \
-XX:HeapDumpPath=/opt/tomcat/dumps/oom_dump.hprof \
-XX:+ExitOnOutOfMemoryError"