시스템 관리_48 VMware ESXi 호스트 vCenter Server 연결 끊김 Not Responding 오류 원인 분석 및 완벽 복구 가이드

# 1. ESXi 호스트 관점: 핵심 관리 에이전트(hostd, vpxa) 실행 상태 확인
$ /etc/init.d/hostd status
# hostd is running.
$ /etc/init.d/vpxa status
# vpxa is running.
# -> 데몬이 죽어있거나(dead) 락에 걸려 응답하지 않는 상태인지 확인

# 2. ESXi 램디스크(tmp, var, root) 100% 포화 여부 확인 (에이전트 크래시 주원인)
$ vdf -h
# Filesystem   Size   Used  Available Use% Mounted on
# /dev/vdrz     32M    32M         0B 100% /var/run
# /dev/vdrz    286M   286M         0B 100% /tmp
# -> 램디스크 가용 공간이 0B이면 vpxa/hostd가 PID 및 소켓을 생성하지 못해 즉각 크래시됨

# 3. vpxa 로그에서 vCenter 연결 끊김 및 하트비트 유실 내역 확인
$ tail -n 50 /var/log/vpxa.log | grep -iE "error|failed|disconnect|heartbeat"
# [출력 예시]
# [Originator@6876 sub=Heartbeat] Missed 3 heartbeats from server
# [Originator@6876 sub=Default] Failed to connect to vCenter server 192.168.1.50: Connection timed out
# -> vCenter로 보내는 UDP 902 하트비트 유실 또는 네트워크 단절 확인

# 4. hostd 로그에서 리소스 고갈 및 스레드 행(Hang) 확인
$ tail -n 30 /var/log/hostd.log | grep -iE "warning|error|panic"

# 5. ESXi 호스트에서 vCenter Server로의 필수 통신 포트 도달 가능 여부 테스트
# TCP 443 (vCenter 관리 포트), UDP 902 (하트비트 수신 포트)
$ nc -zv 192.168.1.50 443
# Connection to 192.168.1.50 443 port [tcp/https] succeeded!
$ nc -zvu 192.168.1.50 902
# Connection to 192.168.1.50 902 port [udp] succeeded!

#!/bin/sh
# diagnose_esxi_vcenter_disconnect.sh - Diagnose ESXi to vCenter disconnection and agent health

VCENTER_IP=${1:-""}

echo "=========================================="
echo " [ESXi 호스트 vCenter 연결 끊김 정밀 진단]"
echo "=========================================="

# 1. vCenter IP 파싱 (인자 미입력 시 vpxa.cfg에서 자동 추출)
VPXA_CFG="/etc/vmware/vpxa/vpxa.cfg"
if [ -z "$VCENTER_IP" ] && [ -f "$VPXA_CFG" ]; then
    VCENTER_IP=$(grep "<serverIp>" "$VPXA_CFG" | sed -e 's/.*<serverIp>//' -e 's/<\/serverIp>.*//' | tr -d ' \t\r\n')
fi

echo "  - 감지된 vCenter IP: ${VCENTER_IP:-"미지정/미감지"}"

# 2. ESXi 램디스크(RAM Disk) 용량 고갈 검사
echo -e "\n[1] 램디스크(RAM Disk) 여유 공간 점검:"
RAMDISK_FULL=0
for MP in /tmp /var/run /var/log; do
    USAGE_PCT=$(df -k "$MP" | tail -n 1 | awk '{print $5}' | tr -d '%')
    AVAIL_KB=$(df -k "$MP" | tail -n 1 | awk '{print $4}')
    printf "  - 마운트 경로 %-10s : 사용률 %3d%% (여유: %s KB)\n" "$MP" "$USAGE_PCT" "$AVAIL_KB"
    if [ "$USAGE_PCT" -ge 100 ]; then
        RAMDISK_FULL=1
    fi
done

if [ "$RAMDISK_FULL" -eq 1 ]; then
    echo "  [치명적 위험] 램디스크가 100% 가득 찼습니다!"
    echo "  -> 관리 에이전트가 정상 작동하지 못하는 핵심 원인입니다. 오래된 로그나 코어 덤프 정리가 필요합니다."
else
    echo "  [정상] 램디스크 공간이 확보되어 있습니다."
fi

# 3. 호스트 관리 에이전트 상태 점검
echo -e "\n[2] ESXi 관리 에이전트(hostd, vpxa) 상태:"
HOSTD_STATUS=$(/etc/init.d/hostd status 2>&1)
VPXA_STATUS=$(/etc/init.d/vpxa status 2>&1)

echo "  - hostd 데몬 : ${HOSTD_STATUS}"
echo "  - vpxa 데몬  : ${VPXA_STATUS}"

# 4. vCenter 네트워크 도달 가능성 검증
if [ -n "$VCENTER_IP" ]; then
    echo -e "\n[3] vCenter 통신 및 포트 연결성 점검:"
    
    # Management VMkernel을 통한 ping 테스트
    if vmkping -c 2 -s 64 "$VCENTER_IP" >/dev/null 2>&1; then
        echo "  - vmkping (ICMP) : [성공] vCenter IP에 정상 도달 가능"
    else
        echo "  - vmkping (ICMP) : [실패] vCenter와 네트워크 단절 감지"
    fi
    
    # TCP 443 포트 확인
    if nc -zv -w 3 "$VCENTER_IP" 443 >/dev/null 2>&1; then
        echo "  - TCP 443 포트   : [열림] HTTPS 제어 세션 연결 성공"
    else
        echo "  - TCP 443 포트   : [차단/실패] 중간 방화벽 또는 vCenter 서비스 확인 필요"
    fi
    
    # UDP 902 포트 확인 (하트비트)
    if nc -zvu -w 3 "$VCENTER_IP" 902 >/dev/null 2>&1; then
        echo "  - UDP 902 포트   : [열림] 하트비트 송신 포트 연결 성공"
    else
        echo "  - UDP 902 포트   : [경고] UDP 902 포트 확인 불가 (하트비트 유실 위험)"
    fi
fi

# 5. 권장 조치 가이드
echo -e "\n[4] 긴급 복구 권장 조치:"
echo "  1) 관리 에이전트 재시작 (가상 머신 운영에 영향 없음):"
echo "     -> /etc/init.d/hostd restart && /etc/init.d/vpxa restart"
echo "  2) vCenter vSphere Client에서 호스트 우클릭 > Connection > Connect 수행"

echo -e "\n=========================================="
echo " [진단 완료]"
echo "=========================================="

# hostd 및 vpxa 동시 재시작
/etc/init.d/hostd restart
/etc/init.d/vpxa restart

# 또는 일괄 서비스 재시작 명령
services.sh restart

# 크기가 큰 파일 검색
find /var/log /tmp -type f -size +10M -exec ls -lh {} \;

# 비정상 누적 로그 정리 후 에이전트 재시작
rm -f /var/log/hp-snmp-agents.log  # 예시
/etc/init.d/vpxa restart