시스템 관리_44 VMware ESXi 데이터스토어 지연 시간 급증 및 스토리지 멀티패싱 경로 장애 원인 분석과 해결 가이드

# 1. esxtop 배치 모드를 이용한 디스크 디바이스(LUN)별 응답 지연 시간(Latency) 즉시 확인
$ esxtop -b -n 1 | tr ',' '\n' | grep -E "DAVG/cmd|KAVG/cmd|GAVG/cmd|QAVG/cmd" | head -n 15
# 또는 실시간 콘솔에서 'esxtop' 실행 후 'u'(디바이스 뷰) -> 'f'(필드 선택) -> 대기 시간 지표 확인:
# DEVICE                                      r/s     w/s   DAVG/cmd  KAVG/cmd  GAVG/cmd  QAVG/cmd
# naa.60050768028085a12000000000000101     820.10  250.40      38.45      0.12     38.57      0.00
# naa.60050768028085a12000000000000102      12.00    5.00       1.20      0.05      1.25      0.00
# -> DAVG/cmd(스토리지 디바이스 응답 지연)가 38ms로 급증하여 전체 지연(GAVG)을 유발함을 확인 (스토리지/SAN 구간 병목)

# 2. vmkernel.log에서 스토리지 경로 장애(Path Dead) 및 SCSI 센스 코드 점검
$ tail -n 50 /var/log/vmkernel.log | grep -E "NMP|Path|SCSI:.*0x28|0x2a"
# [출력 예시 - 특정 패스 다운]
# 2026-10-26T14:10:12.102Z cpu2:2097341)WARNING: NMP: nmp_PathDetermineFailure:4521: Path 'vmhba1:C0:T0:L1' is dead.
# 2026-10-26T14:10:12.105Z cpu2:2097341)StoragePath: Path 'vmhba1:C0:T0:L1' marked as DEAD
# -> HBA 포트 또는 스위치 포트 문제로 경로 1개가 죽어 페일오버(Failover) 지연 유발 확인

# 3. LUN별 멀티패싱 정책(PSP: Path Selection Policy) 확인
$ esxcli storage nmp device list
# naa.60050768028085a12000000000000101
#    Device Display Name: NETAPP Fibre Channel Disk (naa.60050768028085a12000000000000101)
#    Path Selection Policy: VMW_PSP_FIXED
#    Path Selection Policy Display Name: Fixed (VMware)
#    Working Paths: vmhba1:C0:T0:L1
# -> Round Robin(RR)이 아닌 Fixed로 설정되어 단일 패스로만 I/O가 집중되고 있는지 확인

# 4. 물리 HBA 어댑터 링크 상태 및 에러 카운터 점검
$ esxcli storage san fc list
$ esxcli storage core adapter list

#!/bin/sh
# check_esxi_storage_paths.sh - Diagnose ESXi Datastore Latency and Storage Multipath Health

echo "=========================================="
echo " [ESXi 스토리지 경로 및 지연 상태 진단]"
echo "=========================================="

# 1. 스토리지 코어 어댑터(HBA) 상태 확인
echo -e "\n[1] 스토리지 HBA 어댑터 상태:"
esxcli storage core adapter list | awk '{printf "  - %-10s | 드라이버: %-12s | 링크 상태: %s\n", $1, $3, $4}'

# 2. 비정상(Dead/Standby 누락) 스토리지 경로 탐색
echo -e "\n[2] 장애(Dead) 경로 점검:"
DEAD_PATHS=$(esxcli storage core path list 2>/dev/null | grep -B 2 -A 3 "State: Dead")

if [ -n "$DEAD_PATHS" ]; then
    echo "  [치명적 경고] 연결이 끊어진(Dead) 스토리지 경로가 감지되었습니다!"
    echo "$DEAD_PATHS" | grep -E "UID|State|Adapter" | sed 's/^/    /'
    echo "  -> SAN 스위치 조닝(Zoning), 광케이블(SFP), 스토리지 컨트롤러 점검이 시급합니다."
else
    echo "  [정상] 모든 물리 스토리지 경로가 활성(Active) 상태입니다."
fi

# 3. LUN별 NMP 정책 및 단일 패스 집중 여부 점검
echo -e "\n[3] 디바이스별 멀티패싱 정책(PSP) 점검:"
DEVICES=$(esxcli storage nmp device list 2>/dev/null | grep -E "^naa\.|^eui\.")

for DEV in $DEVICES; do
    DEV_NAME=$(echo "$DEV" | tr -d ':')
    PSP=$(esxcli storage nmp device list -d "$DEV_NAME" 2>/dev/null | grep "Path Selection Policy:" | awk -F': ' '{print $2}')
    ACTIVE_PATH_COUNT=$(esxcli storage core path list -d "$DEV_NAME" 2>/dev/null | grep -c "State: Active")
    
    printf "  - 디바이스: %-40s | 정책: %-15s | 활성경로: %s개\n" "$DEV_NAME" "$PSP" "$ACTIVE_PATH_COUNT"
    
    if [ "$PSP" = "VMW_PSP_FIXED" ] && [ "$ACTIVE_PATH_COUNT" -gt 1 ]; then
        echo "    [주의] 다중 경로가 존재하지만 VMW_PSP_FIXED 적용 중으로 부하 분산이 되지 않습니다."
        echo "    -> 권장 변경: esxcli storage nmp device set -d ${DEV_NAME} --psp VMW_PSP_RR"
    fi
done

# 4. vmkernel.log 내 최근 10분간의 스토리지 지연 및 재시도 이벤트 집계
echo -e "\n[4] 스토리지 I/O Abort 및 타임아웃 이벤트 검사:"
ABORT_COUNT=$(tail -n 1000 /var/log/vmkernel.log | grep -ic "aborting command\|task abort\|resetting device")

if [ "$ABORT_COUNT" -gt 0 ]; then
    echo "  [위험] 최근 로그에서 스토리지 명령 취소(Abort) 이벤트가 ${ABORT_COUNT}건 감지되었습니다."
    echo "  -> 스토리지 큐(Queue Full) 또는 심각한 패브릭 패킷 유실 가능성 높음."
else
    echo "  [정상] 최근 명령 취소 및 타임아웃 이벤트가 없습니다."
fi

echo -e "\n=========================================="
echo " [진단 완료]"
echo "=========================================="

# 특정 디바이스의 정책을 Round Robin으로 변경
esxcli storage nmp device set -d naa.60050768028085a12000000000000101 --psp VMW_PSP_RR

# 향후 신규 LUN 연결 시 기본 정책을 Round Robin으로 지정 (기본 SATP 룰 변경)
esxcli storage nmp satp rule add -s VMW_SATP_ALUA -P VMW_PSP_RR

# 1000회 기본값 -> 1회 I/O마다 패스 전환 (iops=1)
esxcli storage nmp psp roundrobin deviceconfig set -d naa.60050768028085a12000000000000101 --type iops --iops 1