시스템 관리_42 VMware ESXi 가상 머신 디스크 통합 실패 File is locked 파일 잠금 오류 원인 분석 및 락 해제 해결 가이드

# 1. 대상 가상 머신의 vmware.log에서 파일 잠금 실패 내역 확인
$ tail -n 30 /vmfs/volumes/datastore1/App-Server-01/vmware.log | grep -i "locked"
# [출력 예시]
# DISKLIB-VMFS  : VmfsDiskOpen: Open of "/vmfs/volumes/datastore1/App-Server-01/App-Server-01-000002-sesparse.vmdk" failed with error: File is locked.
# SNAPSHOT: SnapshotConsolidate failed: File is locked (16390).

# 2. vmkfstools -D 명령어를 사용하여 잠긴 VMDK의 VMFS 분산 락(Lock) 정보 덤프
$ cd /vmfs/volumes/datastore1/App-Server-01/
$ vmkfstools -D App-Server-01-000002-sesparse.vmdk
# [출력 예시 - vmkernel.log 에 출력됨]
# Lock [type 10c00001 offset 48512000 v 312, hb offset 3854336
#  gen 15, mode 1, owner 652a1b20-84dc-11ee-8204-e4434b123456]
# -> mode 1 은 배타적 읽기/쓰기 락(Exclusive Lock)을 의미하며, owner의 마지막 12자리가 락을 잡은 ESXi 호스트의 물리 NIC MAC 주소임 (e4:43:4b:12:34:56)

# 3. vmkernel.log에서 락 소유자(Lock Owner) 상세 내용 실시간 확인
$ tail -n 20 /var/log/vmkernel.log | grep -A 2 -i "Lock \[type"
# 2026-10-24T14:15:20.123Z cpu4:2098451)FS3: 312: Lock [type 10c00001 offset 48512000 v 312, hb offset 3854336
#  gen 15, mode 1, owner 652a1b20-84dc-11ee-8204-e4434b123456]

# 4. 락 소유자 MAC 주소(e4:43:4b:12:34:56)를 가진 호스트가 로컬 호스트인지 확인
$ esxcli network nic list
# Name    PCI Device    Driver  Admin Status  Link Status  Speed  Duplex  MAC Address
# vmnic0  0000:01:00.0  ixgben  Up            Up           10000  Full    e4:43:4b:12:34:56
# -> MAC 주소가 일치하면 '현재 로컬 ESXi 호스트'의 특정 데몬/VM이 물고 있는 상태임

# 5. 로컬 호스트 내부에서 해당 VMDK 파일을 물고 있는 프로세스(World ID) 조회
$ lsof | grep "App-Server-01-000002-sesparse.vmdk"
# [출력 예시]
# 2104523  vmx-vthread  12  /vmfs/volumes/datastore1/App-Server-01/App-Server-01-000002-sesparse.vmdk
# -> 2104523 프로세스(백업 솔루션 프록시 가상 머신)가 파일을 열어둔 채 닫지 않음

#!/bin/sh
# trace_vmdk_lock.sh - Identify Lock Owner and World ID for locked VMDKs on ESXi

TARGET_VMDK=${1:-""}

echo "=========================================="
echo " [VMware ESXi VMDK 파일 잠금(Lock) 추적기]"
echo "=========================================="

if [ -z "$TARGET_VMDK" ] || [ ! -f "$TARGET_VMDK" ]; then
    echo "  [오류] 잠긴 VMDK 파일의 전체 경로를 지정하십시오."
    echo "  사용법: $0 /vmfs/volumes/.../vm_name-000001-sesparse.vmdk"
    exit 1
fi

echo "  대상 디스크 파일: ${TARGET_VMDK}"

# 1. vmkfstools -D 실행하여 vmkernel.log로 덤프 유도
vmkfstools -D "$TARGET_VMDK" >/dev/null 2>&1

# 2. vmkernel.log에서 방금 찍힌 Lock owner 정보 파싱
LOCK_LOG=$(tail -n 30 /var/log/vmkernel.log | grep -A 1 "Lock \[type" | tail -n 2)
LOCK_OWNER=$(echo "$LOCK_LOG" | grep -oE "owner [0-9a-f\-]+" | awk '{print $2}')
LOCK_MODE=$(echo "$LOCK_LOG" | grep -oE "mode [0-9]+" | awk '{print $2}')

if [ -z "$LOCK_OWNER" ]; then
    echo "  [알림] VMFS 잠금 정보를 찾을 수 없습니다. (파일이 잠겨 있지 않거나 로그 순환됨)"
    exit 0
fi

echo -e "\n[1] VMFS 파일 락 메타데이터:"
echo "  - 락 모드(Lock Mode) : ${LOCK_MODE} (1: Exclusive Lock 배타적 잠금)"
echo "  - 소유자 UUID        : ${LOCK_OWNER}"

# 소유자 UUID의 마지막 12자리가 관리 호스트 NIC MAC 주소임
OWNER_MAC_RAW=$(echo "$LOCK_OWNER" | awk -F'-' '{print $NF}')
FORMATTED_MAC=$(echo "$OWNER_MAC_RAW" | sed 's/../&:/g;s/:$//')
echo "  - 락 소유 호스트 MAC : ${FORMATTED_MAC}"

# 3. 로컬 ESXi 호스트의 MAC 목록과 대조
LOCAL_MATCH=$(esxcli network nic list 2>/dev/null | grep -i "$FORMATTED_MAC")

echo -e "\n[2] 호스트 위치 판별:"
if [ -n "$LOCAL_MATCH" ]; then
    echo "  [식별] 락 소유자는 '현재 로컬 ESXi 호스트'입니다."
    
    # 4. 로컬 프로세스(World ID) 추적
    echo -e "\n[3] 파일 점유 프로세스(World ID) 탐색:"
    LOCKING_PROC=$(lsof 2>/dev/null | grep "$TARGET_VMDK")
    
    if [ -n "$LOCKING_PROC" ]; then
        echo "  [발견] 파일을 점유 중인 프로세스:"
        echo "$LOCKING_PROC" | sed 's/^/    /'
        WID=$(echo "$LOCKING_PROC" | awk '{print $1}')
        
        # 프로세스 이름 및 가상 머신 매핑
        VM_NAME=$(esxcli vm process list 2>/dev/null | grep -B 2 "World ID: $WID" | grep "Display Name:" | awk -F': ' '{print $2}')
        if [ -n "$VM_NAME" ]; then
            echo "  -> 가상 머신: [${VM_NAME}] 가 해당 디스크를 HotAdd 등으로 마운트 중입니다."
            echo "  -> 조치: [${VM_NAME}] 가상 머신 설정 편집에서 해당 디스크를 '제거(Remove)'하십시오."
        fi
    else
        echo "  - lsof로 단일 프로세스를 특정하지 못했습니다. hostd 또는 vpxa 데몬 점유 가능성."
        echo "  -> 조치: '/etc/init.d/hostd restart && /etc/init.d/vpxa restart' 권장."
    fi
else
    echo "  [주의] 락 소유자는 클러스터 내 '다른 ESXi 호스트'(${FORMATTED_MAC})입니다."
    echo "  -> 조치: 해당 MAC 주소를 가진 ESXi 호스트를 찾아 그 호스트에서 VM/프로세스를 정리해야 합니다."
fi

echo -e "\n=========================================="
echo " [진단 완료]"
echo "=========================================="

# hostd 및 vpxa 데몬 재시작
/etc/init.d/hostd restart
/etc/init.d/vpxa restart