시스템 관리_51 Linux NFS 마운트 Stale File Handle ESTALE 오류 원인 분석 및 D 상태 프로세스 안전 복구 가이드

# 1. 클라이언트 관점: 마운트 디렉터리 접근 시 ESTALE 오류 발생 확인
$ cd /mnt/nas_share
$ ls -la
# ls: cannot open directory '.': Stale file handle
$ df -h /mnt/nas_share
# df: /mnt/nas_share: Stale file handle
# -> 파일시스템 호출 시 커널이 ESTALE(116) 에러를 반환함을 확인

# 2. 마운트 옵션 및 프로토콜 버전 확인 (NFSv3 vs NFSv4)
$ mount | grep -i nfs
# 192.168.1.200:/data/share on /mnt/nas_share type nfs4 (rw,relatime,vers=4.2,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=192.168.1.100,local_lock=none,addr=192.168.1.200)

# 3. 해당 마운트 경로를 열고 있어 정체를 유발하는 프로세스 점검 (fuser)
# 일반 lsof나 fuser는 마운트가 멈추었을 때 행(Hang)에 걸릴 수 있으므로 타임아웃 옵션 고려
$ fuser -vm /mnt/nas_share
#                      USER        PID ACCESS COMMAND
# /mnt/nas_share:      appuser    4812 ..c..  java
#                      root       5102 ..c..  bash
# -> PID 4812, 5102가 현재 stale 디렉터리를 current directory(c)로 물고 있음 확인

# 4. 물려있는 프로세스의 상태(STAT) 확인 (D 상태 여부)
$ ps -eo pid,stat,time,wchan:20,comm | grep -E "4812|5102"
#   PID STAT     TIME WCHAN                COMMAND
#  4812 D        0:15 nfs_wait_on_request  java
#  5102 S        0:00 do_wait              bash
# -> java 프로세스가 D(Uninterruptible Sleep) 상태로 커널 I/O를 기다리며 멈춰 있음

# 5. NFS 서버(NAS) 단 통신 상태 점검 (RPC 포트 매퍼 및 익스포트 목록)
$ showmount -e 192.168.1.200
# Export list for 192.168.1.200:
# /data/share 192.168.1.0/24
# -> 서버의 익스포트 권한 설정은 살아있는지 확인

#!/bin/bash
# fix_nfs_estale.sh - Detect and safely recover Stale NFS mount points on Linux

echo "=========================================="
echo " [Linux NFS Stale File Handle (ESTALE) 진단기]"
echo "=========================================="

if [ "$EUID" -ne 0 ]; then
    echo "  [오류] 파일시스템 마운트 관리를 위해 루트(root) 권한이 필요합니다."
    exit 1
fi

# 1. /proc/mounts 에서 모든 NFS 마운트 지점 파싱
NFS_MOUNTS=$(awk '$3 ~ /^nfs/ {print $2}' /proc/mounts)

if [ -z "$NFS_MOUNTS" ]; then
    echo "  [안내] 시스템에 마운트된 NFS 디렉터리가 없습니다."
    exit 0
fi

STALE_FOUND=0

echo -e "\n[1] 마운트 지점 헬스체크 진행 중..."
for MNT in $NFS_MOUNTS; do
    # stat 또는 readlink로 비동기 검사 (서버 무응답 시 무한정 멈추는 것을 방지하기 위해 timeout 2초 지정)
    timeout 2 stat "$MNT" >/dev/null 2>&1
    RET=$?
    
    if [ $RET -eq 124 ]; then
        echo "  [타임아웃] 마운트 경로: ${MNT} (서버 무응답 또는 완전 행 상태)"
        STALE_FOUND=1
    elif [ $RET -ne 0 ]; then
        # errno 116 확인을 위한 상세 문자열 검증
        ERR_MSG=$(ls -d "$MNT" 2>&1)
        if echo "$ERR_MSG" | grep -qi "stale"; then
            echo "  [경고] ESTALE 감지됨: ${MNT}"
            STALE_FOUND=1
            TARGET_MNT="$MNT"
            
            # 2. 마운트 지점을 물고 있는 프로세스 탐색
            echo -e "\n[2] ${TARGET_MNT} 점유 프로세스 추적:"
            BLOCKING_PIDS=$(fuser -m "$TARGET_MNT" 2>/dev/null)
            
            if [ -n "$BLOCKING_PIDS" ]; then
                echo "  - 점유 중인 PID: ${BLOCKING_PIDS}"
                ps -fp ${BLOCKING_PIDS} 2>/dev/null | awk '{printf "    -> PID: %-6s | STAT: %-4s | CMD: %s\n", $2, $8, $8}'
            else
                echo "  - 직접적인 프로세스 점유 없음."
            fi
            
            # 3. 안전한 Lazy Unmount 실행
            echo -e "\n[3] 지연 언마운트(Lazy Unmount) 조치 실행:"
            echo "  -> 실행 명령어: umount -l ${TARGET_MNT}"
            umount -l "$TARGET_MNT"
            
            if [ $? -eq 0 ]; then
                echo "  [성공] ${TARGET_MNT} 지연 언마운트 완료."
                echo "  -> 마운트 테이블에서 즉시 분리되었으며, 잔여 파일 핸들이 닫히는 대로 시스템 자원이 정리됩니다."
            else
                echo "  [강제 시도] 일반/지연 실패로 강제 언마운트 시도: umount -f -l ${TARGET_MNT}"
                umount -f -l "$TARGET_MNT"
            fi
            
            # 4. fstab 기반 자동 재마운트 시도
            echo -e "\n[4] fstab 기준 마운트 복구 시도:"
            if grep -qs "$TARGET_MNT" /etc/fstab; then
                mount "$TARGET_MNT" 2>/dev/null
                if [ $? -eq 0 ]; then
                    echo "  [복구 완료] ${TARGET_MNT} 정상 재마운트 성공."
                else
                    echo "  [주의] 재마운트 실패. 스토리지 서버(NAS)의 exportfs 상태를 점검하십시오."
                fi
            else
                echo "  [알림] /etc/fstab에 설정이 없어 수동 mount 명령이 필요합니다."
            fi
        fi
    else
        echo "  - 정상: ${MNT}"
    fi
done

if [ "$STALE_FOUND" -eq 0 ]; then
    echo "  [정상] 점검된 모든 NFS 마운트가 정상 접근 가능합니다."
fi

echo -e "\n=========================================="
echo " [점검 및 조치 완료]"
echo "=========================================="

# 마운트 네임스페이스에서 즉시 분리하고, 열려있는 파일 핸들이 닫히는 대로 백그라운드 정리
sudo umount -l /mnt/nas_share

# 마운트 지점에 물려있는 모든 프로세스에 SIGKILL 전달
sudo fuser -k -9 -m /mnt/nas_share

sudo mount -t nfs -o rw,bg,hard,nointr,rsize=1048576,wsize=1048576,timeo=600,retrans=2 192.168.1.200:/data/share /mnt/nas_share