시스템 관리_56 Linux Device Mapper Multipath DM-Multipath IO Hang 원인 분석 및 장애 복구 가이드

# 1. 멀티패스 디바이스 상태 및 큐잉(Queueing) 정체 여부 확인
$ sudo multipath -ll
# mpathb (36001405a12b450123000000000000001) dm-1 OPEN-E,SAN
# size=2.0T features='1 queue_if_no_path' hwhandler='0' wp=rw
# `-+- policy='service-time 0' prio=0 status=active
#   |- 3:0:0:1 sdc 8:32  failed faulty running
#   `- 4:0:0:1 sdd 8:48  failed faulty running
# -> 모든 물리 경로(sdc, sdd)가 failed 상태인데 'queue_if_no_path' 기능으로 인해 I/O 에러를 리턴하지 않고 영구 대기열에 가둠

# 2. multipathd 데몬 상태 및 큐 모드 실시간 확인
$ sudo multipathd show maps
# name   sysfs uuid
# mpathb dm-1  36001405a12b450123000000000000001
$ sudo multipathd show map mpathb status
# map mpathb: 1 queue_if_no_path (queueing enabled)
# -> queueing enabled 상태로 인해 상위 파일시스템/DB로 에러가 전달되지 않고 프로세스가 정지됨

# 3. I/O 대기(await) 및 D 상태 프로세스 점검
$ iostat -xz 1 2
# Device            r/s     w/s     rkB/s     wkB/s   r_await  w_await   aqu-sz  %util
# dm-1             0.00    0.00      0.00      0.00      0.00     0.00   845.00  100.00
# -> 입출력 처리량은 0인데 대기 큐 크기(aqu-sz)가 수백 개 이상 적체된 상태 확인

# 4. multipathd 대화형 콘솔(CLI)을 통한 즉각적인 큐 플러시 테스트
$ sudo multipathd disablequeueing map mpathb
# ok
# -> 대기 중이던 I/O를 즉시 에러로 반환하여 프로세스 락을 강제 해제

#!/bin/bash
# fix_multipath_io_hang.sh - Detect and resolve DM-Multipath I/O Hang and infinite queueing

echo "=========================================="
echo " [Linux DM-Multipath I/O Hang 진단 및 복구]"
echo "=========================================="

if [ "$EUID" -ne 0 ]; then
    echo "  [오류] 멀티패스 관리를 위해 루트(root) 권한이 필요합니다."
    exit 1
fi

if ! systemctl is-active --quiet multipathd; then
    echo "  [치명적] multipathd 서비스가 정지되어 있습니다!"
    echo "  -> 서비스 시작 시도: systemctl start multipathd"
    systemctl start multipathd
fi

# 1. multipath 전체 맵 이름 추출
MAP_NAMES=$(multipath -ll | grep -E "^[a-zA-Z0-9_]+ \(" | awk '{print $1}')

if [ -z "$MAP_NAMES" ]; then
    echo "  [안내] 구성된 멀티패스 디바이스가 없습니다."
    exit 0
fi

echo -e "\n[1] 멀티패스 디바이스 경로 헬스체크:"
HANG_DETECTED=0

for MAP in $MAP_NAMES; do
    MAP_INFO=$(multipath -ll "$MAP")
    ACTIVE_PATHS=$(echo "$MAP_INFO" | grep -c "status=active")
    READY_PATHS=$(echo "$MAP_INFO" | grep -c "ready running")
    IS_QUEUEING=$(echo "$MAP_INFO" | grep -c "queue_if_no_path")
    
    printf "  - 디바이스: %-15s | 활성경로: %s개 | 큐잉기능: %s\n" "$MAP" "$READY_PATHS" "$([ $IS_QUEUEING -gt 0 ] && echo 'ON' || echo 'OFF')"
    
    # 가용 경로가 0개인데 큐잉이 켜져 있는 경우 -> 영구 I/O Hang 상태
    if [ "$READY_PATHS" -eq 0 ] && [ "$IS_QUEUEING" -gt 0 ]; then
        echo "    [!] 치명적 감지: [${MAP}] 모든 물리 경로 단절 및 무한 큐잉 적체 중!"
        HANG_DETECTED=1
        
        echo "    -> 긴급 조치: multipathd disablequeueing map ${MAP} 실행 중..."
        multipathd disablequeueing map "$MAP" >/dev/null 2>&1
        if [ $? -eq 0 ]; then
            echo "    -> [완료] 대기열 강제 반환 성공. 상위 프로세스 행(Hang)이 해제되었습니다."
        fi
    fi
done

# 2. multipath.conf 최적화 권장안 검사
echo -e "\n[2] /etc/multipath.conf 핵심 타임아웃 파라미터 점검:"
CONF_FILE="/etc/multipath.conf"
if [ -f "$CONF_FILE" ]; then
    grep -vE "^#|^$" "$CONF_FILE" | grep -E "no_path_retry|fast_io_fail_tmo|dev_loss_tmo" | sed 's/^/    /'
    
    if grep -q "queue_if_no_path" "$CONF_FILE"; then
        echo "  [주의] /etc/multipath.conf에 레거시 'queue_if_no_path'가 하드코딩되어 있습니다."
        echo "  -> 'no_path_retry fail' 또는 특정 횟수(예: no_path_retry 12)로 교체를 권장합니다."
    fi
else
    echo "  [안내] 사용자 설정 파일(/etc/multipath.conf)이 존재하지 않아 커널 기본값이 적용 중입니다."
fi

echo -e "\n=========================================="
echo " [진단 완료]"
echo "=========================================="