시스템 관리_55 FC SAN 스위치 HBA 포트 CRC 에러 및 ALUA 멀티패스 경로 장애 원인 분석과 해결 가이드

# 1. 호스트의 물리 FC HBA 포트 링크 상태 및 속도 확인
$ systool -c fc_host -v
# Class = "fc_host"
#   Class Device = "host1"
#     port_name           = "0x5001438012345678"
#     port_state          = "Online"
#     speed               = "16 Gbit"
#     symbolic_name       = "QLE2692 FW:v8.08.231 DVR:v10.02.00.04-k"

# 2. HBA 물리 수신단(RX)의 CRC 에러 및 링크 장애 카운터 확인
$ cat /sys/class/fc_host/host1/statistics/crc_error_count
# 14502
$ cat /sys/class/fc_host/host1/statistics/invalid_tx_words
# 89204
$ cat /sys/class/fc_host/host1/statistics/loss_of_sync_count
# 312
# -> CRC 에러 및 비정상 워드(invalid_tx_words) 카운터가 급증 중이면 광케이블/SFP 물리 계층 이상 확정

# 3. 현재 ALUA 멀티패스 토폴로지 및 LUN 경로 상태 확인 (multipath -ll)
$ sudo multipath -ll mpatha
# mpatha (360050768028085a12000000000000101) dm-0 NETAPP,INF-01-00
# size=1.0T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
# |-+- policy='service-time 0' prio=50 status=active
# | `- 1:0:0:1 sda 8:0  active ready running (Active/Optimized)
# `-+- policy='service-time 0' prio=10 status=enabled
#   `- 2:0:0:1 sdb 8:16 active ready running (Active/Non-Optimized)
# -> 정상일 때는 prio 50 경로로 I/O가 가야 하나, CRC 에러 발생 시 비최적 경로(prio 10)로 우회되어 지연 급증

# 4. 커널 로그에서 SCSI Check Condition 및 패브릭 단절 로그 확인
$ sudo dmesg -T | grep -iE "qla2xxx|lpfc|rport|scsi:.*check condition"
# [Sat Nov  7 11:20:15 2026] qla2xxx [0000:03:00.0]-500b:1: Loop down; waiting for recovery
# [Sat Nov  7 11:20:18 2026] rport-1:0-2: blocked FC remote port time out: removing target

#!/bin/bash
# check_fc_hba_crc_errors.sh - Diagnose Fibre Channel HBA physical health, CRC errors, and ALUA path status

echo "=========================================="
echo " [FC HBA 물리 계층 CRC 에러 및 ALUA 상태 진단]"
echo "=========================================="

if [ ! -d /sys/class/fc_host ]; then
    echo "  [안내] 시스템에 장착된 FC HBA 장치가 없습니다."
    exit 0
fi

HOSTS=$(ls -d /sys/class/fc_host/host* 2>/dev/null)

if [ -z "$HOSTS" ]; then
    echo "  [오류] fc_host 디렉터리가 비어 있습니다."
    exit 1
fi

echo -e "\n[1] HBA 포트 사양 및 물리 카운터 점검:"
CRC_ALERT=0

for H in $HOSTS; do
    H_NAME=$(basename "$H")
    P_NAME=$(cat "$H/port_name" 2>/dev/null)
    P_STATE=$(cat "$H/port_state" 2>/dev/null)
    SPEED=$(cat "$H/speed" 2>/dev/null)
    
    CRC_CNT=$(cat "$H/statistics/crc_error_count" 2>/dev/null || echo 0)
    TX_WORDS=$(cat "$H/statistics/invalid_tx_words" 2>/dev/null || echo 0)
    SYNC_LOSS=$(cat "$H/statistics/loss_of_sync_count" 2>/dev/null || echo 0)
    LINK_FAIL=$(cat "$H/statistics/link_failure_count" 2>/dev/null || echo 0)
    
    printf "  >> [%s] 포트 WWPN: %s | 상태: %s | 속도: %s\n" "$H_NAME" "$P_NAME" "$P_STATE" "$SPEED"
    printf "     - CRC 에러 수     : %-8s | 비정상 워드 수: %s\n" "$CRC_CNT" "$TX_WORDS"
    printf "     - 동기 유실(Sync) : %-8s | 링크 장애 수  : %s\n" "$SYNC_LOSS" "$LINK_FAIL"
    
    if [ "$CRC_CNT" -gt 0 ] || [ "$TX_WORDS" -gt 100 ]; then
        echo "     [!] 경고: 물리 계층 신호 왜곡 및 패킷 변조가 감지되었습니다!"
        CRC_ALERT=1
    fi
    echo ""
done

echo -e "[2] 멀티패스 ALUA 상태 점검:"
if command -v multipath &>/dev/null; then
    MP_STATUS=$(multipath -ll 2>/dev/null)
    if [ -n "$MP_STATUS" ]; then
        echo "$MP_STATUS" | grep -E "^[a-zA-Z0-9_]+ \(|prio=|status=" | head -n 12 | sed 's/^/    /'
    else
        echo "  - 활성화된 멀티패스 디바이스가 없습니다."
    fi
else
    echo "  - multipath 유틸리티가 설치되어 있지 않습니다."
fi

echo -e "\n=========================================="
echo " [진단 요약]"
if [ "$CRC_ALERT" -eq 1 ]; then
    echo "  ★ 물리 계층 점검 시급 (광패치 케이블 청소/교체, SAN SFP 모듈 교체 권장)"
else
    echo "  ★ 물리 FC 링크 상태가 깨끗합니다."
fi
echo "=========================================="

# sysfs를 통한 에러 카운터 초기화
echo 1 | sudo tee /sys/class/fc_host/host1/statistics/reset_statistics

sudo multipathd reconfigure
sudo multipath -r