시스템 관리_52 대용량 NAS rsync 데이터 동기화 중 IO 병목 및 퍼미션 유실 오류 원인 분석과 최적화 가이드

# 1. 단일 rsync 실행 시 파일 목록 생성(Building file list) 정체 및 메모리 점유 확인
$ rsync -avz /mnt/nas_source/ /mnt/nas_target/
# building file list ...
# -> 수백만 개 파일 탐색 시 수 시간 동안 실제 데이터 전송 없이 메모리와 CPU를 수 GB 소모하며 멈춤

# 2. rsync 프로세스로 인한 디스크 I/O 병목 및 await 지연 확인 (iostat)
$ iostat -xz 1 3
# Device            r/s     w/s     rkB/s     wkB/s   r_await  w_await   aqu-sz  %util
# sdb1          3210.00  120.00  45200.00   1200.00     32.40    15.80    12.50  99.90
# -> 디스크 가동률(%util)이 100%에 달하고 r_await가 30ms를 초과하여 스토리지 읽기 병목 발생

# 3. 소스 및 대상 디렉터리의 파일 권한(UID/GID) 및 확장 속성(ACL) 불일치 확인
$ ls -l /mnt/nas_source/data_file.txt
# -rw-r--r--+ 1 appuser appgroup 1024 Nov  4 10:00 /mnt/nas_source/data_file.txt
$ ls -l /mnt/nas_target/data_file.txt
# -rw-r--r--  1 nobody  nobody   1024 Nov  4 10:00 /mnt/nas_target/data_file.txt
# -> 소유자가 nobody로 바뀌고 POSIX ACL 표시(+)가 사라져 권한 유실 발생

# 4. 소스 파일의 상세 POSIX ACL 정보 확인
$ getfacl /mnt/nas_source/data_file.txt
# # file: mnt/nas_source/data_file.txt
# # owner: appuser
# # group: appgroup
# user::rw-
# user:backupadmin:rwx
# group::r--
# mask::rwx
# other::r--

#!/bin/bash
# parallel_rsync_sync.sh - High-performance parallel rsync with permission/ACL preservation

SRC_DIR=${1:-"/mnt/nas_source"}
DST_DIR=${2:-"/mnt/nas_target"}
JOBS=${3:-4}

echo "=========================================="
echo " [대용량 NAS 고속 병렬 rsync 동기화기]"
echo " 소스: ${SRC_DIR}"
echo " 대상: ${DST_DIR}"
echo " 병렬 스레드 수: ${JOBS}"
echo "=========================================="

if [ "$EUID" -ne 0 ]; then
    echo "  [오류] 권한(UID/GID/ACL) 완벽 보존을 위해 루트(root) 권한으로 실행하십시오."
    exit 1
fi

if [ ! -d "$SRC_DIR" ] || [ ! -d "$DST_DIR" ]; then
    echo "  [오류] 소스 또는 대상 디렉터리가 존재하지 않습니다."
    exit 1
fi

# 1. rsync 필수 플래그 설정
# -a: 아카이브 (rlptgo)
# -H: 하드링크 보존
# -A: POSIX ACL 보존
# -X: 확장 속성(xattrs) 보존
# --numeric-ids: 계정명 대신 숫자 UID/GID 직접 매핑 (nobody 방지)
# --inplace: 임시 파일을 만들지 않고 대상 파일에 직접 덮어쓰기 (스토리지 쓰기 부하 및 I/O 절감)
RSYNC_OPTS="-aHAX --numeric-ids --inplace --no-whole-file --info=progress2"

# 2. 최상위 1레벨 디렉터리/파일 목록 분할 추출
echo -e "\n[1] 1차 디렉터리 구조 스캔 중..."
ITEM_LIST=$(find "$SRC_DIR" -mindepth 1 -maxdepth 1 -printf "%P\n")

if [ -z "$ITEM_LIST" ]; then
    echo "  [안내] 소스 디렉터리에 동기화할 파일이 없습니다."
    exit 0
fi

# 3. xargs 기반 병렬 rsync 전송 실행
echo -e "\n[2] 병렬 rsync 동기화 시작 (${JOBS} 프로세스 가동):"
echo "$ITEM_LIST" | xargs -I {} -P "$JOBS" bash -c '
    ITEM="{}"
    echo "  -> [작업 시작] ${ITEM}"
    ionice -c2 -n7 rsync '"$RSYNC_OPTS"' "'"$SRC_DIR"'/${ITEM}" "'"$DST_DIR"'/"
    if [ $? -eq 0 ]; then
        echo "  -> [작업 완료] ${ITEM}"
    else
        echo "  -> [오류 발생] ${ITEM}"
    fi
'

# 4. 최상위 디렉터리 자체의 메타데이터 및 권한 최종 동기화
echo -e "\n[3] 최상위 루트 디렉터리 메타데이터 동기화:"
rsync -dHAX --numeric-ids "$SRC_DIR/" "$DST_DIR/"

echo -e "\n=========================================="
echo " [동기화 작업 완료]"
echo "=========================================="

rsync -aHAX --numeric-ids --inplace /source/ /target/

ionice -c2 -n7 rsync ...