시스템 관리_64 대규모 온프레미스 NAS 데이터의 클라우드 오브젝트 스토리지 무중단 이관 및 최적화 가이드

 
  • 출처 / 참고: AWS S3 Best Practices Design Patterns (Optimizing Amazon S3 performance), Rclone Documentation (Performance Tuning & S3 Multipart Transfers)

명령어: rclone, aws, iftop, iostat, md5sum, nohup
키워드: Data Migration, Object Storage, S3, rclone, Multipart Upload, –transfers, –checkers, Checksum Verification, Bandwidth Throttling
사용처: 수십 TB~PB 규모의 온프레미스 NAS/파일 서버 데이터를 서비스 중단 없이 퍼블릭 클라우드(AWS S3, NCP Object Storage 등)로 고속 이관


실행예제

온프레미스 NAS 마운트 경로의 수천만 개 파일을 클라우드 S3 호환 오브젝트 스토리지로 마이그레이션할 때, 기본 단일 스레드 업로드로 인한 전송 속도 저하, 네트워크 대역폭 고갈, 그리고 API 요청 한도 초과(HTTP 503 Slow Down) 현상을 진단합니다.

# 1. 마이그레이션 대상 온프레미스 NAS의 파일 총 개수 및 용량 사전 산출
$ find /mnt/nas_archive -type f | wc -l
# 24500120  (약 2,450만 개의 파일 존재)
$ df -h /mnt/nas_archive
# Filesystem                 Size  Used Avail Use% Mounted on
# 192.168.1.200:/vol/archive  50T   38T   12T  76% /mnt/nas_archive

# 2. 네트워크 외부 전송 대역폭(Outbound Bandwidth) 실시간 측정
$ sudo iftop -i eth0 -n -P
# -> 전용선 또는 인터넷 회선 대역폭(예: 1Gbps 또는 10Gbps) 중 가용 여유분 파악

# 3. 기본 aws s3 sync 사용 시 병목 및 S3 API 스로틀링(503 Slow Down) 확인
$ aws s3 sync /mnt/nas_archive s3://my-company-archive-bucket/ --dryrun
# -> 기본 설정으로는 수천만 개 파일의 LIST/HEAD API 호출로 인해 수 시간 대기 및 Rate Limit 발생

# 4. rclone을 이용한 S3 연결성 및 버킷 권한 사전 검증
$ rclone lsd cloud_s3:my-company-archive-bucket
#           -1 2026-11-16 09:00:00        -1 2025_backup
#           -1 2026-11-16 09:00:00        -1 2026_active

   

스크립트

대용량 NAS 데이터를 클라우드 S3 스토리지로 안전하게 이관하기 위해 1) 병렬 워커(transfers) 및 메타데이터 체커(checkers) 최적화, 2) 업무 시간대 회선 마비를 막기 위한 동적 대역폭 제한(bwlimit), 3) 전송 완료 후 MD5/ETag 무결성 자동 검증(rclone check)을 수행하는 운영 마이그레이션 쉘 스크립트입니다.

#!/bin/bash
# migrate_nas_to_s3.sh - High-speed, throttled, and verified NAS to S3 migration using rclone

SRC_NAS_DIR=${1:-"/mnt/nas_archive"}
DST_S3_BUCKET=${2:-"cloud_s3:my-company-archive-bucket"}
LOG_DIR="/var/log/s3_migration"
DATE_TAG=$(date +%Y%m%d_%H%M%S)
LOG_FILE="${LOG_DIR}/migration_${DATE_TAG}.log"

echo "=========================================="
echo " [온프레미스 NAS -> 클라우드 S3 무중단 이관기]"
echo " 소스 경로  : ${SRC_NAS_DIR}"
echo " 대상 버킷  : ${DST_S3_BUCKET}"
echo " 로그 파일  : ${LOG_FILE}"
echo "=========================================="

if ! command -v rclone &>/dev/null; then
    echo "  [오류] rclone 유틸리티가 설치되어 있지 않습니다. 먼저 설치하십시오."
    exit 1
fi

if [ ! -d "$SRC_NAS_DIR" ]; then
    echo "  [오류] 소스 NAS 디렉터리를 찾을 수 없습니다: ${SRC_NAS_DIR}"
    exit 1
fi

mkdir -p "$LOG_DIR"

# 1. 시간대별 동적 대역폭 제어 스케줄 설정 (업무 시간 09:00~18:00는 50MB/s 제한, 야간은 무제한)
BW_SCHEDULE="09:00,50M 18:00,off"

# 2. 고속 전송 튜닝 파라미터
# --transfers 16: 동시 병렬 파일 업로드 수 (기본 4 -> 16 상향)
# --checkers 32: 파일 변경 여부 비교 메타데이터 스캔 스레드 (기본 8 -> 32 상향)
# --s3-chunk-size 64M: 대용량 파일 멀티파트 청크 크기 상향 (API 호출 횟수 절감)
# --s3-upload-concurrency 8: 단일 대형 파일의 병렬 청크 업로드 스레드
# --fast-list: S3 LIST API 호출 횟수를 획기적으로 줄이는 메모리 일괄 조회
RCLONE_FLAGS=(
    --transfers 16
    --checkers 32
    --s3-chunk-size 64M
    --s3-upload-concurrency 8
    --fast-list
    --bwlimit "$BW_SCHEDULE"
    --retries 5
    --low-level-retries 10
    --stats 30s
    --log-file "$LOG_FILE"
    --log-level INFO
)

echo -e "\n[1] 1차 및 증분 데이터 동기화(rclone copy) 시작..."
echo "  - 대역폭 스케줄: 주간(09~18시) 50MB/s 제한 / 야간 무제한"
echo "  - 실행 진행 중 (상세 진행률은 tail -f ${LOG_FILE} 로 모니터링)"

rclone copy "$SRC_NAS_DIR" "$DST_S3_BUCKET" "${RCLONE_FLAGS[@]}"
SYNC_RET=$?

if [ $SYNC_RET -ne 0 ]; then
    echo "  [경고] 동기화 도중 일부 오류가 발생했습니다(Exit Code: ${SYNC_RET}). 로그를 확인하고 재실행하십시오."
else
    echo "  [성공] 모든 파일의 데이터 전송 단계가 완료되었습니다."
fi

# 3. 데이터 무결성 최종 검증 (체크섬 및 파일 크기 대조)
echo -e "\n[2] 이관 완료 파일 무결성 검증(rclone check) 수행 중..."
CHECK_LOG="${LOG_DIR}/verify_${DATE_TAG}.log"
rclone check "$SRC_NAS_DIR" "$DST_S3_BUCKET" --one-way --fast-list --log-file "$CHECK_LOG"

if [ $? -eq 0 ]; then
    echo "  [완벽 일치] 소스의 모든 파일이 클라우드 버킷에 손상 없이 무결하게 저장되었습니다."
else
    echo "  [불일치 감지] 누락되거나 크기가 다른 파일이 있습니다. 검증 로그(${CHECK_LOG})를 확인하십시오."
fi

echo -e "\n=========================================="
echo " [이관 프로세스 종료]"
echo "=========================================="

   

해설

수십 TB 이상의 온프레미스 파일 데이터를 퍼블릭 클라우드 오브젝트 스토리지(AWS S3, Naver Cloud Object Storage 등)로 이관하는 작업은 단순한 파일 복사(cp 또는 scp)와 차원이 다릅니다. 디렉터리 계층 구조가 없는 평면적(Flat) HTTP REST API 기반 스토리지의 특성을 이해하고 튜닝해야 중단 없이 마이그레이션을 완수할 수 있습니다.

1. 클라우드 이관 시 발생하는 3대 병목과 해결책

  1. 수천만 개 소용량 파일의 API 비용 및 LIST 지연 (--fast-list):
    • 오브젝트 스토리지는 디렉터리 단위로 파일을 읽을 때 매번 HTTP LIST API를 호출합니다. 수천만 개 파일을 순회하면 전송 시간보다 API 호출 대기 시간이 더 길어지며 과금도 급증합니다.
    • rclone의 --fast-list 옵션을 켜면 한 번의 API 요청으로 최대 1,000개씩 객체 목록을 메모리에 일괄 적재하여 API 호출 횟수와 시간을 90% 이상 단축할 수 있습니다.
  2. 대용량 파일 전송 중 끊김 및 재전송 (Multipart Upload):
    • 수십 GB짜리 단일 백업 파일(.bak, .tar.gz)을 단일 HTTP PUT으로 올리면 99%에서 네트워크가 살짝 흔들릴 때 처음부터 다시 올려야 합니다.
    • --s3-chunk-size 64M와 --s3-upload-concurrency 8을 적용하면 파일을 64MB 청크 조각으로 쪼개어 8개 스레드가 병렬 전송하며, 특정 청크만 실패해도 해당 조각만 재전송합니다.
  3. 사내 인터넷/전용선 회선 포화로 인한 업무 마비 (--bwlimit):
    • 1Gbps 전용선 환경에서 제한 없이 병렬 업로드를 돌리면 사내 웹 서핑, 메일, ERP 통신이 패킷 드롭으로 마비됩니다. 시간대별 대역폭 제어 스케줄을 걸어 주간에는 트래픽을 억제하고 야간에 최대 속도로 전송해야 합니다.

2. 무중단 전환(Cutover) 전략: 3단계 증분 동기화

서비스 다운타임을 최소화(수 분 이내)하기 위해 한 번에 옮기지 않고 3단계로 나누어 진행합니다.

  • 1단계 (Baseline Full Copy): 서비스 가동 중에 전체 과거 데이터를 백그라운드로 모두 업로드합니다 (며칠~수 주 소요).
  • 2단계 (Incremental Sync): 1단계 완료 후 변경/추가된 파일만 rclone copy를 2~3회 반복 실행하여 데이터 격차를 수 분 단위로 좁힙니다.
  • 3단계 (Final Cutover): 새벽 점검 시간에 온프레미스 애플리케이션을 읽기 전용(Read-Only) 전환 후 마지막 최종 증분 동기화와 rclone check 검증을 끝내고 엔드포인트를 클라우드로 전환합니다.

   

주의사항

  1. rclone sync 대신 rclone copy 사용 권장:
    • sync 명령은 소스에서 지워진 파일을 클라우드 타겟에서도 삭제합니다. 마이그레이션 도중 온프레미스 NAS가 일시적으로 언마운트되어 빈 디렉터리로 인식되면 클라우드 버킷에 이미 올려둔 수십 TB의 데이터를 통째로 지워버리는 대참사가 발생할 수 있으므로, 이관 단계에서는 반드시 추가 전용인 copy를 사용해야 합니다.
  2. 메모리 부족(OOM) 방지 (--fast-list 사용 시):
    • 파일 개수가 5,000만 개를 넘어가는 초대형 스토리지에서 --fast-list를 켜면 모든 파일 메타데이터를 RAM에 올리느라 수십 GB의 메모리를 소모합니다. 이관 전용 배스천 서버의 RAM이 16GB 이하라면 --fast-list를 끄고 디렉터리 단위로 분할하여 실행해야 합니다.
  3. 파일 권한(UID/GID) 및 심볼릭 링크 손실 주의:
    • S3 같은 오브젝트 스토리지는 리눅스 POSIX 파일시스템이 아니므로 전통적인 소유자(UID), 그룹(GID), 심볼릭 링크(Symlink) 개념이 없습니다. 리눅스 파일 권한 유지가 필수적인 데이터라면 --metadata 옵션을 활성화하거나 압축 아카이브로 묶어 이관해야 합니다.