시스템 관리_13 "Nginx/Apache SSL/TLS 핸드셰이크 실패(ERR_SSL_PROTOCOL_ERROR) 원인 및 완벽 해결 가이드"

# 1. OpenSSL s_client 명령어를 이용한 정밀 핸드셰이크 디버깅 (SNI 명시)
$ openssl s_client -connect example.com:443 -servername example.com -tls1_2
# -> 만약 "CONNECTED" 후 "write:errno=104" 또는 "error:140770FC:SSL routines:SSL23_GET_SERVER_HELLO:unknown protocol"
#    등이 출력되면 443 포트에 SSL 엔진 활성화가 안 되어 있거나 HTTP 평문이 응답하는 상태임

# 2. Curl 명령어로 SSL 상세 협상 과정 추적
$ curl -Iv https://example.com --tlsv1.2
*   Trying 192.168.1.100:443...
* Connected to example.com (192.168.1.100) port 443
* error:1408F10B:SSL routines:ssl3_get_record:wrong version number
* Closing connection 0
curl: (35) error:1408F10B:SSL routines:ssl3_get_record:wrong version number

# 3. 서버 내부 설정 문법 검사
# Nginx
$ sudo nginx -t

# Apache
$ sudo apachectl configtest

# 4. 443 포트가 실제로 웹 서버 프로세스에 의해 리스닝 중인지 확인
$ sudo ss -tulpn | grep :443

#!/bin/bash
# ssl_troubleshoot.sh - Check SSL configuration, certificate validity, and key match

DOMAIN=${1:-"localhost"}
CERT_PATH=${2:-""}
KEY_PATH=${3:-""}

echo "=========================================="
echo " [SSL/TLS 진단 시작] 대상: ${DOMAIN}"
echo "=========================================="

# 1. 443 포트 리스닝 프로세스 확인
echo -e "\n[1] 443 포트 수신 상태:"
PORT_INFO=$(ss -tulpn | grep ':443 ')
if [ -z "$PORT_INFO" ]; then
    echo "  [오류] 443 포트가 리스닝 상태가 아닙니다. 웹 서버가 기동 중인지 확인하세요."
else
    echo "  [정상] 443 포트 리스닝 감지:"
    echo "  $PORT_INFO"
fi

# 2. OpenSSL을 통한 로컬 443 포트 SSL 핸드셰이크 테스트
echo -e "\n[2] 로컬 443 포트 SSL 핸드셰이크 테스트:"
HANDSHAKE_RES=$(echo | openssl s_client -connect 127.0.0.1:443 -servername "$DOMAIN" 2>&1)

if echo "$HANDSHAKE_RES" | grep -q "Verify return code: 0"; then
    echo "  [정상] 핸드셰이크 성공 및 유효한 인증서 확인."
elif echo "$HANDSHAKE_RES" | grep -q "wrong version number"; then
    echo "  [오류] 443 포트에서 평문(HTTP) 응답이 반환되고 있습니다."
    echo "  -> Nginx의 'listen 443 ssl;' 또는 Apache의 'SSLEngine on' 누락 점검 필요."
else
    ERROR_DETAIL=$(echo "$HANDSHAKE_RES" | grep -E "(error:|handshake failure|Connection refused)")
    echo "  [경고] 핸드셰이크 실패 또는 경고 발생:"
    echo "  ${ERROR_DETAIL:-$HANDSHAKE_RES}"
fi

# 3. 인증서와 개인키 파일 무결성 및 매칭 검사 (경로 지정 시)
if [ -n "$CERT_PATH" ] && [ -n "$KEY_PATH" ]; then
    echo -e "\n[3] 인증서와 개인키 모듈러스(Modulus) 일치 여부 검증:"
    if [ ! -f "$CERT_PATH" ] || [ ! -f "$KEY_PATH" ]; then
        echo "  [오류] 인증서 또는 키 파일 경로가 잘못되었습니다."
    else
        CERT_HASH=$(openssl x509 -noout -modulus -in "$CERT_PATH" 2>/dev/null | openssl md5)
        KEY_HASH=$(openssl rsa -noout -modulus -in "$KEY_PATH" 2>/dev/null | openssl md5)
        
        echo "  - Cert Hash: $CERT_HASH"
        echo "  - Key Hash : $KEY_HASH"
        
        if [ "$CERT_HASH" == "$KEY_HASH" ] && [ -n "$CERT_HASH" ]; then
            echo "  [정상] 인증서와 개인키의 키 쌍이 일치합니다."
        else
            echo "  [오류] 인증서와 개인키가 일치하지 않습니다! (핸드셰이크 실패의 직접적 원인)"
        fi
        
        # 만료 일자 체크
        echo -e "\n[4] 인증서 유효 기간:"
        openssl x509 -noout -dates -in "$CERT_PATH" | sed 's/^/  /'
    fi
fi

echo -e "\n=========================================="
echo " [진단 완료]"
echo "=========================================="