인터넷을 쓸 때마다 내 데이터가 어디로 흘러가는지 생각해본 적 있습니까.

공용 와이파이, 해외 접속 제한, 기업 내부망 원격 접속까지, VPN은 현대 네트워크 환경에서 없어서는 안 될 보안 도구입니다.

이 글에서는 VPN 원리의 기본 구조부터 IPSec VPN과 SSL VPN의 동작 방식, 그리고 두 기술의 차이점까지 항목별로 정리합니다.

VPN 작동원리 – 터널링과 암호화의 구조

사진 출처 (adguard-vpn)

VPN 작동원리를 이해하려면 먼저 터널링과 암호화라는 두 개념을 잡아야 합니다.

VPN은 사용자의 기기와 인터넷 사이에 가상의 암호화 통로, 즉 터널을 만들어 데이터를 주고받습니다.

이 터널 안에서 이동하는 데이터는 외부에서 가로채더라도 내용을 읽을 수 없는 상태로 변환됩니다.

VPN 없이 인터넷에 접속하면 사용자의 IP 주소, 접속 도메인, 트래픽 내용이 ISP(인터넷 서비스 제공업체)와 제3자에게 노출됩니다.

통신비밀보호법에 따라 ISP는 접속 기록을 일정 기간 보관하며, 해킹 시도나 광고 추적에 취약한 구조입니다.

VPN을 사용하면 이 모든 데이터가 VPN 서버를 거쳐 전달되며, 외부에는 VPN 서버의 IP만 노출됩니다.

VPN 원리의 두 가지 유형 

터널링 과정에서 데이터는 패킷 단위로 분할된 뒤 다른 데이터 패킷 안에 포함되는 캡슐화 과정을 거칩니다.

캡슐화된 패킷에는 암호화 키가 적용돼 VPN 클라이언트와 서버 사이에서만 내용을 해독할 수 있습니다.

이 구조 덕분에 공용 와이파이처럼 보안이 보장되지 않는 환경에서도 데이터를 안전하게 전송할 수 있습니다.

VPN 원리는 방향에 따라 크게 두 가지 유형으로 나뉩니다.

원격 접속(Client-to-Site) VPN은 개인 사용자나 재택근무자가 회사 내부 네트워크에 접속할 때 사용됩니다.

사이트 간(Site-to-Site) VPN은 두 개 이상의 거점 네트워크를 상시 연결하는 방식으로, 지사 간 연결에 주로 활용됩니다.

IPSec VPN 동작원리 – 네트워크 계층의 강력한 암호화

사진 출처 (aws-hyoh)

IPSec VPN 동작원리는 OSI 모델의 네트워크 계층(Layer 3)에서 작동하는 방식에서 출발합니다.

IPSec은 인터넷 프로토콜(IP) 통신 자체를 암호화·인증하는 프로토콜 세트로, 기업 간 네트워크 연결이나 사이트 투 사이트 VPN에 널리 사용됩니다.

VPN 원리 중에서도 가장 오랜 역사를 지닌 방식으로, 수십 년간 기술 발전 속에서도 주요 보안 표준으로 자리를 지켜왔습니다.

IPSec이 VPN 터널을 형성하기 위해 가장 먼저 실행하는 것은 IKE(Internet Key Exchange) 협상입니다.

IKE는 두 장치 사이에서 암호화 알고리즘, 인증 방법, 보안 연결(SA, Security Association) 매개변수를 협의하고 암호화 키를 교환합니다.

이 과정은 두 스파이가 서로 암호책을 맞추는 것과 같습니다. 키가 일치해야만 이후의 통신이 보호된 상태에서 진행됩니다.

두 가지 프로토콜 헤더의 차이 

IKE 협상이 끝나면 데이터 전송 단계에서 AH와 ESP라는 두 가지 프로토콜 헤더가 동작합니다.

AH(Authentication Header)는 데이터 무결성과 발신자 인증을 담당하지만 암호화 기능은 없습니다.

ESP(Encapsulating Security Payload)는 AH의 인증 기능에 더해 데이터 암호화까지 수행합니다.

실제 IPSec VPN 환경에서는 대부분 ESP 헤더가 적용되며, DES·3DES·AES 등의 암호화 알고리즘과 함께 작동합니다.

IPSec은 패킷 처리 방식에 따른 모드 

IPSec은 패킷 처리 방식에 따라 터널 모드와 전송 모드 두 가지로 나뉩니다.

터널 모드는 IP 패킷 전체를 암호화하고 새로운 IP 헤더를 씌우는 방식으로, 두 게이트웨이 간 연결에 주로 사용됩니다.

전송 모드는 IP 헤더를 제외한 페이로드 부분만 암호화하며, 호스트 간 종단 대 종단 연결에 활용됩니다.

터널 모드가 보안성이 더 높지만 패킷 처리 부하가 크다는 트레이드오프가 있습니다.

IPSec VPN의 단점은 방화벽과 NAT 환경에서 연결이 어렵다는 점입니다.

IPSec은 UDP 500번 포트, NAT-T(NAT Traversal) 환경에서는 UDP 4500번 포트를 사용합니다. 

기업 방화벽이 이 포트를 차단하면 터널 자체가 형성되지 않습니다.

이 문제를 보완하기 위해 등장한 것이 SSL VPN입니다.

SSL VPN 동작원리 – 브라우저 기반의 유연한 접근

사진 출처 (aws-hyoh)

SSL VPN 동작원리는 HTTPS 웹 통신에 사용되는 TLS(Transport Layer Security) 프로토콜을 VPN에 적용한 구조입니다.

SSL은 1999년 TLS로 대체됐지만 ‘SSL VPN’이라는 명칭은 업계에서 여전히 통용되고 있습니다.

OSI 모델의 전송 계층과 애플리케이션 계층 사이에서 작동하며, HTTPS의 기본 포트인 TCP 443번을 활용합니다.

TCP 443번 포트를 사용한다는 것은 결정적인 장점입니다.

대부분의 방화벽과 NAT 환경은 HTTPS 트래픽을 차단하지 않기 때문에, SSL VPN은 별도의 포트 개방 없이 연결이 가능합니다.

공공 와이파이, 호텔 네트워크, 기업 방화벽 안에서도 자유롭게 접속할 수 있습니다.

SSL VPN의 연결의 흐름 

SSL VPN의 연결 흐름은 다음과 같습니다.

사용자가 웹 브라우저를 열고 VPN 게이트웨이의 로그인 페이지에 접속합니다.

사용자 이름, 비밀번호, OTP 등 인증 수단으로 신원이 확인되면 TLS 기반 암호화 세션이 수립됩니다.

이후 사용자는 정책에 따라 허용된 내부 리소스에 안전하게 접근하게 됩니다.

SSL VPN의 두 가지 모드 

SSL VPN은 접근 방식에 따라 포털 모드와 터널 모드로 나뉩니다. 

포털 모드(Clientless, 에이전트리스)는 별도 소프트웨어 설치 없이 브라우저만으로 특정 웹 애플리케이션에 접근하는 방식입니다.

터널 모드는 전용 클라이언트 소프트웨어를 설치해 전체 네트워크 트래픽을 암호화 터널로 통과시키는 방식으로, IPSec에 준하는 전면적 접근이 가능합니다.

SSL VPN은 브라우저가 자동으로 최신 TLS 버전을 사용하기 때문에 사용자가 암호화 프로토콜을 별도로 관리할 필요가 없습니다.

운영 체제나 브라우저가 업데이트될 때 암호화 표준도 함께 갱신됩니다.

이 자동 업데이트 구조는 관리 오버헤드를 줄이고 보안 취약점 노출을 낮춥니다.

IPSec VPN vs SSL VPN – 핵심 차이점 비교

사진 출처 (instagram)

IPSec과 SSL VPN은 모두 VPN 원리를 기반으로 암호화 터널을 만들지만, 설계 철학과 사용 환경이 다릅니다.

아래 비교를 통해 어떤 상황에 어느 방식이 적합한지 정리합니다.

OSI 계층 위치가 다릅니다.

IPSec은 네트워크 계층(Layer 3)에서 작동해 IP 트래픽 전체를 보호하는 반면, SSL VPN은 전송·애플리케이션 계층에서 동작해 특정 세션과 애플리케이션에 집중합니다.

방화벽·NAT 통과 능력이 다릅니다.

IPSec은 전용 포트를 사용해 차단될 위험이 있고, SSL VPN은 HTTPS 포트를 사용해 대부분의 환경에서 제한 없이 통과합니다.

클라이언트 설치 여부에도 차이가 있습니다.

IPSec VPN은 전용 클라이언트 소프트웨어 설치가 필수이며, SSL VPN의 포털 모드는 브라우저만으로 접근이 가능합니다.

인증 방식도 다릅니다.

사진 출처 (networkwoker)

IPSec은 클라이언트와 서버 설정 시 공유 키를 배포하는 방식을 사용하고, SSL VPN은 신뢰할 수 있는 CA(인증 기관)가 발급한 인증서를 활용합니다.

접근 범위에서도 차이가 납니다.

IPSec은 사이트 간 전체 네트워크 연결에 적합하고, SSL VPN은 원격 사용자가 필요한 리소스에만 선택적으로 접근하는 제로 트러스트 환경에 유리합니다.

두 방식 중 어느 것이 낫다고 단정하기는 어렵습니다.

거점 간 상시 연결이나 네트워크 전체 암호화가 필요하다면 IPSec이 적합하고, 원격 근무자의 유연한 접속이나 방화벽 통과가 중요하다면 SSL VPN이 더 실용적인 선택입니다.

글을 마치며 

영상 출처 (SharedIT2014)

VPN 원리는 결국 터널링과 암호화라는 두 기둥 위에 서 있습니다.

IPSec과 SSL VPN은 그 기둥을 어느 계층에서, 어떤 방식으로 세우느냐의 차이입니다.

어떤 VPN 방식을 선택하든 자신의 네트워크 환경과 보안 요구사항을 먼저 파악하는 것이 출발점입니다.

이 글이 VPN 구조를 처음 공부하는 분이나 기업 네트워크 설계를 검토하는 분께 실질적인 참고 자료가 되기를 바랍니다.