OpenWrt VPN 라우터 설정법｜집 전체 트래픽 분할 구성

OpenWrt VPN 게이트웨이의 기본 구조 이해

일반적인 가정용 네트워크에서는 통신사 장비나 인터넷 회선에 연결된 라우터가 기본 게이트웨이 역할을 합니다. 스마트폰, PC, TV는 이 게이트웨이에 패킷을 전달하고, 라우터는 목적지에 따라 인터넷으로 내보냅니다. OpenWrt 라우터에 VPN 클라이언트를 추가하면 라우터 안에 별도의 가상 인터페이스가 생기며, 정책에 맞는 패킷을 일반 WAN이 아니라 이 인터페이스로 보낼 수 있습니다.

OpenWrt에서 자주 사용하는 구성 방식은 WireGuard 또는 OpenVPN 기반 클라이언트입니다. 서비스가 Shadowsocks, VMess, Trojan, Hysteria2와 같은 프록시 프로토콜을 제공하는 경우에는 해당 프로토콜을 지원하는 OpenWrt 패키지나 별도 호환 프로그램이 필요합니다. 프로토콜을 지원한다는 문구만 보고 설정 파일을 그대로 넣어서는 안 됩니다. VPN 인터페이스용 설정과 로컬 프록시용 설정은 라우팅 방식과 방화벽 연동 방법이 다를 수 있기 때문입니다.

구조를 단순화하면 다음과 같습니다. LAN에 연결된 기기가 DNS 질의를 보내고, 라우터가 목적지를 확인한 뒤 정책을 적용합니다. 직접 연결 규칙에 해당하면 WAN으로 전송하고, 우회 규칙에 해당하면 VPN 인터페이스로 전송합니다. VPN 인터페이스가 다운되었을 때 우회 대상 트래픽도 WAN으로 자동 전환할지, 아니면 연결을 차단할지는 별도로 결정해야 합니다. 전자는 연결성이 좋아지지만 의도하지 않은 직접 연결이 발생할 수 있고, 후자는 정책을 엄격하게 유지하지만 VPN 장애 시 해당 기기의 통신이 멈춥니다.

분할 구성의 세 가지 기준

• ✅ 기기 기준: TV, 게임 콘솔, 테스트용 PC처럼 특정 장비 전체를 같은 경로로 보냅니다.
• ✅ 목적지 기준: 특정 도메인, IP 대역 또는 서비스만 VPN 인터페이스로 보냅니다.
• ✅ 포트·프로토콜 기준: 웹, DNS, 스트리밍 앱 등 필요한 유형을 구분합니다.
• ❌ 세 기준을 설명 없이 한꺼번에 섞지 마세요. 우선순위가 겹치면 예상과 다른 경로가 선택될 수 있습니다.

초보자에게는 기기 기준 분할이 가장 확인하기 쉽습니다. 라우터의 DHCP 임대 목록에서 대상 기기의 주소를 확인하고, 해당 주소를 정책 그룹에 넣으면 됩니다. 단, 기기가 주소를 자주 바꾸면 규칙이 더 이상 적용되지 않을 수 있으므로 DHCP 예약이나 고정 임대 기능을 사용하는 편이 안전합니다.

설정 전에 준비해야 할 항목

먼저 현재 라우터의 관리 주소, 관리자 계정, 인터넷 회선 방식, LAN 대역을 기록해 두세요. 기존 라우터를 OpenWrt로 교체하는 경우에는 인터넷 회선이 DHCP인지, PPPoE 인증이 필요한지, 상위 장비가 이미 라우터 역할을 하는지 확인해야 합니다. 상위 장비와 OpenWrt가 동시에 NAT를 수행하는 이중 NAT 환경에서도 인터넷은 작동할 수 있지만, 포트 개방이나 일부 장치 검색 기능은 복잡해질 수 있습니다.

VPN 설정 파일은 서비스의 공식 사용자 패널이나 공식 안내에서 가져와야 합니다. WireGuard라면 개인 키, 주소, 피어 공개 키, 엔드포인트와 허용 IP가 필요할 수 있습니다. OpenVPN이라면 인증서, 키, 서버 주소, 암호화 옵션이 포함된 프로파일을 사용합니다. 원본 구독 링크를 제3자 변환 사이트에 입력하면 인증 정보가 외부로 전달될 수 있으므로, 라우터가 직접 가져올 수 있는 형식인지 먼저 확인하세요. 호환되지 않는 형식은 공식 도움말의 변환 절차를 따르고, 변환 후 생성된 설정도 직접 검토해야 합니다.

관리 화면에 접근할 수 없게 되는 상황에 대비해 유선 LAN 기기 하나를 준비하는 것도 좋습니다. 무선 설정이나 방화벽을 잘못 변경하면 Wi-Fi로 복구하기 어려울 수 있습니다. 설정을 크게 바꾸기 전에는 OpenWrt의 백업 기능으로 현재 설정을 저장하고, 변경한 항목을 메모해 두세요. 복구 파일에는 민감한 인증 정보가 포함될 수 있으므로 공개 저장소나 단체 채팅에 올리면 안 됩니다.

OpenWrt에서 VPN과 분할 라우팅 설정하기

아래 순서는 특정 OpenWrt 버전이나 패키지 화면의 이름이 조금 달라도 적용할 수 있는 일반적인 작업 흐름입니다. 메뉴 이름은 설치한 VPN 관리 도구에 따라 달라질 수 있으므로, 화면의 항목을 무리하게 그대로 복사하기보다 WAN, VPN 인터페이스, 방화벽 영역, 정책 규칙의 관계를 확인하면서 진행하세요.

1. 현재 인터넷부터 확인합니다. OpenWrt 관리 화면에서 WAN이 온라인인지 확인하고, 연결된 PC에서 일반 웹사이트와 라우터 관리 화면이 정상적으로 열리는지 테스트합니다. VPN을 추가하기 전에 기본 인터넷이 정상이어야 이후의 오류를 구분할 수 있습니다.
2. VPN 프로파일을 가져옵니다. 서비스가 제공하는 WireGuard 또는 OpenVPN 설정을 사용합니다. 서버 주소, 키와 인증서, 허용 IP, 자동 연결 옵션을 확인하고, 개인 키와 구독 토큰이 로그에 노출되지 않도록 주의합니다.
3. VPN 인터페이스를 별도 영역에 연결합니다. VPN 인터페이스를 WAN과 같은 영역에 무작정 넣기보다, 해당 인터페이스에서 LAN으로 돌아오는 트래픽과 DNS 요청을 어떻게 처리할지 방화벽 규칙을 확인합니다. 필요한 포워딩이 없으면 연결 상태는 정상이어도 LAN 기기가 인터넷에 접근하지 못할 수 있습니다.
4. 정책 그룹을 만듭니다. 처음에는 대상 기기 하나만 선택해 VPN 그룹에 넣고, 나머지는 WAN으로 남겨 두는 방식이 좋습니다. 기기 이름만 믿지 말고 DHCP 임대 목록의 MAC 주소와 주소를 대조하세요.
5. 라우팅 우선순위를 정합니다. 특정 기기 규칙, 목적지 규칙, 기본 WAN 규칙이 충돌할 때 어떤 규칙이 먼저 적용되는지 확인합니다. 예외로 직접 연결할 기기가 있다면 우회 그룹보다 명확한 우선순위를 부여해야 합니다.
6. DNS 처리 방식을 맞춥니다. VPN으로 보낼 기기의 DNS 요청도 같은 정책을 적용할지 결정합니다. 라우터가 DNS를 중계하더라도 기기나 브라우저가 자체 DNS를 사용하면 결과가 달라질 수 있습니다. IPv4만 설정하고 IPv6를 그대로 두면 일부 요청이 다른 경로로 나갈 수 있으므로 IPv6 사용 여부도 함께 점검하세요.
7. 변경 사항을 저장한 뒤 한 기기씩 테스트합니다. 모든 기기를 한꺼번에 재연결하지 말고 대상 기기의 Wi-Fi를 껐다가 다시 연결합니다. 먼저 웹 접속을 확인하고, 그다음 DNS 조회와 필요한 앱의 연결을 확인해야 어느 단계에서 문제가 생겼는지 알 수 있습니다.

라우터에서 정책 기반 라우팅을 직접 구성할 때는 기본 경로를 무리하게 삭제하지 않는 것이 중요합니다. VPN 서버가 연결되기 전부터 기본 경로를 VPN으로 강제하면 핸드셰이크 패킷이 터널 안으로 되돌아가 연결이 성립하지 않는 순환 경로가 생길 수 있습니다. VPN 엔드포인트 자체는 WAN으로 접근하고, 터널이 성립한 뒤 대상 트래픽만 VPN으로 보내는 구성이 일반적으로 안정적입니다.

도메인 기반 분할은 편리하지만 IP가 바뀌는 서비스에서는 관리가 필요합니다. 하나의 서비스가 여러 도메인과 콘텐츠 전송 주소를 사용하면 대표 도메인 하나만 등록했을 때 일부 요청이 직접 연결될 수 있습니다. 반대로 너무 넓은 IP 대역을 우회 대상으로 지정하면 관계없는 서비스까지 VPN을 사용하게 됩니다. 처음에는 기기 기준으로 작동을 확인한 다음, 필요한 경우 목적지 기준으로 좁혀 가는 순서가 좋습니다.

분할 라우팅이 제대로 적용됐는지 확인하는 방법

검증은 VPN 인터페이스가 “연결됨”으로 표시되는지 보는 것에서 끝나지 않습니다. VPN을 사용하지 않는 기기와 사용하는 기기를 구분하고, 동일한 조건에서 외부 출구 주소와 DNS 응답을 비교해야 합니다. 먼저 대상 기기에서 VPN을 적용하지 않은 상태의 결과를 기록한 뒤, 정책을 활성화하고 같은 검사 페이지를 다시 여세요. 이 사이트의 네트워크 검사 페이지를 활용하면 출구 주소와 네트워크 소속을 비교하는 데 도움이 됩니다.

대상 기기의 외부 주소가 바뀌고 일반 기기의 주소는 유지된다면 기기 기준 분할이 어느 정도 적용된 것입니다. 그러나 주소가 바뀌었다는 사실만으로 모든 앱이 같은 경로를 사용한다고 단정해서는 안 됩니다. 브라우저의 보안 DNS, 앱 내부 프록시, IPv6 연결, 캐시가 별도의 경로를 사용할 수 있기 때문입니다. 브라우저뿐 아니라 실제로 사용할 앱에서도 로그인, 파일 요청, 미디어 재생 등 핵심 기능을 확인하세요.

• ✅ VPN 대상 기기와 비대상 기기의 출구 주소를 각각 비교합니다.
• ✅ 라우터 재부팅 후에도 DHCP 예약과 정책 그룹이 유지되는지 확인합니다.
• ✅ VPN 인터페이스를 잠시 중지했을 때 대상 트래픽이 차단되는지 또는 WAN으로 전환되는지 확인합니다.
• ✅ IPv4와 IPv6가 모두 활성화된 환경에서는 두 경로를 별도로 점검합니다.
• ❌ 라우터 화면의 연결 상태만 보고 TV나 스마트폰의 모든 앱이 적용됐다고 판단하지 않습니다.

연결 오류와 복구 절차

가장 흔한 오류는 VPN 인터페이스는 올라오지만 LAN 기기가 인터넷을 사용하지 못하는 경우입니다. 이때는 먼저 VPN 서버와 라우터 사이의 핸드셰이크가 실제로 성립했는지 확인하고, 다음으로 VPN 영역의 방화벽 포워딩과 NAT 설정을 살펴보세요. 인증서나 키가 틀렸다면 연결 로그에 인증 실패가 나타날 수 있고, 엔드포인트에 접근할 수 없다면 시간 설정, DNS, WAN 상태를 확인해야 합니다.

인터넷은 되지만 원하는 기기만 우회되지 않는다면 DHCP 주소가 바뀌었거나 정책 그룹에 잘못된 MAC 주소가 등록되었을 가능성이 큽니다. 대상 기기를 라우터에서 삭제한 뒤 다시 연결하고, 현재 임대 주소와 정책 목록을 비교하세요. 공유기와 메시 네트워크 장비를 함께 사용하는 경우에는 기기가 실제로 OpenWrt의 LAN에 붙어 있는지도 확인해야 합니다. 상위 장비의 게스트 네트워크에 연결된 기기는 OpenWrt의 정책을 거치지 않을 수 있습니다.

DNS 문제는 사이트 일부만 열리지 않거나 앱 로그인 서버를 찾지 못하는 형태로 나타납니다. 라우터의 DNS 포워더 설정, 기기의 수동 DNS, 브라우저의 보안 DNS를 순서대로 확인하세요. 특정 도메인만 실패하면 도메인 기반 규칙이나 DNS 재작성 항목을 검토하고, 전체 DNS가 실패하면 라우터가 외부 DNS에 접근할 수 있는지부터 확인해야 합니다.

1. 대상 기기를 정책 그룹에서 잠시 제외해 일반 WAN 연결을 복원합니다.
2. VPN 인터페이스를 중지하고 WAN에서 기본 인터넷이 작동하는지 확인합니다.
3. VPN 프로파일의 서버 주소, 키, 인증서와 시간 설정을 다시 확인합니다.
4. 방화벽 영역과 LAN에서 VPN으로의 포워딩을 점검합니다.
5. DNS와 IPv6를 확인한 뒤, 한 기기만 다시 정책 그룹에 추가합니다.
6. 정상 작동이 확인되면 설정을 백업하고 다른 기기를 순서대로 추가합니다.

복구가 되지 않으면 저장해 둔 설정 백업을 사용하되, 문제가 발생하기 직전의 변경 사항을 먼저 파악하세요. 전체 초기화는 마지막 수단으로 남겨 두는 편이 좋습니다. 초기화하면 인터넷 회선 정보와 무선 설정까지 다시 입력해야 하며, 백업 파일을 그대로 복원하면 잘못된 방화벽 규칙도 되살아날 수 있습니다. 관리 화면에 접근할 수 없는 경우에는 유선 연결과 OpenWrt의 안전 모드 복구 방법을 공식 문서에서 확인한 뒤 진행하세요. 명령어를 복사하기 전에 대상 인터페이스와 장치 이름이 현재 환경과 일치하는지도 확인해야 합니다.

OpenWrt VPN 라우터 설정 FAQ