Построение защищённых каналов связи между офисами с использованием DMVPN

31 March 2026

Введение

Сетевая инфраструктура предприятий и организаций неизбежно растет и покидает пределы одного здания, развиваясь в различных территориально распределенных филиалах. Обеспечение стабильного и безопасного канала связи между офисами компании является рядовой задачей сетевого инженера.

Приведенная схема представляет решение по организации защищенных каналов связи между центральным и дочерними филиалами компании, обеспечивающее помимо безопасности удобство администрирования и масштабирования.

Примечания и предупреждения

Подсказки содержат небольшие пояснения, помогающие быстрее освоить работу с оборудованием, или дополнительную информацию.

Примечания содержат важную информацию о настройке оборудования.

Предупреждения информируют пользователя о ситуациях, которые могут нанести вред, привести к некорректной работе системы или потере данных.

Глоссарий

AES (Advanced Encryption Standard) — симметричный алгоритм блочного шифрования.
ARP (Address Resolution Protocol) — протокол, используемый для сопоставления адресов сетевого уровня адресам канального уровня в сетях множественного доступа.
ARP Proxy — механизм использования протокола ARP, при котором хост отвечает на ARP-запросы для IP-адреса, не назначенного на его сетевой интерфейс.
BFD (Bidirectional Forwarding Detection) — протокол, предназначенный для быстрого детектирования связности между двумя маршрутизаторами.
BGP (Border Gateway Protocol) — протокол маршрутизации, используемый для обмена информацией о маршрутах между автономными системами.
DHCP (Dynamic Host Configuration Protocol) — протокол динамической настройки сетевого узла.
DMVPN (Dynamic Multipoint Virtual Private Network) — технология развертывания виртуальных частных сетей в схеме «точка-многоточка».
DMVPN Hub — роль устройства в облаке DMVPN, центральное устройство в схеме «точка-многоточка», обладающее информацией о всех членах облака DMVPN и позволяющее перенаправлять трафик, а также связывать напрямую временными туннелями любого члена облака DMVPN.
DMVPN Spoke — роль устройства в облаке DMVPN, после подключения к DMVPN Hub позволяет через него перенаправить трафик другим DMVPN Spoke, а также установить временный туннель до другого DMVPN Spoke.
DMZ (Demilitarized Zone) — сегмент сети, содержащий в себе публично доступные корпоративные сервисы.
DPD (Dead Peer Detection) — механизм обнаружения неактивного соседа в контексте IPsec-туннелирования.
ESP (Encapsulating Security Payload) — протокол, используемый в технологии IPsec для обеспечения конфиденциальности передаваемых данных, путем шифрования содержимого передаваемого IP-пакета.
FIB (Forwarding Information Base) — оптимизированная таблица маршрутизации, используемая для пересылки IP-пакетов.
Front-Door VRF — схема подключения, в которой транспортная сеть для некой виртуальной сети выносится в отдельное сетевое пространство имен.
GRE (Generic Routing Encapsulation) — протокол туннелирования IP-пакетов.
ICMP (Internet Control Message Protocol) — протокол передачи сообщений об ошибках и управляющей информации в сетях TCP/IP.
IKE (Internet Key Exchange) — протокол управления ключами, используемый для создания и обслуживания IPsec-туннелей.
IMIX (Internet mix) — шаблон типового трафика сети Интернет, проходящий через сетевое оборудование. Термин используется при описании результатов нагрузочного тестирования сетевого оборудования.
IPsec (IP security) — технология, реализующая через набор протоколов возможность обеспечения конфиденциальности, целостности и доступности данных, отправляемых по сетям общего пользования.
LACP (Link Aggregation Control Protocol) — стандартный протокол агрегирования каналов.
LAG (Link Aggregation Group) — группа агрегированных каналов.
MD5 (Message Digest 5) — 128-битный алгоритм хеширования.
MOBIKE — расширение протокола IKE версии 2, позволяющее использовать установленный IPsec-туннель в случае смены IP-адресации у одной из сторон IPsec-туннеля.
MTU (Maximum Transmission Unit) — максимальный размер пакета данных, который может быть передан по сети без фрагментации.
NAT (Network Address Translation) — механизм в сетях TCP/IP, позволяющий изменять поля в заголовке пакета, проходящего через маршрутизатор. В данном руководстве упоминаются: Source NAT — преобразование в заголовках пересылаемых IP-пакетов данных об отправителе пакета; Destination NAT — преобразование в заголовках пересылаемых IP-пакетов данных о получателе пакета; и Static NAT — преобразование одного IP-адреса в другой один к одному без изменения прочих заголовков.
NAT-OA (NAT Original Address) — IP-адрес отправителя пакета до совершения Source-NAT преобразования, используется в протоколах.
NBMA (Non-Broadcast Multiple Access network) — cеть, в которую подключено несколько устройств, данные между которыми передаются только напрямую с одного устройства на другое. Возможность отправки широковещательной рассылки, которую получат все устройства, при этом отсутствует.
NHRP (Next Hop Resolution Protocol) — клиент-серверный протокол преобразования адресов, позволяющий всем хостам, которые находятся в NBMA-сети, динамически выучить NBMA-адреса (физические адреса) друг друга.
PFS (Perfect forward secrecy) — механизм, который вызывает новый обмен ключами Диффи-Хеллмана каждый раз, когда переустанавливается дочерняя ассоциация безопасности IPsec-туннеля.
PPPoE (Point-to-Point Protocol over Ethernet) — сетевой протокол канального уровня для передачи кадров протокола PPP через сети Ethernet, часто используемый интернет-провайдерами как механизм предоставления доступа абонентам в сеть Интернет.
RIB (Routing Information Base) — таблица маршрутизации, содержащая в себе всю маршрутную информацию, получаемую из различных источников.
SFP (Small Form-factor Pluggable) — промышленный стандарт модульных компактных приемопередатчиков (трансиверов), используемых для передачи и приема данных в телекоммуникационном оборудовании.
SHA2 (Secure Hash Algorithm Version 2) — семейство криптографических алгоритмов, однонаправленных хеш-функций.
SLA (Service Level Agreement) — технология измерения активных компьютерных сетей путем тестирования качественных и количественных характеристик каналов связи в сети передачи данных стека TCP/IP.
TCP Adjust-MSS — механизм, позволяющий установить максимальный размер сегмента в TCP-сессии, чтобы предотвратить фрагментацию TCP-пакетов, передаваемых через канал связи с заниженным MTU.
TTL (Time To Live) — максимальное количество маршрутизаторов, через которое IP-пакет может пройти, прежде чем он будет отброшен.
VLAN (Virtual Local Area Network) — виртуальная локальная компьютерная сеть.
VPN (Virtual Private Network) — технология, позволяющая создать безопасное, зашифрованное соединение между двумя хостами в сети.
VRF (Virtual Routing and Forwarding) — технология, позволяющая разграничить на одном сетевом устройстве несколько пространств сетевых имен со своей адресацией и таблицей маршрутизации.

Постановка задачи

Цель документа

Целью данного документа является демонстрация построения защищенных каналов связи между центральным и дочерними офисами компании с использованием оборудования компании Eltex и практик использования этого оборудования.

Целевая аудитория

Данный документ будет полезен для инженеров, решающих задачи организации каналов связи между географически разнесенными офисами компаний.

Предлагаемая схема сети

Предлагаемое решение представляет построение оверлейной сети поверх сети интернет-провайдеров с использованием технологии DMVPN, реализованной на сервисных маршрутизаторах ESR.

Рисунок 1. Общая схема развертывания облаков DMVPN для обеспечения безопасного канала связи между офисами

Преимущества решения

Предлагаемое решение подразумевает ряд преимуществ. Технология IPsec реализует шифрование канала связи, что обеспечивает безопасную передачу данных между офисами. Использование GRE-туннелирования реализует поддержку multicast- и broadcast-трафика в каналах связи между филиалами, что позволяет использовать всю широту сетевых протоколов, работающих в корпоративных сетях. Протокол NHRP, лежащий в основе технологии DMVPN, позволит минимизировать конфигурацию на маршрутизаторах в головном офисе, а также строить временные туннели между дочерними офисами, что уменьшит нагрузку на маршрутизаторы в головном офисе и уменьшит задержки в канале связи при коммуникации между офисами.

Возможные продуктовые решения

Сервисные маршрутизаторы ESR в роли DMVPN Hub в центральном офисе

Маршрутизаторы, которые планируется использовать в качестве DMVPN Hub, должны иметь большой размер таблицы FIB, а также обеспечивать терминацию большого количества IPsec-туннелей. Рекомендуемые модели маршрутизаторов ESR на роль DMVPN Hub представлены в таблице 1.

Таблица 1. Рекомендованные модели маршрутизаторов ESR на роль DMVPN Hub

Модель	Интерфейсы	Размер таблицы FIB	Производительность IPsec (IMIX)	Количество поддерживаемых DMVPN Spoke
ESR-1700	4 × 1G Combo, 8 × 10G SFP+	1,7M	7 Гбит/с; 1308,1k пакетов/c	750
ESR-3300	4 × 25G SFP28, 4 × 100G QSFP28	1,7M	1,4 Гбит/с; 258,5k пакетов/с	750
ESR-3200	12 × 25G SFP28	1,7M	3,6 Гбит/с; 686,8k пакетов/с	650
ESR-3200L	8 × 10G SFP+, 4 × 25G SFP28	1,7M	1,88 Гбит/с; 353k пакетов/с	720
ESR-3250	8 × 1G Combo, 4 × 25G SFP28	1,7M	5,3 Гбит/с; 1004,2k пакетов/с	1710
ESR-3350	8 × 1G Combo, 4 × 25G SFP28	1,7M	14,5 Гбит/с; 2727k пакетов/с	1800

Приведённые показатели ESR актуальны в рамках версии ПО 1.37.0. Актуальные значения показателей приведены в Datasheet.

Сервисные маршрутизаторы ESR в роли DMVPN Spoke в дочерних офисах

К маршрутизаторам в роли DMVPN Spoke требования ниже, поскольку объемы маршрутной информации и количество терминируемых IPsec-туннелей в дочерних офисах существенно ниже, чем в головном офисе. В связи с этим список рекомендованных моделей ESR на роль DMVPN Spoke в основном содержит младшие модели линейки маршрутизаторов ESR и отображен в таблице 2.

Таблица 2. Рекомендованные модели маршрутизаторов ESR на роль DMVPN Spoke

Модель	Интерфейсы	Размер таблицы FIB	Производительность IPsec (IMIX)
ESR-31	8 × 1G, 6 × 1G SFP, 2 × 10G SFP+	1,4M	519,8 Мбит/с; 97,1k пакетов/с
ESR-30	4 × 1G, 2 × 10G SFP+	1,4M	519,8 Мбит/с; 97,1k пакетов/с
ESR-15VF	8 × 1G, 2 × 1G SFP	1M	135,5 Мбит/с; 25,2k пакетов/с
ESR-15R	4 × 1G, 2 × 1G SFP	1M	135,5 Мбит/с; 25,2k пакетов/с
ESR-15	4 × 1G, 2 × 1G SFP	1M	135,5 Мбит/с; 25,2k пакетов/с

Измерения производительности IPsec производились на смешанном трафике Internet MIX. Формат трафика (количество в секунду: размер каждого фрейма) — 8:74; 5:512; 7:1518. При построении IPsec-туннелей использовался алгоритм шифрования AES128 и алгоритм хеширования MD5.

Конфигурация оборудования и проверка работоспособности

Настройка DMVPN Hub в центральном офисе

Стартовая конфигурация оборудования в центральном офисе

В качестве примера инфраструктуры центрального офиса рассмотрим топологию из дизайн-документа «Построение сети большого офиса». В рамках данного дизайн-документа была организована работа офисной сети с выходом локальных пользователей в Интернет через одного из двух доступных интернет-провайдеров. Также на схеме можно заметить сегмент демилитаризованной зоны для размещения сервисов с возможностью их публикации в сети Интернет с использованием технологии Destination или Static NAT.

Рисунок 2. Схема сети центрального офиса из дизайн-документа «Построение сети большого офиса»

Конфигурации оборудования в данной схеме представлены ниже:

RT-GW-1

hostname RT-GW-1

object-group network CUSTOMER_POOL
  description "LAN | CUSTOMER"
  ip prefix 10.100.0.0/24
exit
object-group network ISP_1_PROXY
  description "ISP-1 | ARP PROXY"
  ip address-range 203.0.113.3
exit

security zone UNTRUSTED
  description "ISP-1 | Uplink"
exit
security zone MGMT
  description "MGMT | Management"
exit
security zone CUSTOMER
  description "LAN | CUSTOMER"
exit

interface port-channel 1
exit
interface port-channel 1.250
  description "MGMT | Management link"
  security-zone MGMT
  ip address 10.250.0.1/24
exit
interface port-channel 1.100
  description "LAN | CUSTOMER"
  security-zone CUSTOMER
  ip address 10.100.0.253/24
  vrrp 1
    ip address 10.100.0.1/24
    priority 101
    priority track 1 decrement 10
    group 1
    preempt disable
    enable
  exit
exit
interface gigabitethernet 1/0/1
  description "ISP-1 | Uplink"
  security-zone UNTRUSTED
  ip address 203.0.113.2/25
  ip nat proxy-arp ISP_1_PROXY
exit
interface gigabitethernet 1/0/3
  mode switchport
  channel-group 1 mode auto
  lldp transmit
  lldp receive
exit
interface gigabitethernet 1/0/4
  mode switchport
  channel-group 1 mode auto
  lldp transmit
  lldp receive
exit

security zone-pair MGMT self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit
security zone-pair CUSTOMER self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | VRRP | From ANY | To ANY"
    action permit
    match protocol vrrp
    enable
  exit
exit
security zone-pair CUSTOMER UNTRUSTED
  rule 10
    description "Permit | ANY | From CUSTOMER | To ISP-1"
    action permit
    match source-address object-group network CUSTOMER_POOL
    enable
  exit
exit

nat source
  pool CUSTOMER_PUBLIC_IP
    ip address-range 203.0.113.3
  exit
  ruleset SNAT
    to zone UNTRUSTED
    rule 10
      description "Source | CUSTOMER"
      match source-address object-group network CUSTOMER_POOL
      action source-nat pool CUSTOMER_PUBLIC_IP
      enable
    exit
  exit
exit

ip route 0.0.0.0/0 203.0.113.1 name ISP-1

ip sla
ip sla logging status
ip sla test 1
  description "Check Google Public DNS available"
  icmp-echo 8.8.4.4 source-ip 203.0.113.2 num-packets 5
  enable
exit
ip sla test 2
  description "Check ya.ru available"
  icmp-echo 77.88.44.242 source-ip 203.0.113.2 num-packets 5
  enable
exit
ip sla schedule all life forever start-time now

track 1
  description "Check ISP-1 available"
  track sla test 1 mode state fail
  track sla test 2 mode state fail
  enable
exit

RT-GW-2

hostname RT-GW-2

object-group network CUSTOMER_POOL
  description "LAN | CUSTOMER"
  ip prefix 10.100.0.0/24
exit
object-group network ISP_2_PROXY
  description "ISP-2 | ARP PROXY"
  ip address-range 203.0.113.131
exit

security zone UNTRUSTED
  description "ISP-2 | Uplink"
exit
security zone MGMT
  description "MGMT | Management"
exit
security zone CUSTOMER
  description "LAN | CUSTOMER"
exit

interface port-channel 1
exit
interface port-channel 1.250
  description "MGMT | Management link"
  security-zone MGMT
  ip address 10.250.0.2/24
exit
interface port-channel 1.100
  description "LAN | CUSTOMER"
  security-zone CUSTOMER
  ip address 10.100.0.254/24
  vrrp 1
    ip address 10.100.0.1/24
    priority 100
    group 1
    preempt disable
    enable
  exit
exit
interface gigabitethernet 1/0/1
  description "ISP-2 | Uplink"
  security-zone UNTRUSTED
  ip address 203.0.113.130/25
  ip nat proxy-arp ISP_2_PROXY
exit
interface gigabitethernet 1/0/3
  mode switchport
  channel-group 1 mode auto
  lldp transmit
  lldp receive
exit
interface gigabitethernet 1/0/4
  mode switchport
  channel-group 1 mode auto
  lldp transmit
  lldp receive
exit

security zone-pair MGMT self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit
security zone-pair CUSTOMER self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | VRRP | From ANY | To ANY"
    action permit
    match protocol vrrp
    enable
  exit
exit
security zone-pair CUSTOMER UNTRUSTED
  rule 10
    description "Permit | ANY | From CUSTOMER | To ISP-1"
    action permit
    match source-address object-group network CUSTOMER_POOL
    enable
  exit
exit

nat source
  pool CUSTOMER_PUBLIC_IP
    ip address-range 203.0.113.131
  exit
  ruleset SNAT
    to zone UNTRUSTED
    rule 10
      description "Source | CUSTOMER"
      match source-address object-group network CUSTOMER_POOL
      action source-nat pool CUSTOMER_PUBLIC_IP
      enable
    exit
  exit
exit

ip route 0.0.0.0/0 203.0.113.129 name ISP-2

SW-CORE-1

hostname SW-CORE-1
!
vlan database
 vlan 100,250
exit
!
vpc domain 1
 peer detection
 peer detection ipaddr 1.1.1.2 1.1.1.1
 peer keepalive
 role priority 1
 peer link port-channel 1
exit
!
vpc
!
vpc group 2
 domain 1
 vpc-port port-channel 2
exit
!
vpc group 3
 domain 1
 vpc-port port-channel 3
exit
!
vpc group 4
 domain 1
 vpc-port port-channel 4
exit
!
vpc group 5
 domain 1
 vpc-port port-channel 5
exit
!
vpc group 6
 domain 1
 vpc-port port-channel 6
exit
!
vpc group 7
 domain 1
 vpc-port port-channel 7
exit
!
!
interface TenGigabitEthernet1/0/1
 ip address 1.1.1.1 255.255.255.252
exit
!
interface TenGigabitEthernet1/0/2
 channel-group 1 mode auto
exit
!
interface TenGigabitEthernet1/0/3
 channel-group 1 mode auto
exit
!
interface TenGigabitEthernet1/0/4
 channel-group 2 mode auto
exit
!
interface TenGigabitEthernet1/0/5
 channel-group 3 mode auto
exit
!
interface TenGigabitEthernet1/0/6
 channel-group 4 mode auto
exit
!
interface TenGigabitEthernet1/0/7
 channel-group 5 mode auto
exit
!
interface TenGigabitEthernet1/0/8
 channel-group 6 mode auto
exit
!
interface TenGigabitEthernet1/0/9
 channel-group 7 mode auto
exit
!
interface range Port-Channel1
 switchport mode general
 switchport general allowed vlan add 100,250 tagged
exit
!
interface range Port-Channel2-5
 switchport mode general
 switchport general allowed vlan add 100,250 tagged
exit
!
interface range Port-Channel6-7
 switchport mode general
 switchport general allowed vlan add 250 tagged
exit
!
interface vlan 100
 name Internet
exit
!
interface vlan 250
 name Management
 ip address 10.250.0.10 255.255.255.0
exit
!
!
end

SW-CORE-2

hostname SW-CORE-2
!
vlan database
 vlan 100,250
exit
!
vpc domain 1
 peer detection
 peer detection ipaddr 1.1.1.1 1.1.1.2
 peer keepalive
 role priority 1
 peer link port-channel 1
exit
!
vpc
!
vpc group 2
 domain 1
 vpc-port port-channel 2
exit
!
vpc group 3
 domain 1
 vpc-port port-channel 3
exit
!
vpc group 4
 domain 1
 vpc-port port-channel 4
exit
!
vpc group 5
 domain 1
 vpc-port port-channel 5
exit
!
vpc group 6
 domain 1
 vpc-port port-channel 6
exit
!
vpc group 7
 domain 1
 vpc-port port-channel 7
exit
!
!
interface TenGigabitEthernet1/0/1
 ip address 1.1.1.2 255.255.255.252
exit
!
interface TenGigabitEthernet1/0/2
 channel-group 1 mode auto
exit
!
interface TenGigabitEthernet1/0/3
 channel-group 1 mode auto
exit
!
interface TenGigabitEthernet1/0/4
 channel-group 2 mode auto
exit
!
interface TenGigabitEthernet1/0/5
 channel-group 3 mode auto
exit
!
interface TenGigabitEthernet1/0/6
 channel-group 4 mode auto
exit
!
interface TenGigabitEthernet1/0/7
 channel-group 5 mode auto
exit
!
interface TenGigabitEthernet1/0/8
 channel-group 6 mode auto
exit
!
interface TenGigabitEthernet1/0/9
 channel-group 7 mode auto
exit
!
interface range Port-Channel1
 switchport mode general
 switchport general allowed vlan add 100,250 tagged
exit
!
interface range Port-Channel2-5
 switchport mode general
 switchport general allowed vlan add 100,250 tagged
exit
!
interface range Port-Channel6-7
 switchport mode general
 switchport general allowed vlan add 250 tagged
exit
!
interface vlan 100
 name Internet
exit
!
interface vlan 250
 name Management
 ip address 10.250.0.11 255.255.255.0
exit
!
!
end

SW-AGGR (Unit 1)

stack configuration unit-id 1
!
stack configuration links te1-2
!
stack nsf

Перед базовой конфигурацией коммутаторов уровня агрегации (в рассматриваемой схеме) необходимо настроить стекирование.

После конфигурации cтековых настроек устройства необходимо перезагрузить, чтобы настройки применились. Перезагрузку лучше начать с юнита 1.

SW-AGGR (Unit 2)

stack configuration unit-id 2
!
stack configuration links te1-2
!
stack nsf

SW-AGGR (Config)

hostname SW-AGGR
!
vlan database
 vlan 100,250
exit
!
interface GigabitEthernet1/0/1
 channel-group 1 mode auto
exit
!
interface GigabitEthernet1/0/2
 channel-group 2 mode auto
exit
!
interface GigabitEthernet1/0/3
 channel-group 3 mode auto
exit                                                 
!
interface GigabitEthernet1/0/4
 channel-group 4 mode auto
exit
!
interface GigabitEthernet2/0/1
 channel-group 1 mode auto
exit
!
interface GigabitEthernet2/0/2
 channel-group 2 mode auto
exit
!
interface GigabitEthernet2/0/3
 channel-group 3 mode auto
exit
!
interface GigabitEthernet2/0/4
 channel-group 4 mode auto
exit
!
interface range Port-Channel1-4                              
 switchport mode general
 switchport general allowed vlan add 100,250 tagged
 switchport forbidden default-vlan
exit                                          
!
interface vlan 100
 name Internet
exit
!
interface vlan 250
 name Management
 ip address 10.250.0.20 255.255.255.0
exit
!
!
end

SW-DMZ (Unit 1)

stack configuration unit-id 1
!
stack configuration links te1-2
!
stack nsf

Перед базовой конфигурацией коммутаторов DMZ-семента (в рассматриваемой схеме) необходимо настроить стекирование.

SW-DMZ (Unit 2)

stack configuration unit-id 2
!
stack configuration links te1-2
!
stack nsf

SW-DMZ (Config)

hostname SW-DMZ
!
vlan database
 vlan 250
exit
!
interface GigabitEthernet1/0/1
 channel-group 1 mode auto
exit
!
interface GigabitEthernet1/0/2
 channel-group 2 mode auto
exit
!
interface GigabitEthernet2/0/1
 channel-group 1 mode auto
exit
!
interface GigabitEthernet2/0/2
 channel-group 2 mode auto
exit
!
interface range Port-Channel1-2
 switchport mode general
 switchport general allowed vlan add 250 tagged
 switchport forbidden default-vlan
exit
!
interface vlan 100
 name Internet
exit
!
interface vlan 250
 name Management
 ip address 10.250.0.40 255.255.255.0
exit
!
!
end

SW-DIST-1

hostname SW-DIST-1
!
vlan database
 vlan 100,250
exit
!
loopback-detection enable
loopback-detection mode multicast-mac-addr
loopback-detection interval 1
!
errdisable recovery cause loopback-detection
!
ip dhcp snooping
ip dhcp snooping vlan 100
!
!                                                    
ip arp inspection
ip arp inspection vlan 100
!
ip ssh server
!
no ip telnet server
!
interface range gigabitethernet1/0/1-24
 loopback-detection enable
 ip dhcp snooping limit clients 2
 storm-control broadcast kbps 2048 trap
 storm-control unicast kbps 2048 trap
 storm-control multicast kbps 2048 trap
 spanning-tree disable
 spanning-tree bpdu filtering
 switchport mode general
 switchport general allowed vlan add 100 untagged
 switchport general pvid 100
 switchport protected-port
 voice vlan enable
exit
!
interface tengigabitethernet1/0/1
 channel-group 1 mode auto
exit
!
interface tengigabitethernet1/0/2
 channel-group 1 mode auto
exit
!
interface Port-channel1
 ip arp inspection trust
 ip dhcp snooping trust
 switchport mode general
 switchport general allowed vlan add 100,250 tagged
 switchport forbidden default-vlan
exit
!
interface vlan 100
 name Internet
exit
!
interface vlan 250
 name Management
 ip address 10.250.0.31 255.255.255.0
exit
!
!
end

SW-DIST-2

hostname SW-DIST-2
!
vlan database
 vlan 100,250
exit
!
loopback-detection enable
loopback-detection mode multicast-mac-addr
loopback-detection interval 1
!
errdisable recovery cause loopback-detection
!
ip dhcp snooping
ip dhcp snooping vlan 100
!
!                                                    
ip arp inspection
ip arp inspection vlan 100
!
ip ssh server
!
no ip telnet server
!
interface range gigabitethernet1/0/1-24
 loopback-detection enable
 ip dhcp snooping limit clients 2
 storm-control broadcast kbps 2048 trap
 storm-control unicast kbps 2048 trap
 storm-control multicast kbps 2048 trap
 spanning-tree disable
 spanning-tree bpdu filtering
 switchport mode general
 switchport general allowed vlan add 100 untagged
 switchport general pvid 100
 switchport protected-port
 voice vlan enable
exit
!
interface tengigabitethernet1/0/1
 channel-group 1 mode auto
exit
!
interface tengigabitethernet1/0/2
 channel-group 1 mode auto
exit
!
interface Port-channel1
 ip arp inspection trust
 ip dhcp snooping trust
 switchport mode general
 switchport general allowed vlan add 100,250 tagged
 switchport forbidden default-vlan
exit
!
interface vlan 100
 name Internet
exit
!
interface vlan 250
 name Management
 ip address 10.250.0.32 255.255.255.0
exit
!
!
end

Размещение DMVPN Hub в демилитаризованном сегменте сети центрального офиса

Маршрутизаторы, выполняющие роль DMVPN Hub, разместим в DMZ-сегменте сети центрального офиса. Они будут заниматься терминацией IPsec и GRE-туннелей от удаленных DMVPN Spoke и маршрутизировать трафик на интернет-шлюзы центрального офиса.

Разграничение функции DMVPN Hub и корпоративного интернет-шлюза на разные маршрутизаторы рекомендовано с связи с повышенной нагрузкой на плоскость управления маршрутизатора, терминирующего на себе множество DMVPN-туннелей.

Таким образом, схема размещения DMVPN Hub в центральном офисе будет выглядеть так:

Рисунок 3. Размещение DMVPN Hub в демилитаризованном сегменте сети центрального офиса

Оба DMVPN Hub подключим к стеку коммутаторов DMZ-сегмента сети, используя технологию агрегации каналов LAG с включенной поддержкой протокола LACP. За счет того, что коммутаторы DMZ-сегмента собраны в стек, LAG, поднятый до разных коммутаторов, будет восприниматься маршрутизатором ESR как единый агрегированный канал.

Для начала зададим маршрутизаторам DMVPN Hub имена:

RT-HUB-1

hostname RT-HUB-1

RT-HUB-2

hostname RT-HUB-2

Настроим агрегированные интерфейсы на стороне DMVPN Hub:

RT-HUB-1

interface port-channel 1
exit

interface gigabitethernet 1/0/1
  mode switchport
  channel-group 1 mode auto
exit
interface gigabitethernet 1/0/2
  mode switchport
  channel-group 1 mode auto
exit

RT-HUB-2

interface port-channel 1
exit

interface gigabitethernet 1/0/1
  mode switchport
  channel-group 1 mode auto
exit
interface gigabitethernet 1/0/2
  mode switchport
  channel-group 1 mode auto
exit

И аналогично настроим агрегированные интерфейсы в стеке коммутаторов DMZ-сегмента сети:

SW-DMZ

interface GigabitEthernet1/0/3
 channel-group 3 mode auto
exit
!
interface GigabitEthernet1/0/4
 channel-group 4 mode auto
exit

!
interface GigabitEthernet2/0/3
 channel-group 3 mode auto
exit
!
interface GigabitEthernet2/0/4
 channel-group 4 mode auto
exit
!
interface range Port-Channel3-4
 switchport mode general
 switchport general allowed vlan add 250 tagged
 switchport forbidden default-vlan
exit

Организация выхода DMVPN Hub в сети провайдеров центрального офиса с использованием Static NAT

DMVPN Hub должны быть доступны для подключения через сеть Интернет для DMVPN Spoke, то есть они либо должны функционировать на публичных адресах, предоставляемых интернет-провайдером, либо доступ им в публичную сеть должен предоставить интернет-шлюз при помощи Static NAT. Именно второй вариант будет рассмотрен в данном руководстве.

Для организации выхода DMVPN Hub в Интернет организуем сетевую связность между DMVPN Hub и интернет-шлюзами центрального офиса. Для этого через уже построенный L2-сегмент протянем VLAN для каждого интернет-провайдера, а на интернет-шлюзах и DMVPN Hub добавим саб-интерфейсы на агрегированных каналах в сторону коммутаторов ядра и DMZ соответственно. При настройке будем использовать параметры сети, представленные в таблице 3.

Таблица 3. Параметры локальных сетей, используемых для выхода DMVPN Hub в публичные сети интернет-провайдеров центрального офиса

Интернет-провайдер	VLAN	Подсеть
ISP-1	210	10.0.0.0/30
ISP-2	220	10.0.0.8/30

Для начала добавим VLAN подсети до каждого из провайдеров на коммутаторы ядра и DMZ-сегмента:

SW-CORE-1

vlan 210 name ISP-1
vlan 220 name ISP-2
!
interface range Port-Channel1
 switchport general allowed vlan add 210,220
exit
!
interface range Port-Channel2-3
 switchport general allowed vlan add 210,220
exit
!
interface range Port-Channel6-7
 switchport general allowed vlan add 210,220
exit

SW-CORE-2

vlan 210 name ISP-1
vlan 220 name ISP-2
!
interface range Port-Channel1
 switchport general allowed vlan add 210,220
exit
!
interface range Port-Channel2-3
 switchport general allowed vlan add 210,220
exit
!
interface range Port-Channel6-7
 switchport general allowed vlan add 210,220
exit

SW-DMZ

vlan database
 vlan 210
 vlan 220
exit
!
interface range Port-Channel1-4
 switchport general allowed vlan add 210,220 tagged
exit

Создадим саб-интерфейсы на агрегированных каналах интернет-шлюзов, поднятых в сторону коммутаторов ядра:

RT-GW-1

interface port-channel 1.210
  description "DMZ | RT-HUB-1 uplink to ISP-1"
  ip address 10.0.0.1/30
exit

RT-GW-2

interface port-channel 1.220
  description "DMZ | RT-HUB-2 uplink to ISP-2"
  ip address 10.0.0.9/30
exit

Аналогично поступим на стороне DMVPN Hub, но создаваемый саб-интерфейс вынесем в отдельный VRF.

Схема подключения, в которой транспортная сеть для некой виртуальной сети выносится в отдельное сетевое пространство имен называется Front-Door VRF. Такая схема организации транспорта для виртуальной сети дает следующие преимущества:

возможность использования маршрута по умолчанию как в виртуальной сети, так и в транспортной сети;
отсутствие пересечения маршрутной информации между транспортной и виртуальной сетью;
дополнительный уровень безопасности виртуальной сети, поскольку трафик из неё не может попасть в транспортную сеть без настроенной инкапсуляции в туннель.

RT-HUB-1

ip vrf ISP_1
exit
 
interface port-channel 1.210
  description "ISP-1 | Uplink"
  ip vrf forwarding ISP_1
  ip address 10.0.0.2/30
exit

ip route vrf ISP_1 0.0.0.0/0 10.0.0.1 name ISP-1

RT-HUB-2

ip vrf ISP_2
exit
 
interface port-channel 1.220
  description "ISP-2 | Uplink"
  ip vrf forwarding ISP_2
  ip address 10.0.0.10/30
exit

ip route vrf ISP_2 0.0.0.0/0 10.0.0.9 name ISP-2

Создадим для данных сетей отдельную зону безопасности на интернет-шлюзах и DMVPN Hub и добавим в неё созданные раннее саб-интерфейсы агрегированных каналов. Разрешим входящий с точки зрения маршрутизаторов трафик протокола ICMP из этой зоны безопасности:

RT-GW-1

security zone DMVPN_ISP_1
  description "DMZ | RT-HUB-1 uplink"
exit
 
interface port-channel 1.210
  security-zone DMVPN_ISP_1
exit

security zone-pair DMVPN_ISP_1 self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

RT-GW-2

security zone DMVPN_ISP_2
  description "DMZ | RT-HUB-2 uplink"
exit
 
interface port-channel 1.220
  security-zone DMVPN_ISP_2
exit

security zone-pair DMVPN_ISP_2 self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

RT-HUB-1

security zone DMVPN_ISP_1
  description "ISP-1 | Uplink"
  ip vrf forwarding ISP_1
exit
 
interface port-channel 1.210
  security-zone DMVPN_ISP_1
exit

security zone-pair DMVPN_ISP_1 self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

RT-HUB-2

security zone DMVPN_ISP_2
  description "ISP-2 | Uplink"
  ip vrf forwarding ISP_2
exit
 
interface port-channel 1.220
  security-zone DMVPN_ISP_2
exit

security zone-pair DMVPN_ISP_2 self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Добавим в существующий профиль IP-адресов, который используется для функционала ARP Proxy на интернет-шлюзах, еще один публичный адрес из пула, выданного нам каждым провайдером:

RT-GW-1

object-group network ISP_1_PROXY
  ip address-range 203.0.113.4
exit

RT-GW-2

object-group network ISP_2_PROXY
  ip address-range 203.0.113.132
exit

Добавим новый профиль IP-адресов, в котором укажем адрес DMVPN Hub в локальной сети центрального офиса.

Для функционала Static NAT требуется, чтобы размер подсети, в которую осуществляется Static NAT совпадал с размером подсети, которая указывается в правилах NAT. В связи с этим в профиле IP-адресов, создаваемого для дальнейшего использования в правиле Static NAT, необходимо указывать только одну запись и только при помощи команды «ip prefix».

RT-GW-1

object-group network DMVPN_HUB_1
  description "DMZ | RT-HUB-1"
  ip prefix 10.0.0.2/32
exit

RT-GW-2

object-group network DMVPN_HUB_2
  description "DMZ | RT-HUB-2"
  ip prefix 10.0.0.10/32
exit

Сконфигурируем правило Static NAT в уже имеющемся наборе правил Source NAT:

RT-GW-1

nat source
  ruleset SNAT
    rule 20
      description "Static | RT-HUB-1"
      match source-address object-group network DMVPN_HUB_1
      action source-nat netmap 203.0.113.4/32 static
      enable
    exit
  exit
exit

RT-GW-2

nat source
  ruleset SNAT
    rule 20
      description "Static | RT-HUB-2"
      match source-address object-group network DMVPN_HUB_2
      action source-nat netmap 203.0.113.132/32 static
      enable
    exit
  exit
exit

И разрешим прохождение транзитного ICMP-трафика из глобальной сети до DMVPN Hub и наоборот:

RT-GW-1

security zone-pair UNTRUSTED DMVPN_ISP_1
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit
security zone-pair DMVPN_ISP_1 UNTRUSTED
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

RT-GW-2

security zone-pair UNTRUSTED DMVPN_ISP_2
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

security zone-pair DMVPN_ISP_2 UNTRUSTED
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Подключение DMVPN Hub в локальную сеть центрального офиса

Для маршрутизации трафика между интернет-шлюзами центрального офиса и DMVPN Hub добавим отдельную подсеть, параметры которой описаны в таблице 4.

Таблица 4. Параметры локальной сети, используемой для выхода DMVPN Hub в локальную сеть центрального офиса

Назначение	VLAN	Подсеть
Подсеть для IP-связности DMVPN Hub и интернет-шлюзов	300	10.0.0.16/29

Добавим VLAN создаваемой сети на коммутаторы ядра и DMZ-сегмента:

SW-CORE-1

vlan 300 name DMVPN_LAN
!
interface range Port-Channel1
 switchport general allowed vlan add 300
exit
!
interface range Port-Channel2-3
 switchport general allowed vlan add 300
exit
!
interface range Port-Channel6-7
 switchport general allowed vlan add 300
exit

SW-CORE-2

vlan 300 name DMVPN_LAN
!
interface range Port-Channel1
 switchport general allowed vlan add 300
exit
!
interface range Port-Channel2-3
 switchport general allowed vlan add 300
exit
!
interface range Port-Channel6-7
 switchport general allowed vlan add 300
exit

SW-DMZ-1

vlan database
 vlan 300
exit
!
interface range Port-Channel1-4
 switchport general allowed vlan add 300 tagged
exit

Создадим соответствующие саб-интерфейсы на агрегированных каналах:

RT-GW-1

interface port-channel 1.300
  description "DMZ | RT-HUB-1 dowlink"
  ip address 10.0.0.17/29
exit

RT-GW-2

interface port-channel 1.300
  description "DMZ | RT-HUB-2 dowlink"
  ip address 10.0.0.18/29
exit

RT-HUB-1

interface port-channel 1.300
  description "DMVPN | Downlink to RT-GW"
  ip address 10.0.0.19/29
exit

RT-HUB-2

interface port-channel 1.300
  description "DMVPN | Downlink to RT-GW"
  ip address 10.0.0.20/29
exit

RT-GW-1

security zone DMVPN_LAN
  description "DMZ | RT-HUB-1 downlink"
exit
  
interface port-channel 1.300
  security-zone DMVPN_LAN
exit
 
security zone-pair DMVPN_LAN self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

RT-GW-2

security zone DMVPN_LAN
  description "DMZ | RT-HUB-2 downlink"
exit
  
interface port-channel 1.300
  security-zone DMVPN_LAN
exit
 
security zone-pair DMVPN_LAN self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

RT-HUB-1

security zone DMVPN_LAN
  description "DMVPN | Downlink to RT-GW"
exit
  
interface port-channel 1.300
  security-zone DMVPN_LAN
exit
 
security zone-pair DMVPN_LAN self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

RT-HUB-2

security zone DMVPN_LAN
  description "DMVPN | Downlink to RT-GW"
exit
  
interface port-channel 1.300
  security-zone DMVPN_LAN
exit
 
security zone-pair DMVPN_LAN self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Настройка IKEv2 и IPsec-туннелирования на DMVPN Hub

Настройка IPsec для будущего облака DMVPN является важной частью данного руководства. Корректная настройка IPsec гарантирует приватность и защищенность трафика между офисами. При дальнейшей настройке будем использовать параметры IKE и IPsec, представленные в таблице 5.

Таблица 5. Параметры IKE и IPsec, используемые для настройки туннелирования IPsec на маршрутизаторах DMVPN Hub

		RT-HUB-1	RT-HUB-2
Параметры IKE	Алгоритм шифрования	AES-256	AES-256
	Алгоритм хеширования	SHA2-256	SHA2-256
	Группа Диффи-Хеллмана	19	19
	Время жизни IKE-сеcсии в секундах	86400	86400
	Идентификатор IKE-сессии	hub1.company.loc	hub2.company.loc
	Интервал отправки DPD-сообщений	40	40
	Общий таймаут ожидания ответа на DPD-сообщение	160	160
	Действие при наступлении таймаута DPD	Закрытие сессии IKE	Закрытие сессии IKE
Параметры IPsec	Алгоритм шифрования	AES-256	AES-256
	Алгоритм хеширования	SHA2-256	SHA2-256
	Группа Диффи-Хеллмана для механизма PFS	19	19
	Время жизни IPsec-сесcии в секундах	28800	28800
	Время жизни IPsec-сесcии в килобайтах	4608000	4608000
	Интервал ранней реаутентификации IKE-сессии/Интервал раннего рекеинга IPsec-сессии в секундах	3600	3600
	Пороговое значение ранней реаутентификации IKE-сессии/Пороговое значение раннего рекеинга IPsec-сессии в килобайтах	86400	86400

Начинается настройка IPsec с настройки наборов криптографических алгоритмов для протокола IKE:

RT-HUB-1

security ike proposal DMVPN_IKE_PROP_1
  description "DMVPN | IKE proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  dh-group 19
exit

RT-HUB-2

security ike proposal DMVPN_IKE_PROP_1
  description "DMVPN | IKE proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  dh-group 19
exit

Затем создадим набор ключей аутентификации IKE. Поскольку в дальнейшей настройке планируется использовать в качестве идентификатора IPsec-соседа доменные имена, в наборе ключей тоже используем доменные имена:

RT-HUB-1

security ike keyring DMVPN_IKE_KEYRING
  description "DMVPN | IKE keyring"
  identity dns *.company.loc pre-shared-key ascii-text password
exit

RT-HUB-2

security ike keyring DMVPN_IKE_KEYRING
  description "DMVPN | IKE keyring"
  identity dns *.company.loc pre-shared-key ascii-text password
exit

Создадим политику IKE. Она включает в себя наборы алгоритмов шифрования, выбор метода аутентификации и время жизни IKE-сессии:

RT-HUB-1

security ike policy DMVPN_IKE_POL
  description "DMVPN | IKE policy"
  lifetime seconds 86400
  keyring DMVPN_IKE_KEYRING
  authentication method keyring
  proposal DMVPN_IKE_PROP_1
exit

RT-HUB-2

security ike policy DMVPN_IKE_POL
  description "DMVPN | IKE policy"
  lifetime seconds 86400
  keyring DMVPN_IKE_KEYRING
  authentication method keyring
  proposal DMVPN_IKE_PROP_1
exit

Создадим криптошлюз IKE.

Объем возможных настроек в криптошлюзе IKE достаточно велик, в связи с этим обратим внимание на самые важные пункты настройки:

Для использования протокола IKE версии 2 обязательна команда «version v2-only», в противном случае туннель будет использовать протокол IKE версии 1.
Поддержку протокола MOBIKE необходимо отключать, в схеме DMVPN он может привести к ошибкам построения туннелей между DMVPN Hub и DMVPN Spoke.
В случае привязки криптошлюза к интерфейсу командой «local interface» привязать локальную сеть к адресу на этом интерфейсе можно командой «local network dynamic».
В схеме DMVPN в туннели IPsec помещается только GRE-трафик, поэтому корректным будет указывать ключ «protocol gre» в командах «local network» и «remote network».

RT-HUB-1

security ike gateway DMVPN_IKE_GW
  description "DMVPN | IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface port-channel 1.210
  local network dynamic protocol gre 
  local id dns "hub1.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

RT-HUB-2

security ike gateway DMVPN_IKE_GW
  description "DMVPN | IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface port-channel 1.220
  local network dynamic protocol gre 
  local id dns "hub2.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

Пояснение

1) Указываем в качестве «local interface» саб-интерфейс агрегированного канала в сторону интернет-шлюза, трафик которого попадет под Static NAT.
2) Использование «local id» и «remote id» — один из удобных способов идентификации IKE-соседей. Поскольку в «security ike keyring» использованы доменные имена, тот же тип ID используем и здесь.

Настроим политику в отношении дубликатов IKE-сессий — при возникновении дубликатов будем замещать существующие IKE-сессии:

RT-HUB-1

security ike session uniqueids replace

RT-HUB-2

security ike session uniqueids replace

Создадим набор криптографифеских алгоритмов уже непосредственно для туннеля IPsec:

RT-HUB-1

security ipsec proposal DMVPN_IPSEC_PROP_1
  description "DMVPN | IPsec proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  pfs dh-group 19
exit

RT-HUB-2

security ipsec proposal DMVPN_IPSEC_PROP_1
  description "DMVPN | IPsec proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  pfs dh-group 19
exit

Затем создадим политику IPsec. Она включает в себя наборы алгоритмов шифрования и время жизни IPsec-сессии, непосредственно отвечающей за шифрование пользовательского трафика. В отличие от IKE-сессии, время жизни IPsec-сессии можно задавать как в секундах, так и в объеме пользовательского трафика, прошедшего через туннель. Зададим оба варианта:

RT-HUB-1

security ipsec policy DMVPN_IPSEC_POL
  description "DMVPN | IPsec policy"
  lifetime seconds 28800
  lifetime kilobytes 4608000
  proposal DMVPN_IPSEC_PROP_1
exit

RT-HUB-2

security ipsec policy DMVPN_IPSEC_POL
  description "DMVPN | IPsec policy"
  lifetime seconds 28800
  lifetime kilobytes 4608000
  proposal DMVPN_IPSEC_PROP_1
exit

Наконец все собранные настройки IKE и IPsec можно объединить в один общий VPN-профиль. Для IPsec VPN-профилей, использующихся на туннелях GRE в схеме DMVPN, обязательно включение транспортного режима:

RT-HUB-1

security ipsec vpn DMVPN_IPSEC_VPN
  description "DMVPN | IPsec VPN profile"
  type transport
  ip vrf forwarding ISP_1
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit

RT-HUB-2

security ipsec vpn DMVPN_IPSEC_VPN
  description "DMVPN | IPsec VPN profile"
  type transport
  ip vrf forwarding ISP_2
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit

Пояснение

Настройки рекеинга также влияют на реаутентификацию IKE-сессий.

Разрешим прохождение трафика, связанного с IPsec-туннелями, через сеть центрального офиса. Для этого сначала опишем профили портов для протокола IKE и упакованного в UDP шифрованного трафика протоколов IKE и ESP:

RT-GW-1

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit

RT-GW-2

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit

Пояснение

1) UDP/500 порт используется протоколом IKEv2 в момент первичного пакетообмена с удаленным IKE-соседом.
2) UDP/4500 порт используется для отправки сообщений протокола IKEv2 при определении наличия NAT посередине между пирами.
3) Также UDP/4500 порт используется для отправки запакованных в UDP сообщений протокола ESP, сообщения которого представляют собой шифрованный пользовательский трафик в туннеле.

RT-HUB-1

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit

RT-HUB-2

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit

На интернет-шлюзах разрешим прохождение трафика IPsec-туннелей транзитом от интерфейсов в сторону интернет-провайдеров в сторону DMVPN Hub:

RT-GW-1

security zone-pair UNTRUSTED DMVPN_ISP_1
  rule 20
    description "Permit | IKE/IPsec | From ISP-1 | To RT-HUB-1"
    action permit
    match protocol udp
    match destination-address object-group network DMVPN_HUB_1
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
exit
security zone-pair DMVPN_ISP_1 UNTRUSTED
   rule 20
    description "Permit | IKE/IPsec | From RT-HUB-1 | To ISP-1"
    action permit
    match protocol udp
    match source-address object-group network DMVPN_HUB_1
    match source-port object-group IKE_AND_IPSEC
    enable
  exit 
exit

RT-GW-2

security zone-pair UNTRUSTED DMVPN_ISP_2
  rule 20
    description "Permit | IKE/IPsec | From ISP-2 | To RT-HUB-2"
    action permit
    match protocol udp
    match destination-address object-group network DMVPN_HUB_2
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
exit
security zone-pair DMVPN_ISP_2 UNTRUSTED
   rule 20
    description "Permit | IKE/IPsec | From RT-HUB-2 | To ISP-2"
    action permit
    match protocol udp
    match source-address object-group network DMVPN_HUB_2
    match source-port object-group IKE_AND_IPSEC
    enable
  exit 
exit

Пояснение

Пользовательский трафик запаковывается в протокол ESP, и при наличии NAT посередине между IPsec-соседями сообщения протокола ESP, в свою очередь, запаковываются в протокол UDP, порт 4500.

Наличие NAT в текущей схеме гарантировано настройкой Static NAT на стороне интернет-шлюзов центрального офиса, в связи с этим ESP трафика, не запакованного в UDP, в сети присутствовать не будет. Так что для протокола ESP отдельное разрешающее правило не требуется.

В свою очередь на DMVPN Hub разрешим этот же трафик, но уже как входящий:

RT-HUB-1

security zone-pair DMVPN_ISP_1 self
   rule 20
    description "Permit | IKE/IPsec | From ISP-1 | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit 
exit

RT-HUB-2

security zone-pair DMVPN_ISP_2 self
   rule 20
    description "Permit | IKE/IPsec | From ISP-2 | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit 
exit

Настройка mGRE-туннелей на DMVPN Hub

Настроим туннели GRE в многоточечном режиме с поддержкой протокола NHRP на DMVPN Hub. Основные параметры туннелей GRE для обоих DMVPN Hub представлены в таблице 6.

Таблица 6. Параметры туннелей GRE на маршрутизаторах DMVPN Hub

Hostname	DMVPN Cloud	Номер туннеля GRE	Туннельная адресация	Ключ туннеля GRE	Время жизни NHRP-записей, секунды
RT-HUB-1	ISP-1 Cloud	10	172.16.1.1/24	1000	600
RT-HUB-2	ISP-2 Cloud	10	172.16.2.1/24	2000	600

Сначала настроим общие настройки туннеля GRE на каждом из DMVPN Hub. К таким настройкам относятся:

режим работы multipoint;
значение key;
значение TTL;
размер MTU;
значение TCP adjust-mss;
туннельный IP-адрес;
интерфейс, с которого будет строиться GRE-туннель;
имя транспортного VRF.

RT-HUB-1

tunnel gre 10
  description "DMVPN | Cloud 1"
  key 1000
  ttl 64
  mtu 1400
  multipoint
  tunnel-source vrf ISP_1
  local interface port-channel 1.210
  ip address 172.16.1.1/24
  ip tcp adjust-mss 1360
  enable
exit

RT-HUB-2

tunnel gre 10
  description "DMVPN | Cloud 2"
  key 2000
  ttl 64
  mtu 1400
  multipoint
  tunnel-source vrf ISP_2
  local interface port-channel 1.220
  ip address 172.16.2.1/24
  ip tcp adjust-mss 1360
  enable
exit

Маршрутизаторы DMVPN Hub с точки зрения протокола NHRP выполняют роль NHRP серверов, регистрирующих новых членов облака DMVPN и сообщающих о доступности члена облака DMVPN через его внешний NBMA адрес. В связи с этим большая часть настроек протокола NHRP будет связана с входящими на DMVPN Hub обращениями.

Для корректного построения Spoke-to-Spoke-туннелей, маршрутизация на которых весь трафик заводит на DMVPN Hub, включим опцию «ip nhrp redirect», которая включит на DMVPN Hub отслеживание неоптимального прохождения трафика между DMVPN Spoke и отправку специального сообщения протокола NHRP «Traffic Indication» тому DMVPN Spoke, чей трафик мог бы идти другому DMVPN Spoke напрямую, минуя DMVPN Hub.

Такая схема организации маршрутизации и построения Spoke-to-Spoke-туннелей в облаках DMVPN общепринято именуется третьей фазой DMVPN.

RT-HUB-1

tunnel gre 10
  ip nhrp authentication password
  ip nhrp holding-time 600
  ip nhrp redirect
  ip nhrp ipsec DMVPN_IPSEC_VPN dynamic
  ip nhrp multicast dynamic
  ip nhrp enable
exit

RT-HUB-2

tunnel gre 10
  ip nhrp authentication password
  ip nhrp holding-time 600
  ip nhrp redirect
  ip nhrp ipsec DMVPN_IPSEC_VPN dynamic
  ip nhrp multicast dynamic
  ip nhrp enable
exit

Из-за особенностей декапсуляции трафика из IPsec-туннелей, работающих в транспортном режиме инкапсуляции, трафик после дешифровки попадает на тот же сетевой интерфейс, который терминирует IPsec-туннель. В связи с этим в правилах межсетевого экранирования на DMVPN Hub необходимо разрешить прием не только шифрованных IPsec-пакетов, но и GRE-пакетов, которые попадают на интерфейс после дешифрования.

RT-HUB-1

security zone-pair DMVPN_ISP_1 self
   rule 30
    description "Permit | GRE | From ANY | To ANY"
    action permit
    match protocol gre
    enable
  exit 
exit

RT-HUB-2

security zone-pair DMVPN_ISP_2 self
   rule 30
    description "Permit | GRE | From ANY | To ANY"
    action permit
    match protocol gre
    enable
  exit 
exit

Для фильтрации трафика внутри облака DMVPN создадим отдельную зону безопасности и назначим её на GRE-туннель. Разрешим прохождение входящего ICMP-трафика в этой зоне:

RT-HUB-1

security zone DMVPN_NET_1
  description "DMVPN | Cloud 1"
exit

tunnel gre 10
  security-zone DMVPN_NET_1
exit
 
security zone-pair DMVPN_NET_1 self
   rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

RT-HUB-2

security zone DMVPN_NET_2
  description "DMVPN | Cloud 2"
exit

tunnel gre 10
  security-zone DMVPN_NET_2
exit
 
security zone-pair DMVPN_NET_2 self
   rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Конфигурирование маршрутизации для функционирования облака DMVPN в центральном офисе

В качестве протокола динамической маршрутизации для схемы DMVPN используем BGP. Его возможности обеспечат в текущей схеме весь необходимый функционал, малый размер конфигурации, а в сочетании с протоколом BFD — быстрое определение нарушения связности между BGP-соседями и оперативное перестроение сетевой топологии.

Схема членства настраиваемых маршрутизаторов в автономных системах представлена на рисунке 4:

Рисунок 4. Логическая схема членства маршрутизаторов в автономных системах

Настройку начнем с DMVPN Hub, для входящих BGP-соединений от DMVPN Spoke настроим динамических BGP-соседей. При этом отдавать в сторону DMVPN Spoke мы будем только маршрут по умолчанию, так весь трафик облаков DMVPN будет проходить через Hub:

RT-HUB-1

router bgp log-neighbor-changes

router bgp 65001
  peer-group DMVPN_NET_1
    remote-as 65000
    update-source gre 10
    address-family ipv4 unicast
      default-originate
      enable
    exit
  exit
  listen-range 172.16.1.0/24
    peer-group DMVPN_NET_1
    enable
  exit
  enable
exit

RT-HUB-2

router bgp log-neighbor-changes

router bgp 65002
  peer-group DMVPN_NET_2
    remote-as 65000
    update-source gre 10
    address-family ipv4 unicast
      default-originate
      enable
    exit
  exit
  listen-range 172.16.2.0/24
    peer-group DMVPN_NET_2
    enable
  exit
  enable
exit

Для того чтобы выделить роль RT-HUB-1 как основного DMVPN Hub для обработки трафика в облаке DMVPN, в его route-map увеличим значение метрики протокола BGP. Таким образом, для DMVPN Spoke маршрут по умолчанию в его сторону будет более приоритетным.

Созданный route-map указываем для семейства IPv4-маршрутов в существующей peer-group:

RT-HUB-1

route-map DMVPN_NET_1_OUT
  rule 10
    description "DMZ | Default for DMVPN Spokes"
    match ip address 0.0.0.0/0
    action set metric bgp 100
  exit
exit

router bgp 65001
  peer-group DMVPN_NET_1
    address-family ipv4 unicast
      route-map DMVPN_NET_1_OUT out
    exit
  exit
exit

RT-HUB-2

route-map DMVPN_NET_2_OUT
  rule 10
    description "DMZ | Default for DMVPN Spokes"
    match ip address 0.0.0.0/0
    action set metric bgp 200
  exit
exit

router bgp 65002
  peer-group DMVPN_NET_2
    address-family ipv4 unicast
      route-map DMVPN_NET_2_OUT out
    exit
  exit
exit

Включим поддержку BFD для созданных BGP-соседств. Учтем скорость сходимости IPsec и mGRE-туннелей и увеличим BFD-таймеры:

RT-HUB-1

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

router bgp 65001
  peer-group DMVPN_NET_1
    fall-over bfd
  exit
exit

RT-HUB-2

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

router bgp 65002
  peer-group DMVPN_NET_2
    fall-over bfd
  exit
exit

Разрешим прохождение входящего трафика протокола BGP и BFD в зоне безопасности, настроенной на туннелях GRE:

RT-HUB-1

object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

security zone-pair DMVPN_NET_1 self
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit

RT-HUB-2

object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

security zone-pair DMVPN_NET_2 self
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit

В сторону интернет-шлюзов центрального офиса также настроим BGP-соседей, только статических. Поскольку настройки подключения к обоим интернет-шлюзам одинаковы, настроим peer-group и уже её укажем в конфигурации статичных BGP-соседей:

RT-HUB-1

router bgp 65001
  peer-group DMVPN_LAN
    remote-as 65500
    update-source port-channel 1.300
    address-family ipv4 unicast
      enable
    exit
  exit
  neighbor 10.0.0.17
    description "DMZ | RT-GW-1"
    peer-group DMVPN_LAN
    enable
  exit
  neighbor 10.0.0.18
    description "DMZ | RT-GW-2"
    peer-group DMVPN_LAN
    enable
  exit
exit

RT-HUB-2

router bgp 65002
  peer-group DMVPN_LAN
    remote-as 65500
    update-source port-channel 1.300
    address-family ipv4 unicast
      enable
    exit
  exit
  neighbor 10.0.0.17
    description "DMZ | RT-GW-1"
    peer-group DMVPN_LAN
    enable
  exit
  neighbor 10.0.0.18
    description "DMZ | RT-GW-2"
    peer-group DMVPN_LAN
    enable
  exit
exit

Создадим route-map, разрешающий анонсы маршрутной информации в сторону интернет-шлюзов, метрики BGP установим те же, что и для DMVPN Spoke:

RT-HUB-1

route-map DMVPN_LAN_OUT
  rule 10
    description "DMVPN | Redistribute to RT-GW"
    action set metric bgp 100
  exit
exit

router bgp 65001
  peer-group DMVPN_LAN
    address-family ipv4 unicast
      route-map DMVPN_LAN_OUT out
    exit
  exit
exit

RT-HUB-2

route-map DMVPN_LAN_OUT
  rule 10
    description "DMVPN | Redistribute to RT-GW"
    action set metric bgp 200
  exit
exit

router bgp 65002
  peer-group DMVPN_LAN
    address-family ipv4 unicast
      route-map DMVPN_LAN_OUT out
    exit
  exit
exit

Добавим в анонсируемые маршруты туннельные подсети облака DMVPN. За счет указанных route-map информация о туннельных маршрутах поступит только на интернет-шлюзы.

RT-HUB-1

router bgp 65001
  address-family ipv4 unicast
    network 172.16.1.0/24
  exit
exit

RT-HUB-2

router bgp 65002
  address-family ipv4 unicast
    network 172.16.2.0/24
  exit
exit

Для статичных BGP-соседей также включим поддержку протокола BFD:

RT-HUB-1

router bgp 65001
  peer-group DMVPN_LAN
    fall-over bfd
  exit
exit

RT-HUB-2

router bgp 65002
  peer-group DMVPN_LAN
    fall-over bfd
  exit
exit

Разрешим прохождение входящего трафика протокола BGP и BFD в зоне безопасности, настроенной на саб-интерфейсах агрегированных каналов в сторону интернет-шлюзов:

RT-HUB-1

security zone-pair DMVPN_LAN self
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit

RT-HUB-2

security zone-pair DMVPN_LAN self
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit

Теперь настроим BGP-соседей в сторону DMVPN Hub на стороне интернет-шлюзов. В связи с шаблонностью настроек в сторону DMVPN Hub также воспользуемся peer-group. В сторону DMVPN Hub включим анонс маршрута по умолчанию, поскольку трафик, выходящий за пределы облака DMVPN должен маршрутизироваться на интернет-шлюзах центрального офиса:

RT-GW-1

router bgp 65500
  peer-group DMVPN_LAN
    update-source port-channel 1.300
    address-family ipv4 unicast
      default-originate
      enable
    exit
  exit
  neighbor 10.0.0.19
    description "DMZ | RT-HUB-1"
    remote-as 65001
    peer-group DMVPN_LAN
    enable
  exit
  neighbor 10.0.0.20
    description "DMZ | RT-HUB-2"
    remote-as 65002
    peer-group DMVPN_LAN
    enable
  exit
  enable
exit

RT-GW-2

router bgp 65500
  peer-group DMVPN_LAN
    update-source port-channel 1.300
    address-family ipv4 unicast
      default-originate
      enable
    exit
  exit
  neighbor 10.0.0.19
    description "DMZ | RT-HUB-1"
    remote-as 65001
    peer-group DMVPN_LAN
    enable
  exit
  neighbor 10.0.0.20
    description "DMZ | RT-HUB-2"
    remote-as 65002
    peer-group DMVPN_LAN
    enable
  exit
  enable
exit

Создадим route-map, разрешающий анонсы маршрутной информации в сторону интернет-шлюзов.

Отдельное внимание стоит уделить настройкам метрик BGP-маршрутов. Поскольку выход в глобальную сеть Интернет у каждого из интернет-шлюзов осуществляется через своего интернет-провайдера, маршрут по умолчанию, анонсируемый в сторону DMVPN Hub, должен быть более приоритетным у того интернет-шлюза, у которого сейчас есть выход в сеть Интернет. Поскольку в конфигурации интернет-шлюза RT-GW-1 уже есть настроенный объект отслеживания, благодаря которому переключается VRRP-мастерство для пользователей в локальной сети центрального офиса, этот же объект отслеживания будем использовать в route-map для изменения метрики BGP-маршрута по умолчанию, который RT-GW-1 анонсирует в сторону DMVPN Hub.

RT-GW-1

route-map DMVPN_LAN_OUT
  rule 10
    description "DMZ | Default for DMVPN Hub"
    match ip address 0.0.0.0/0
    action set metric bgp 300 track 1 default 100
  exit
exit

router bgp 65500
  peer-group DMVPN_LAN
    address-family ipv4 unicast
      route-map DMVPN_LAN_OUT out
    exit
  exit
exit

RT-GW-2

route-map DMVPN_LAN_OUT
  rule 10
    description "DMZ | Default for DMVPN Hub"
    match ip address 0.0.0.0/0
    action set metric bgp 200
  exit
exit

router bgp 65500
  peer-group DMVPN_LAN
    address-family ipv4 unicast
      route-map DMVPN_LAN_OUT out
    exit
  exit
exit

Пояснение

При такой настройке RT-GW-1 в случае наличия доступа в Интернет через своего интернет-провайдера будет анонсировать маршрут по умолчанию с метрикой BGP 100, а в случае обрыва связи — с метрикой BGP 300.

Включим поддержку протокола BFD, аналогично настройкам DMVPN Hub увеличим таймеры BFD:

RT-GW-1

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

router bgp 65500
  peer-group DMVPN_LAN
    fall-over bfd
  exit
exit

RT-GW-2

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

router bgp 65500
  peer-group DMVPN_LAN
    fall-over bfd
  exit
exit

Разрешим прохождение входящего трафика протокола BGP и BFD в зоне безопасности, настроенной на саб-интерфейсах агрегированных каналов в сторону DMVPN Hub:

RT-GW-1

object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

security zone-pair DMVPN_LAN self
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit

RT-GW-2

object-group service BGP
  description "BGP port"
  port-range 179
exit
object-group service BFD
  description "BFD port"
  port-range 3784
exit

security zone-pair DMVPN_LAN self
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit

Настройка Zone-Based Firewall и Source NAT для пользователей удаленных офисов

Поскольку теперь построенное облако DMVPN обеспечивает выход трафика пользователей удаленных офисов через интернет-шлюз центрального офиса, необходимо произвести дополнительные настройки Firewall и NAT.

Начнем с разрешения транзитного трафика из облака DMVPN в сторону интернет-шлюзов центрального офиса:

RT-HUB-1

security zone-pair DMVPN_NET_1 DMVPN_LAN
  rule 10
    description "Permit | ANY | From DMVPN Cloud 1 | To DMVPN Downlink"
    action permit
    enable
  exit
exit
security zone-pair DMVPN_LAN DMVPN_NET_1
  rule 10
    description "Permit | ANY | From DMVPN Downlink | To DMVPN Cloud 1"
    action permit
    enable
  exit
exit

RT-HUB-2

security zone-pair DMVPN_NET_2 DMVPN_LAN
  rule 10
    description "Permit | ANY | From DMVPN Cloud 2 | To DMVPN Downlink"
    action permit
    enable
  exit
exit
security zone-pair DMVPN_LAN DMVPN_NET_2
  rule 10
    description "Permit | ANY | From DMVPN Downlink | To DMVPN Cloud 2"
    action permit
    enable
  exit
exit

Теперь разрешим прохождение трафика из облака DMVPN до локальных пользователей центрального офиса. Для этого создадим профиль IP-адресов, в который будем указывать адреса подсетей удаленных офисов:

RT-GW-1

object-group network DMVPN_INET_POOL
  description "DMZ | DMVPN Cloud Remote LANs"
  ip prefix 192.168.11.0/24
  ip prefix 192.168.12.0/24
  ip prefix 192.168.13.0/24
  ip prefix 192.168.14.0/24
  ip prefix 192.168.15.0/24
exit

RT-GW-2

object-group network DMVPN_INET_POOL
  description "DMZ | DMVPN Cloud Remote LANs"
  ip prefix 192.168.11.0/24
  ip prefix 192.168.12.0/24
  ip prefix 192.168.13.0/24
  ip prefix 192.168.14.0/24
  ip prefix 192.168.15.0/24
exit

И для этого профиля разрешим доступ к пользователям локальной сети:

RT-GW-1

security zone-pair DMVPN_LAN CUSTOMER
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To CUSTOMER"
    match source-address object-group network DMVPN_INET_POOL
    action permit
    enable
  exit
exit
security zone-pair CUSTOMER DMVPN_LAN
  rule 10
    description "Permit | ANY | From CUSTOMER | To DMVPN Cloud"
    match destination-address object-group network DMVPN_INET_POOL
    action permit
    enable
  exit
exit

RT-GW-2

security zone-pair DMVPN_LAN CUSTOMER
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To CUSTOMER"
    match source-address object-group network DMVPN_INET_POOL
    action permit
    enable
  exit
exit
security zone-pair CUSTOMER DMVPN_LAN
  rule 10
    description "Permit | ANY | From CUSTOMER | To DMVPN Cloud"
    match destination-address object-group network DMVPN_INET_POOL
    action permit
    enable
  exit
exit

Также разрешим трафику из облака DMVPN выход в Интернет:

RT-GW-1

security zone-pair DMVPN_LAN UNTRUSTED
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To ISP-1"
    match source-address object-group network DMVPN_INET_POOL
    action permit
    enable
  exit
exit

RT-GW-2

security zone-pair DMVPN_LAN UNTRUSTED
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To ISP-2"
    match source-address object-group network DMVPN_INET_POOL
    action permit
    enable
  exit
exit

Также добавим для трафика из облака DMVPN Source NAT. Производить Source NAT будем в уже созданный NAT pool для пользователей центрального офиса:

RT-GW-1

nat source
  ruleset SNAT
    rule 30
      description "Source | DMVPN Cloud"
      match source-address object-group network DMVPN_INET_POOL
      action source-nat pool CUSTOMER_PUBLIC_IP
      enable
    exit
  exit
exit

RT-GW-2

nat source
  ruleset SNAT
    rule 30
      description "Source | DMVPN Cloud"
      match source-address object-group network DMVPN_INET_POOL
      action source-nat pool CUSTOMER_PUBLIC_IP
      enable
    exit
  exit
exit

На этом настройку DMVPN в центральном офисе можно считать завершенной.

Настройка DMVPN Spoke в дочернем офисе (статическая адресация)

Стартовое состояние сети в дочернем офисе

Рассмотрим пример подключения к облаку DMVPN небольшого офиса, в котором присутствует один интернет-провайдер, предоставляющий доступ в Интернет через белый статически-назначаемый IP-адрес:

Рисунок 5. Схема подключения маршрутизатора дочернего офиса с статическим IP-адресом к сети провайдера

Локальная сеть офиса обеспечена одним коммутатором доступа, который подключен непосредственно к маршрутизатору на границе сети. Сразу зададим устройствам имена для удобства дальнейшего конфигурирования.

RT-OFFICE-1

hostname RT-OFFICE-1

SW-OFFICE-1

hostname SW-OFFICE-1

Организация локального сегмента сети дочернего офиса

В рамках данного руководства рассмотрим простой пример настройки коммутатора доступа для обеспечения подключения оборудования дочернего офиса к пограничному маршрутизатору. Параметры локальной сети офиса описаны в таблице 7.

Таблица 7. Параметры локальной сети дочернего офиса №1

Назначение	VLAN	Подсеть
Локальная сеть дочернего офиса №1	100	192.168.11.0/24

Настроим на коммутаторе доступа клиентские порты в режиме general, требуемый VLAN ID будем проставлять нетегированному трафику:

SW-OFFICE-1

vlan database
 vlan 100
exit
!
interface range GigabitEthernet1/0/1-24
 switchport mode general
 switchport general allowed vlan add 100 untagged
 switchport general pvid 100
 switchport protected-port
exit

Пояснение

Для изоляции клиентов в широковещательном домене включим функционал port-protection.

А порт в сторону маршрутизатора настроим как транковый для требуемого VLAN ID:

SW-OFFICE-1

interface TenGigabitEthernet1/0/1
 switchport mode general
 switchport general allowed vlan add 100 tagged
 switchport forbidden default-vlan 
exit

После чего стерминируем тегированный трафик на физическом саб-интерфейсе пограничного маршрутизатора:

RT-OFFICE-1

interface gigabitethernet 1/0/2.100
  description "LAN | CUSTOMER"
  ip address 192.168.11.1/24
exit

Добавим для саб-интерфейса зону безопасности и разрешим входящий с точки зрения маршрутизатора трафик протокола ICMP из этой зоны безопасности:

RT-OFFICE-1

security zone CUSTOMER
  description "LAN | CUSTOMER"
exit

interface gigabitethernet 1/0/2.100
  security-zone CUSTOMER
exit

security zone-pair CUSTOMER self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Подключение к сети интернет-провайдера с использованием статической адресации

Рассмотрим подключение к сети Интернет с учетом выданных нам интернет-провайдером данных для настройки статической адресации на интерфейсе.

Таблица 8. Данные для настройки статической IP-адресации на пограничном маршрутизаторе дочернего офиса №1

Параметр	Значение
IP-адрес маршрутизатора	203.0.114.2
Маска сети	255.255.255.128
IP-адрес шлюза	203.0.114.1

В рамках данного примера интернет-провайдер предоставляет для настройки статической адресации публичный (белый) IP-адрес. Для случая, где интернет-провайдер предоставляет для настройки приватный (серый) IP-адрес с дальнейшим NAT-преобразованием в публичную IP-адресацию настройка будет выглядеть аналогичным образом, наличие NAT интернет-провайдера не окажет влияния на подключение дочернего филиала к головному через облако DMVPN.

Используя предоставленные интернет-провайдером данные, настроим сетевой интерфейс и статическую маршрутизацию. Интерфейс при этом вынесем в отдельный так называемый Front-VRF.

возможность использования маршрута по умолчанию как в виртуальной сети, так и в транспортной сети;
отсутствие пересечения маршрутной информации между транспортной и виртуальной сетью;
дополнительный уровень безопасности виртуальной сети, поскольку трафик из неё не может попасть в транспортную сеть без настроенной инкапсуляции в туннель.

RT-OFFICE-1

ip vrf ISP
exit

interface gigabitethernet 1/0/1
  description "ISP | Uplink"
  ip vrf forwarding ISP
  ip address 203.0.114.2/25
exit

ip route vrf ISP 0.0.0.0/0 203.0.114.1 name ISP

Укажем для данного сетевого интерфейса отдельную зону безопасности и разрешим входящий с точки зрения маршрутизатора трафик протокола ICMP из этой зоны безопасности:

RT-OFFICE-1

security zone UNTRUSTED
  description "ISP | Uplink"
  ip vrf forwarding ISP
exit

interface gigabitethernet 1/0/1
  security-zone UNTRUSTED
exit

security zone-pair UNTRUSTED self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Настройка IKEv2 и IPsec-туннелирования на DMVPN Spoke

Таблица 9. Параметры IKE и IPsec, используемые для настройки туннелирования IPsec на маршрутизаторе DMVPN Spoke дочернего офиса №1.

		RT-OFFICE-1
Параметры IKE	Алгоритм шифрования	AES-256
	Алгоритм хеширования	SHA2-256
	Группа Диффи-Хеллмана	19
	Время жизни IKE-сеcсии в секундах	86400
	Идентификатор IKE-сессии	spoke1.company.loc
	Интервал отправки DPD-сообщений	40
	Общий таймаут ожидания ответа на DPD-сообщение	160
	Действие при наступлении таймаута DPD	Закрытие сессии IKE
Параметры IPsec	Алгоритм шифрования	AES-256
	Алгоритм хеширования	SHA2-256
	Группа Диффи-Хеллмана для механизма PFS	19
	Время жизни IPsec-сесcии в секундах	28800
	Время жизни IPsec-сесcии в килобайтах	4608000
	Интервал ранней реаутентификации IKE-сессии/Интервал раннего рекеинга IPsec-сессии в секундах	3600
	Пороговое значение ранней реаутентификации IKE-сессии/Пороговое значение раннего рекеинга IPsec-сессии в килобайтах	86400

Начинается настройка IPsec с настройки наборов криптографических алгоритмов для протокола IKE:

RT-OFFICE-1

security ike proposal DMVPN_IKE_PROP_1
  description "DMVPN | IKE proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  dh-group 19
exit

RT-OFFICE-1

security ike keyring DMVPN_IKE_KEYRING
  description "DMVPN | IKE keyring"
  identity dns *.company.loc pre-shared-key ascii-text password
exit

RT-OFFICE-1

security ike policy DMVPN_IKE_POL
  description "DMVPN | IKE policy"
  lifetime seconds 86400
  keyring DMVPN_IKE_KEYRING
  authentication method keyring
  proposal DMVPN_IKE_PROP_1
exit

Создадим набор криптошлюзов IKE.

В связи с особенностями настройки IPsec в схеме DMVPN на сервисных маршрутизаторах ESR, на маршрутизаторах в роли DMVPN Spoke необходимо создавать несколько IPsec VPN-политик: одну для подключения к другим DMVPN Spoke и по одной на каждый настроенный DMVPN Hub. Например, в рамках данного руководства подключение будет производиться через одного интернет-провайдера к двум DMVPN Hub, значит в конфигурации необходимо создать три IPsec VPN-политики, а следовательно, три криптошлюза IKE.

Для использования протокола IKE версии 2 обязательна команда «version v2-only», в противном случае туннель будет использовать протокол IKE версии 1.
Поддержку протокола MOBIKE необходимо отключать, в схеме DMVPN он может привести к ошибкам построения туннелей между DMVPN Hub и DMVPN Spoke.
В случае привязки криптошлюза к интерфейсу командой «local interface» привязать локальную сеть к адресу на этом интерфейсе можно командой «local network dynamic».
В схеме DMVPN в туннели IPsec помещается только GRE-трафик, поэтому корректным будет указывать ключ «protocol gre» в командах «local network» и «remote network».

RT-OFFICE-1

security ike gateway DMVPN_IKE_GW_HUB_1
  description "DMVPN | RT-HUB-1 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke1.company.loc"
  remote id dns "hub1.company.loc"
  remote address 203.0.113.4
  remote network 203.0.113.4/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike gateway DMVPN_IKE_GW_HUB_2
  description "DMVPN | RT-HUB-2 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke1.company.loc"
  remote id dns "hub2.company.loc"
  remote address 203.0.113.132
  remote network 203.0.113.132/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike gateway DMVPN_IKE_GW_SPOKES
  description "DMVPN | Spokes IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke1.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

Пояснение

1) Указываем в качестве «local interface» интерфейс в сторону интернет-провайдера.
2) Использование «local id» и «remote id» — один из удобных способов идентификации IKE-соседей. Поскольку в «security ike keyring» использованы доменные имена, тот же тип ID используем и здесь.
3) Будет создано три криптошлюза — для подключения к RT-HUB-1, RT-HUB-2 и другим DMVPN Spoke в облаке.

RT-OFFICE-1

security ike session uniqueids replace

Создадим набор криптографических алгоритмов уже непосредственно для туннеля IPsec:

RT-OFFICE-1

security ipsec proposal DMVPN_IPSEC_PROP_1
  description "DMVPN | IPsec proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  pfs dh-group 19
exit

RT-OFFICE-1

security ipsec policy DMVPN_IPSEC_POL
  description "DMVPN | IPsec policy"
  lifetime seconds 28800
  lifetime kilobytes 4608000
  proposal DMVPN_IPSEC_PROP_1
exit

Наконец, все собранные настройки IKE и IPsec можно объединить в общие VPN-профили. Как и криптошлюзов IKE, получим три IPsec VPN-профиля. Для IPsec VPN-профилей, использующихся на туннелях GRE в схеме DMVPN обязательно включение транспортного режима:

RT-OFFICE-1

security ipsec vpn DMVPN_IPSEC_VPN_HUB_1
  description "DMVPN | RT-HUB-1 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_1
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit

security ipsec vpn DMVPN_IPSEC_VPN_HUB_2
  description "DMVPN | RT-HUB-2 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_2
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit

security ipsec vpn DMVPN_IPSEC_VPN_SPOKES
  description "DMVPN | Spokes IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_SPOKES
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit

Разрешим прохождение трафика, связанного с IPsec-туннелями. Для этого сначала опишем профили портов для протокола IKE и упакованного в UDP шифрованного трафика протоколов IKE и ESP:

RT-OFFICE-1

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit

Пояснение

1) UDP/500 порт используется протоколом IKEv2 в момент первичного пакетообмена с удаленным IKE-соседом.
2) UDP/4500 порт используется для отправки сообщений протокола IKEv2 при определении наличия NAT посередине между пирами.
3) Также UDP/4500 порт используется для отправки запакованных в UDP сообщений протокола ESP, сообщения которого представляют собой шифрованный пользовательский трафик в туннеле.

Разрешим входящий трафик IPsec-туннелей:

RT-OFFICE-1

security zone-pair UNTRUSTED self
   rule 20
    description "Permit | IKE/IPsec | From ISP | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
  rule 30
    description "Permit | ESP | From ISP | To ANY"
    action permit
    match protocol esp
    enable
  exit
exit

Пояснение

Пользовательский трафик запаковывается в протокол ESP, и при наличии NAT посередине между IPsec-соседями сообщения протокола ESP, в свою очередь, запаковываются в протокол UDP, порт 4500.

Поскольку туннели между DMVPN Spoke могут подняться и без наличия NAT между ними, отдельным правилом разрешим прохождение ESP пакетов.

Настройка mGRE-туннелей на DMVPN Spoke

Таблица 10. Параметры туннелей GRE на маршрутизаторе DMVPN Spoke дочернего офиса №1

DMVPN Hub	DMVPN Cloud	Номер туннеля GRE	Туннельная адресация DMVPN Spoke	Туннельный адрес DMVPN Hub	NBMA-адрес DMVPN Hub	Ключ туннеля GRE	Время жизни NHRP-записей, секунды
RT-HUB-1	ISP-1 Cloud	11	172.16.1.11/24	172.16.1.1	203.0.113.4	1000	600
RT-HUB-2	ISP-2 Cloud	12	172.16.2.11/24	172.16.2.1	203.0.113.132	2000	600

Сначала изменим общие настройки туннеля GRE на каждом из DMVPN Hub. К таким настройкам относятся:

режим работы multipoint;
значение key;
значение TTL;
размер MTU;
значение TCP adjust-mss;
туннельный IP-адрес;
интерфейс, с которого будет строиться GRE-туннель;
имя транспортного VRF.

RT-OFFICE-1

tunnel gre 11
  description "DMVPN | Cloud 1"
  key 1000
  ttl 64
  mtu 1400
  multipoint
  tunnel-source vrf ISP
  local interface gigabitethernet 1/0/1
  ip address 172.16.1.11/24
  ip tcp adjust-mss 1360
  enable
exit

tunnel gre 12
  description "DMVPN | Cloud 2"
  key 2000
  ttl 64
  mtu 1400
  multipoint
  tunnel-source vrf ISP
  local interface gigabitethernet 1/0/1
  ip address 172.16.2.11/24
  ip tcp adjust-mss 1360
  enable
exit

Маршрутизаторы DMVPN Spoke с точки зрения протокола NHRP выполняют роль NHRP клиентов, которые после регистрации в облаке DMVPN на одном или нескольких DMVPN Hub могут запрашивать у них информацию о других членах облака DMVPN. В связи с этим для корректной работы DMVPN Spoke необходимо описать настройки протокола NHRP для подключения к обоим DMVPN Hub.

Для корректного построения Spoke-to-Spoke-туннелей, маршрутизация на которых направляет весь трафик на DMVPN Hub, включим опцию «ip nhrp shortcut», активирующую на DMVPN Spoke реагирование на специальные сообщения протокола NHRP «Traffic Indication», которые DMVPN Hub будет отправлять в ответ на пакеты предназначенные другому DMVPN Spoke. Обработка такого сообщения приведет к построению Spoke-to-Spoke туннеля и трафик между DMVPN Spoke будет проходить напрямую, минуя DMVPN Hub.

Такая схема организации маршрутизации и построения Spoke-to-Spoke туннелей в облаках DMVPN общепринято именуется третьей фазой DMVPN.

RT-OFFICE-1

tunnel gre 11
  ip nhrp authentication password
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_1 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES dynamic
  ip nhrp map 172.16.1.1 203.0.113.4
  ip nhrp nhs 172.16.1.1
  ip nhrp multicast nhs
  ip nhrp enable
exit

tunnel gre 12
  ip nhrp authentication password
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_2 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES dynamic
  ip nhrp map 172.16.2.1 203.0.113.132
  ip nhrp nhs 172.16.2.1
  ip nhrp multicast nhs
  ip nhrp enable
exit

Из-за особенностей декапсуляции трафика из IPsec-туннелей, работающих в транспортном режиме инкапсуляции, трафик после дешифровки попадает на тот же сетевой интерфейс, который терминирует IPsec-туннель. В связи с этим в правилах межсетевого экранирования на DMVPN Spoke необходимо разрешить прием не только шифрованных IPsec-пакетов, но и GRE-пакетов, которые попадают на интерфейс после дешифрования.

RT-OFFICE-1

security zone-pair UNTRUSTED self
   rule 40
    description "Permit | ESP | From GRE | To ANY"
    action permit
    match protocol gre
    enable
  exit 
exit

Для фильтрации трафика внутри облака DMVPN нужно создать отдельную зону безопасности и назначить её на GRE-туннели. Разрешите прохождение входящего ICMP-трафика в этой зоне:

RT-OFFICE-1

security zone DMVPN_NET
  description "DMVPN | Cloud"
exit

tunnel gre 11
  security-zone DMVPN_NET
exit
tunnel gre 12
  security-zone DMVPN_NET
exit
 
security zone-pair DMVPN_NET self
   rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Конфигурирование маршрутизации для функционирования облака DMVPN в центральном офисе

Настроим BGP-соседей в сторону DMVPN Hub:

RT-OFFICE-1

router bgp log-neighbor-changes

router bgp 65000
  neighbor 172.16.1.1
    description "DMVPN | RT-HUB-1"
    remote-as 65001
    update-source gre 11
    address-family ipv4 unicast
      enable
    exit
    enable
  exit
  neighbor 172.16.2.1
    description "DMVPN | RT-HUB-2"
    remote-as 65002
    update-source gre 12
    address-family ipv4 unicast
      enable
    exit
    enable
  exit
  enable
exit

Созданный route-map указываем для семейства IPv4-маршрутов в созданных BGP-соседях. Также добавим локальную сеть в анонсируемые маршруты:

RT-OFFICE-1

route-map DMVPN_NET_OUT
  rule 10
    description "DMZ | LAN for DMVPN Hub"
    match ip address 192.168.11.0/24
  exit
exit

router bgp 65000
  neighbor 172.16.1.1
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
    exit
  exit
  neighbor 172.16.2.1
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
    exit
  exit
  address-family ipv4 unicast
    network 192.168.11.0/24
  exit
exit

RT-OFFICE-1

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

router bgp 65000
  neighbor 172.16.1.1
    fall-over bfd
  exit
  neighbor 172.16.2.1
    fall-over bfd
  exit
exit

Разрешим прохождение входящего трафика протокола BGP и BFD в зоне безопасности, настроенной на туннелях GRE:

RT-OFFICE-1

object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

security zone-pair DMVPN_NET self
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit

Настройка Zone-Based Firewall для локальной сети

Поскольку теперь построенное облако DMVPN обеспечивает выход трафика локальных пользователей дочернего офиса через интернет-шлюз центрального офиса, необходимо произвести дополнительные настройки Firewall.

Разрешим прохождение транзитного трафика из локальной сети в сторону облака DMVPN:

RT-OFFICE-1

security zone-pair DMVPN_NET CUSTOMER
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To CUSTOMER"
    action permit
    enable
  exit
exit
security zone-pair CUSTOMER DMVPN_NET
  rule 10
    description "Permit | ANY | From CUSTOMER | To DMVPN Cloud"
    action permit
    enable
  exit
exit

На этом настройку DMVPN в дочернем офисе можно считать завершенной.

Настройка DMVPN Spoke в дочернем офисе (DHCP)

Стартовое состояние сети в дочернем офисе

Рассмотрим пример подключения к облаку DMVPN небольшого офиса, в котором присутствует один интернет-провайдер, предоставляющий доступ в Интернет через белый IP-адрес, выдаваемый маршрутизатору в офисе по протоколу DHCP:

Рисунок 6. Схема подключения маршрутизатора дочернего офиса к сети провайдера с адресацией, выдаваемой по протоколу DHCP

RT-OFFICE-2

hostname RT-OFFICE-2

SW-OFFICE-2

hostname SW-OFFICE-2

Организация локального сегмента сети дочернего офиса

Таблица 11. Параметры локальной сети дочернего офиса №2

Назначение	VLAN	Подсеть
Локальная сеть дочернего офиса №2	100	192.168.12.0/24

SW-OFFICE-2

vlan database
 vlan 100
exit
!
interface range GigabitEthernet1/0/1-24
 switchport mode general
 switchport general allowed vlan add 100 untagged
 switchport general pvid 100
 switchport protected-port
exit

Пояснение

Для изоляции клиентов в широковещательном домене включим функционал port-protection.

А порт в сторону маршрутизатора настроим как транковый для требуемого VLAN ID:

SW-OFFICE-2

interface TenGigabitEthernet1/0/1
 switchport mode general
 switchport general allowed vlan add 100 tagged
 switchport forbidden default-vlan 
exit

После чего стерминируем тегированный трафик на физическом саб-интерфейсе пограничного маршрутизатора:

RT-OFFICE-2

interface gigabitethernet 1/0/2.100
  description "LAN | CUSTOMER"
  ip address 192.168.12.1/24
exit

RT-OFFICE-2

security zone CUSTOMER
  description "LAN | CUSTOMER"
exit

interface gigabitethernet 1/0/2.100
  security-zone CUSTOMER
exit

security zone-pair CUSTOMER self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Подключение к сети интернет-провайдера с получением адресации по DHCP

Рассмотрим подключение к сети Интернет с учетом выдачи нам интернет-провайдером по протоколу DHCP следующих параметров для настройки сетевого интерфейса.

Таблица 12. Параметры настройки сети, предоставляемые пограничному маршрутизатору дочернего офиса №2 интернет-провайдером по протоколу DHCP

Параметр	Значение
IP-адрес маршрутизатора	203.0.114.130
Маска сети	255.255.255.128
IP-адрес шлюза	203.0.114.129

В рамках данного примера интернет-провайдер предоставляет по протоколу DHCP публичный (белый) IP-адрес. Для случая, где интернет-провайдер предоставляет по протоколу DHCP приватный (серый) IP-адрес с дальнейшим NAT-преобразованием в публичную IP-адресацию настройка будет выглядеть аналогичным образом, наличие NAT интернет-провайдера не окажет влияния на подключение дочернего филиала к головному через облако DMVPN.

Настроим DHCP-клиент на сетевом интерфейсе, интерфейс при этом вынесем в отдельный, так называемый Front-VRF.

возможность использования маршрута по умолчанию как в виртуальной сети, так и в транспортной сети;
отсутствие пересечения маршрутной информации между транспортной и виртуальной сетью;
дополнительный уровень безопасности виртуальной сети, поскольку трафик из неё не может попасть в транспортную сеть без настроенной инкапсуляции в туннель.

RT-OFFICE-2

ip vrf ISP
exit

interface gigabitethernet 1/0/1
  description "ISP | Uplink"
  ip vrf forwarding ISP
  ip address dhcp
exit

RT-OFFICE-2

security zone UNTRUSTED
  description "ISP | Uplink"
  ip vrf forwarding ISP
exit

interface gigabitethernet 1/0/1
  security-zone UNTRUSTED
exit

security zone-pair UNTRUSTED self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Настройка IKEv2 и IPsec-туннелирования на DMVPN Spoke

Настройка IPsec для будущего облака DMVPN является важной частью данного руководства. Корректная настройка IPsec гарантирует приватность и защищенность трафика между офисами. При дальнейшей настройке будут использованы параметры IKE и IPsec, представленные в таблице 13.

Таблица 13. Параметры IKE и IPsec, используемые для настройки туннелирования IPsec на маршрутизаторе DMVPN Spoke дочернего офиса №2.

		RT-OFFICE-2
Параметры IKE	Алгоритм шифрования	AES-256
	Алгоритм хеширования	SHA2-256
	Группа Диффи-Хеллмана	19
	Время жизни IKE-сеcсии в секундах	86400
	Идентификатор IKE-сессии	spoke2.company.loc
	Интервал отправки DPD-сообщений	40
	Общий таймаут ожидания ответа на DPD-сообщение	160
	Действие при наступлении таймаута DPD	Закрытие сессии IKE
Параметры IPsec	Алгоритм шифрования	AES-256
	Алгоритм хеширования	SHA2-256
	Группа Диффи-Хеллмана для механизма PFS	19
	Время жизни IPsec-сесcии в секундах	28800
	Время жизни IPsec-сесcии в килобайтах	4608000
	Интервал ранней реаутентификации IKE-сессии/Интервал раннего рекеинга IPsec-сессии в секундах	3600
	Пороговое значение ранней реаутентификации IKE-сессии/Пороговое значение раннего рекеинга IPsec-сессии в килобайтах	86400

Начинается настройка IPsec с настройки наборов криптографических алгоритмов для протокола IKE:

RT-OFFICE-2

security ike proposal DMVPN_IKE_PROP_1
  description "DMVPN | IKE proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  dh-group 19
exit

RT-OFFICE-2

security ike keyring DMVPN_IKE_KEYRING
  description "DMVPN | IKE keyring"
  identity dns *.company.loc pre-shared-key ascii-text password
exit

RT-OFFICE-2

security ike policy DMVPN_IKE_POL
  description "DMVPN | IKE policy"
  lifetime seconds 86400
  keyring DMVPN_IKE_KEYRING
  authentication method keyring
  proposal DMVPN_IKE_PROP_1
exit

Создадим набор криптошлюзов IKE.

В связи с особенностями настройки IPsec в схеме DMVPN на сервисных маршрутизаторах ESR, на маршрутизаторах в роли DMVPN Spoke необходимо создавать несколько IPsec VPN-политик: одну для подключения к другим DMVPN Spoke и по одной на каждый настроенный DMVPN Hub. Например, в рамках данного руководства подключение будет производиться через одного интернет-провайдера к двум DMVPN Hub, значит, в конфигурации необходимо создать три IPsec VPN-политики, а следовательно, три криптошлюза IKE.

Для использования протокола IKE версии 2 обязательна команда «version v2-only», в противном случае туннель будет использовать протокол IKE версии 1.
Поддержку протокола MOBIKE необходимо отключать, в схеме DMVPN он может привести к ошибкам построения туннелей между DMVPN Hub и DMVPN Spoke.
В случае привязки криптошлюза к интерфейсу командой «local interface» привязать локальную сеть к адресу на этом интерфейсе можно командой «local network dynamic».
В схеме DMVPN в туннели IPsec помещается только GRE-трафик, поэтому корректным будет указывать ключ «protocol gre» в командах «local network» и «remote network».

RT-OFFICE-2

security ike gateway DMVPN_IKE_GW_HUB_1
  description "DMVPN | RT-HUB-1 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke2.company.loc"
  remote id dns "hub1.company.loc"
  remote address 203.0.113.4
  remote network 203.0.113.4/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike gateway DMVPN_IKE_GW_HUB_2
  description "DMVPN | RT-HUB-2 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke2.company.loc"
  remote id dns "hub2.company.loc"
  remote address 203.0.113.132
  remote network 203.0.113.132/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike gateway DMVPN_IKE_GW_SPOKES
  description "DMVPN | Spokes IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke2.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

Пояснение

1) Указываем в качестве «local interface» интерфейс в сторону интернет-провайдера.
2) Использование «local id» и «remote id» — один из удобных способов идентификации IKE-соседей. Поскольку в «security ike keyring» использованы доменные имена, тот же тип ID используем и здесь.
3) Будет создано три криптошлюза — для подключения к RT-HUB-1, RT-HUB-2 и другим DMVPN Spoke в облаке.

RT-OFFICE-2

security ike session uniqueids replace

Создадим набор криптографических алгоритмов уже непосредственно для туннеля IPsec:

RT-OFFICE-2

security ipsec proposal DMVPN_IPSEC_PROP_1
  description "DMVPN | IPsec proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  pfs dh-group 19
exit

RT-OFFICE-2

security ipsec policy DMVPN_IPSEC_POL
  description "DMVPN | IPsec policy"
  lifetime seconds 28800
  lifetime kilobytes 4608000
  proposal DMVPN_IPSEC_PROP_1
exit

RT-OFFICE-2

security ipsec vpn DMVPN_IPSEC_VPN_HUB_1
  description "DMVPN | RT-HUB-1 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_1
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit

security ipsec vpn DMVPN_IPSEC_VPN_HUB_2
  description "DMVPN | RT-HUB-2 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_2
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit

security ipsec vpn DMVPN_IPSEC_VPN_SPOKES
  description "DMVPN | Spokes IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_SPOKES
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit

RT-OFFICE-2

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit

Пояснение

1) UDP/500 порт используется протоколом IKEv2 в момент первичного пакетообмена с удаленным IKE-соседом.
2) UDP/4500 порт используется для отправки сообщений протокола IKEv2 при определении наличия NAT посередине между пирами.
3) Также UDP/4500 порт используется для отправки запакованных в UDP сообщений протокола ESP, сообщения которого представляют собой шифрованный пользовательский трафик в туннеле.

Разрешим входящий трафик IPsec-туннелей:

RT-OFFICE-2

security zone-pair UNTRUSTED self
   rule 20
    description "Permit | IKE/IPsec | From ISP | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
  rule 30
    description "Permit | ESP | From ISP | To ANY"
    action permit
    match protocol esp
    enable
  exit
exit

Пояснение

Пользовательский трафик запаковывается в протокол ESP, и при наличии NAT посередине между IPsec-соседями сообщения протокола ESP, в свою очередь, запаковываются в протокол UDP, порт 4500.

Поскольку туннели между DMVPN Spoke могут подняться и без наличия NAT между ними, отдельным правилом разрешим прохождения ESP пакетов.

Настройка mGRE-туннелей на DMVPN Spoke

Таблица 14. Параметры туннелей GRE на маршрутизаторе DMVPN Spoke дочернего офиса №2

DMVPN Hub	DMVPN Cloud	Номер туннеля GRE	Туннельная адресация DMVPN Spoke	Туннельный адрес DMVPN Hub	NBMA-адрес DMVPN Hub	Ключ туннеля GRE	Время жизни NHRP-записей, секунды
RT-HUB-1	ISP-1 Cloud	11	172.16.1.12/24	172.16.1.1	203.0.113.4	1000	600
RT-HUB-2	ISP-2 Cloud	12	172.16.2.12/24	172.16.2.1	203.0.113.132	2000	600

Сначала изменим общие настройки туннеля GRE на каждом из DMVPN Hub. К таким настройкам относятся:

режим работы multipoint;
значение key;
значение TTL;
размер MTU;
значение TCP adjust-mss;
туннельный IP-адрес;
интерфейс, с которого будет строиться GRE-туннель;
имя транспортного VRF.

RT-OFFICE-2

tunnel gre 11
  description "DMVPN | Cloud 1"
  key 1000
  ttl 64
  mtu 1400
  multipoint
  tunnel-source vrf ISP
  local interface gigabitethernet 1/0/1
  ip address 172.16.1.12/24
  ip tcp adjust-mss 1360
  enable
exit

tunnel gre 12
  description "DMVPN | Cloud 2"
  key 2000
  ttl 64
  mtu 1400
  multipoint
  tunnel-source vrf ISP
  local interface gigabitethernet 1/0/1
  ip address 172.16.2.12/24
  ip tcp adjust-mss 1360
  enable
exit

Для корректного построения Spoke-to-Spoke-туннелей, маршрутизация на которых весь трафик заводит на DMVPN Hub, включим опцию «ip nhrp shortcut», активирующую на DMVPN Spoke реагирование на специальные сообщения протокола NHRP «Traffic Indication», которые DMVPN Hub будет отправлять в ответ на пакеты, предназначенные другому DMVPN Spoke. Обработка такого сообщения приведет к построению Spoke-to-Spoke-туннеля и трафик между DMVPN Spoke будет проходить напрямую, минуя DMVPN Hub.

RT-OFFICE-2

tunnel gre 11
  ip nhrp authentication password
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_1 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES dynamic
  ip nhrp map 172.16.1.1 203.0.113.4
  ip nhrp nhs 172.16.1.1
  ip nhrp multicast nhs
  ip nhrp enable
exit

tunnel gre 12
  ip nhrp authentication password
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_2 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES dynamic
  ip nhrp map 172.16.2.1 203.0.113.132
  ip nhrp nhs 172.16.2.1
  ip nhrp multicast nhs
  ip nhrp enable
exit

Из-за особенностей декапсуляции трафика из IPsec-туннелей, работающих в транспортном режиме инкапсуляции, трафик после дешифровки попадает на тот же сетевой интерфейс, который терминирует IPsec-туннель. В связи с этим в правилах межсетевого экранирования на DMVPN Spoke необходимо разрешить прием не только шифрованных IPsec-пакетов, но и GRE-пакетов, которые попадают на интерфейс после дешифрования.

RT-OFFICE-2

security zone-pair UNTRUSTED self
   rule 40
    description "Permit | ESP | From GRE | To ANY"
    action permit
    match protocol gre
    enable
  exit 
exit

Для фильтрации трафика внутри облака DMVPN создадим отдельную зону безопасности и назначим её на GRE-туннели. Разрешим прохождение входящего ICMP-трафика в этой зоне:

RT-OFFICE-2

security zone DMVPN_NET
  description "DMVPN | Cloud"
exit

tunnel gre 11
  security-zone DMVPN_NET
exit
tunnel gre 12
  security-zone DMVPN_NET
exit
 
security zone-pair DMVPN_NET self
   rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Конфигурирование маршрутизации для функционирования облака DMVPN в центральном офисе

Настроим BGP-соседей в сторону DMVPN Hub:

RT-OFFICE-2

router bgp log-neighbor-changes

router bgp 65000
  neighbor 172.16.1.1
    description "DMVPN | RT-HUB-1"
    remote-as 65001
    update-source gre 11
    address-family ipv4 unicast
      enable
    exit
    enable
  exit
  neighbor 172.16.2.1
    description "DMVPN | RT-HUB-2"
    remote-as 65002
    update-source gre 12
    address-family ipv4 unicast
      enable
    exit
    enable
  exit
  enable
exit

RT-OFFICE-2

route-map DMVPN_NET_OUT
  rule 10
    description "DMZ | LAN for DMVPN Hub"
    match ip address 192.168.12.0/24
  exit
exit

router bgp 65000
  neighbor 172.16.1.1
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
    exit
  exit
  neighbor 172.16.2.1
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
    exit
  exit
  address-family ipv4 unicast
    network 192.168.12.0/24
  exit
exit

RT-OFFICE-2

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

router bgp 65000
  neighbor 172.16.1.1
    fall-over bfd
  exit
  neighbor 172.16.2.1
    fall-over bfd
  exit
exit

Разрешим прохождение входящего трафика протокола BGP и BFD в зоне безопасности, настроенной на туннелях GRE:

RT-OFFICE-2

object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

security zone-pair DMVPN_NET self
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit

Настройка Zone-Based Firewall для локальной сети

Разрешим прохождение транзитного трафика из локальной сети в сторону облака DMVPN:

RT-OFFICE-2

security zone-pair DMVPN_NET CUSTOMER
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To CUSTOMER"
    action permit
    enable
  exit
exit
security zone-pair CUSTOMER DMVPN_NET
  rule 10
    description "Permit | ANY | From CUSTOMER | To DMVPN Cloud"
    action permit
    enable
  exit
exit

На этом настройку DMVPN в дочернем офисе можно считать завершенной.

Настройка DMVPN Spoke в дочернем офисе (PPPoE)

Стартовое состояние сети в дочернем офисе

Рассмотрим пример подключения к облаку DMVPN небольшого офиса, в котором присутствует один интернет-провайдер, предоставляющий доступ в Интернет через PPPoE-туннель:

Рисунок 7. Схема подключения маршрутизатора дочернего офиса к сети интернет-провайдера через туннель PPPoE

RT-OFFICE-3

hostname RT-OFFICE-3

SW-OFFICE-3

hostname SW-OFFICE-3

Организация локального сегмента сети дочернего офиса

Таблица 15. Параметры локальной сети дочернего офиса №3

Назначение	VLAN	Подсеть
Локальная сеть дочернего офиса №3	100	192.168.13.0/24

SW-OFFICE-3

vlan database
 vlan 100
exit
!
interface range GigabitEthernet1/0/1-24
 switchport mode general
 switchport general allowed vlan add 100 untagged
 switchport general pvid 100
 switchport protected-port
exit

Пояснение

Для изоляции клиентов в широковещательном домене включим функционал port-protection.

А порт в сторону маршрутизатора настроим как транковый для требуемого VLAN ID:

SW-OFFICE-3

interface TenGigabitEthernet1/0/1
 switchport mode general
 switchport general allowed vlan add 100 tagged
 switchport forbidden default-vlan 
exit

После чего стерминируем тегированный трафик на физическом саб-интерфейсе пограничного маршрутизатора:

RT-OFFICE-3

interface gigabitethernet 1/0/2.100
  description "LAN | CUSTOMER"
  ip address 192.168.13.1/24
exit

RT-OFFICE-3

security zone CUSTOMER
  description "LAN | CUSTOMER"
exit

interface gigabitethernet 1/0/2.100
  security-zone CUSTOMER
exit

security zone-pair CUSTOMER self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Подключение к сети интернет-провайдера через туннель PPPoE

Рассмотрим подключение к сети Интернет с учетом следующих настроек, полученных при поднятии PPPoE-туннеля в сторону интернет-провайдера. Настройки представлены в таблице 16.

Таблица 16. Параметры для настройки PPPoE-туннеля на пограничном маршрутизаторе дочернего офиса №3 в сторону интернет-провайдера

Параметр	Значение
Логин PPPoE	user
Пароль PPPoE	password
Локальный туннельный адрес	10.0.0.15
Удаленный туннельный адрес	172.16.0.1

В рамках данного примера интернет-провайдер предоставляет через туннель PPPoE приватный (серый) IP-адрес. Для случая, где интернет-провайдер предоставляет через туннель PPPoE публичный (белый) IP-адрес настройка будет выглядеть аналогичным образом, отсутствие NAT интернет-провайдера не окажет влияния на подключение дочернего филиала к головному через облако DMVPN.

Физический интерфейс, с которого будет поднят PPPoE-туннель, вынесем в отдельный VRF.

возможность использования маршрута по умолчанию как в виртуальной сети, так и в транспортной сети;
отсутствие пересечения маршрутной информации между транспортной и виртуальной сетью;
дополнительный уровень безопасности виртуальной сети, поскольку трафик из неё не может попасть в транспортную сеть без настроенной инкапсуляции в туннель.

RT-OFFICE-3

ip vrf ISP
exit

interface gigabitethernet 1/0/1
  description "ISP | PPPoE source-interface"
  ip vrf forwarding ISP
exit

Добавим туннель PPPoE в этот же VRF. В конфигурации не забываем указать логин и пароль для авторизации:

RT-OFFICE-3

tunnel pppoe 1
  description "ISP | Uplink"
  ip vrf forwarding ISP
  interface gigabitethernet 1/0/1
  username user password ascii-text password
  enable
exit

Укажем для туннеля PPPoE отдельную зону безопасности и разрешим входящий с точки зрения маршрутизатора трафик протокола ICMP из этой зоны безопасности:

RT-OFFICE-3

security zone UNTRUSTED
  description "ISP | Uplink"
  ip vrf forwarding ISP
exit

tunnel pppoe 1
  security-zone UNTRUSTED
exit

security zone-pair UNTRUSTED self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Настройка IKEv2 и IPsec-туннелирования на DMVPN Spoke

Таблица 17. Параметры IKE и IPsec, используемые для настройки туннелирования IPsec на маршрутизаторе DMVPN Spoke дочернего офиса №3

		RT-OFFICE-3
Параметры IKE	Алгоритм шифрования	AES-256
	Алгоритм хеширования	SHA2-256
	Группа Диффи-Хеллмана	19
	Время жизни IKE-сеcсии в секундах	86400
	Идентификатор IKE-сессии	spoke3.company.loc
	Интервал отправки DPD-сообщений	40
	Общий таймаут ожидания ответа на DPD-сообщение	160
	Действие при наступлении таймаута DPD	Закрытие сессии IKE
Параметры IPsec	Алгоритм шифрования	AES-256
	Алгоритм хеширования	SHA2-256
	Группа Диффи-Хеллмана для механизма PFS	19
	Время жизни IPsec-сесcии в секундах	28800
	Время жизни IPsec-сесcии в килобайтах	4608000
	Интервал ранней реаутентификации IKE-сессии/Интервал раннего рекеинга IPsec-сессии в секундах	3600
	Пороговое значение ранней реаутентификации IKE-сессии/Пороговое значение раннего рекеинга IPsec-сессии в килобайтах	86400

Начинается настройка IPsec с настройки наборов криптографических алгоритмов для протокола IKE:

RT-OFFICE-3

security ike proposal DMVPN_IKE_PROP_1
  description "DMVPN | IKE proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  dh-group 19
exit

RT-OFFICE-3

security ike keyring DMVPN_IKE_KEYRING
  description "DMVPN | IKE keyring"
  identity dns *.company.loc pre-shared-key ascii-text password
exit

RT-OFFICE-3

security ike policy DMVPN_IKE_POL
  description "DMVPN | IKE policy"
  lifetime seconds 86400
  keyring DMVPN_IKE_KEYRING
  authentication method keyring
  proposal DMVPN_IKE_PROP_1
exit

Создадим набор криптошлюзов IKE.

В связи с особенностями настройки IPsec в схеме DMVPN на сервисных маршрутизаторах ESR, на маршрутизаторах в роли DMVPN Spoke необходимо создавать несколько IPsec VPN-политик: одну для подключения к другим DMVPN Spoke и по одной на каждый настроенный DMVPN Hub. Например, в рамках данного руководства подключение будет производиться через одного интернет-провайдера к двум DMVPN Hub, значит, в конфигурации необходимо создать три IPsec VPN-политики, а следовательно, три криптошлюза IKE.

Для использования протокола IKE версии 2 обязательна команда «version v2-only», в противном случае туннель будет использовать протокол IKE версии 1.
Поддержку протокола MOBIKE необходимо отключать, в схеме DMVPN он может привести к ошибкам построения туннелей между DMVPN Hub и DMVPN Spoke.
В случае привязки криптошлюза к интерфейсу командой «local interface» привязать локальную сеть к адресу на этом интерфейсе можно командой «local network dynamic».
В схеме DMVPN в туннели IPsec помещается только GRE-трафик, поэтому корректным будет указывать ключ «protocol gre» в командах «local network» и «remote network».

RT-OFFICE-3

security ike gateway DMVPN_IKE_GW_HUB_1
  description "DMVPN | RT-HUB-1 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local tunnel pppoe 1
  local network dynamic protocol gre 
  local id dns "spoke3.company.loc"
  remote id dns "hub1.company.loc"
  remote address 203.0.113.4
  remote network 203.0.113.4/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike gateway DMVPN_IKE_GW_HUB_2
  description "DMVPN | RT-HUB-2 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local tunnel pppoe 1
  local network dynamic protocol gre 
  local id dns "spoke3.company.loc"
  remote id dns "hub2.company.loc"
  remote address 203.0.113.132
  remote network 203.0.113.132/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike gateway DMVPN_IKE_GW_SPOKES
  description "DMVPN | Spokes IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local tunnel pppoe 1
  local network dynamic protocol gre 
  local id dns "spoke3.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

Пояснение

1) Указываем в качестве «local interface» интерфейс в сторону интернет-провайдера.
2) Использование «local id» и «remote id» — один из удобных способов идентификации IKE-соседей. Поскольку в «security ike keyring» использованы доменные имена, тот же тип ID используем и здесь.
3) Будет создано три криптошлюза — для подключения к RT-HUB-1, RT-HUB-2 и другим DMVPN Spoke в облаке.

RT-OFFICE-3

security ike session uniqueids replace

Создадим набор криптографических алгоритмов уже непосредственно для туннеля IPsec:

RT-OFFICE-3

security ipsec proposal DMVPN_IPSEC_PROP_1
  description "DMVPN | IPsec proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  pfs dh-group 19
exit

RT-OFFICE-3

security ipsec policy DMVPN_IPSEC_POL
  description "DMVPN | IPsec policy"
  lifetime seconds 28800
  lifetime kilobytes 4608000
  proposal DMVPN_IPSEC_PROP_1
exit

RT-OFFICE-3

security ipsec vpn DMVPN_IPSEC_VPN_HUB_1
  description "DMVPN | RT-HUB-1 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_1
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit

security ipsec vpn DMVPN_IPSEC_VPN_HUB_2
  description "DMVPN | RT-HUB-2 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_2
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit

security ipsec vpn DMVPN_IPSEC_VPN_SPOKES
  description "DMVPN | Spokes IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_SPOKES
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit

RT-OFFICE-3

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit

Пояснение

1) UDP/500 порт используется протоколом IKEv2 в момент первичного пакетообмена с удаленным IKE-соседом.
2) UDP/4500 порт используется для отправки сообщений протокола IKEv2 при определении наличия NAT посередине между пирами.
3) Также UDP/4500 порт используется для отправки запакованных в UDP сообщений протокола ESP, сообщения которого представляют собой шифрованный пользовательский трафик в туннеле.

Разрешим входящий трафик IPsec-туннелей:

RT-OFFICE-3

security zone-pair UNTRUSTED self
   rule 20
    description "Permit | IKE/IPsec | From ISP | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
  rule 30
    description "Permit | ESP | From ISP | To ANY"
    action permit
    match protocol esp
    enable
  exit
exit

Пояснение

Пользовательский трафик запаковывается в протокол ESP, и при наличии NAT посередине между IPsec-соседями сообщения протокола ESP, в свою очередь, запаковываются в протокол UDP, порт 4500.

Поскольку туннели между DMVPN Spoke могут подняться и без наличия NAT между ними, отдельным правилом разрешим прохождения ESP-пакетов.

Настройка mGRE-туннелей на DMVPN Spoke

Таблица 18. Параметры туннелей GRE на маршрутизаторе DMVPN Spoke дочернего офиса №3

DMVPN Hub	DMVPN Cloud	Номер туннеля GRE	Туннельная адресация DMVPN Spoke	Туннельный адрес DMVPN Hub	NBMA-адрес DMVPN Hub	Ключ туннеля GRE	Время жизни NHRP-записей, секунды
RT-HUB-1	ISP-1 Cloud	11	172.16.1.13/24	172.16.1.1	203.0.113.4	1000	600
RT-HUB-2	ISP-2 Cloud	12	172.16.2.13/24	172.16.2.1	203.0.113.132	2000	600

Сначала настроим общие настройки туннеля GRE на каждом из DMVPN Hub. К таким настройкам относятся:

режим работы multipoint;
значение key;
значение TTL;
размер MTU;
значение TCP adjust-mss;
туннельный IP-адрес;
интерфейс, с которого будет строиться GRE-туннель;
имя транспортного VRF.

RT-OFFICE-3

tunnel gre 11
  description "DMVPN | Cloud 1"
  key 1000
  ttl 64
  mtu 1400
  multipoint
  tunnel-source vrf ISP
  local interface pppoe 1
  ip address 172.16.1.13/24
  ip tcp adjust-mss 1360
  enable
exit

tunnel gre 12
  description "DMVPN | Cloud 2"
  key 2000
  ttl 64
  mtu 1400
  multipoint
  tunnel-source vrf ISP
  local interface pppoe 1
  ip address 172.16.2.13/24
  ip tcp adjust-mss 1360
  enable
exit

Для корректного построения Spoke-to-Spoke-туннелей, маршрутизация на которых весь трафик заводит на DMVPN Hub, включим опцию «ip nhrp shortcut»,активирующую на DMVPN Spoke реагирование на специальные сообщения протокола NHRP «Traffic Indication», которые DMVPN Hub будет отправлять в ответ на пакеты, предназначенные другому DMVPN Spoke. Обработка данного сообщения приведет к построению Spoke-to-Spoke-туннеля и трафик между DMVPN Spoke будет проходить напрямую, минуя DMVPN Hub.

RT-OFFICE-3

tunnel gre 11
  ip nhrp authentication password
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_1 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES dynamic
  ip nhrp map 172.16.1.1 203.0.113.4
  ip nhrp nhs 172.16.1.1
  ip nhrp multicast nhs
  ip nhrp enable
exit

tunnel gre 12
  ip nhrp authentication password
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_2 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES dynamic
  ip nhrp map 172.16.2.1 203.0.113.132
  ip nhrp nhs 172.16.2.1
  ip nhrp multicast nhs
  ip nhrp enable
exit

Из-за особенностей декапсуляции трафика из IPsec-туннелей, работающих в транспортном режиме инкапсуляции, трафик после дешифровки попадает на тот же сетевой интерфейс, который терминирует IPsec-туннель. В связи с этим в правилах межсетевого экранирования на DMVPN Spoke необходимо разрешить прием не только шифрованных IPsec-пакетов, но и GRE-пакетов, которые попадают на интерфейс после дешифрования.

RT-OFFICE-3

security zone-pair UNTRUSTED self
   rule 40
    description "Permit | ESP | From GRE | To ANY"
    action permit
    match protocol gre
    enable
  exit 
exit

RT-OFFICE-3

security zone DMVPN_NET
  description "DMVPN | Cloud"
exit

tunnel gre 11
  security-zone DMVPN_NET
exit
tunnel gre 12
  security-zone DMVPN_NET
exit
 
security zone-pair DMVPN_NET self
   rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Конфигурирование маршрутизации для функционирования облака DMVPN в центральном офисе

Настроим BGP-соседей в сторону DMVPN Hub:

RT-OFFICE-3

router bgp log-neighbor-changes

router bgp 65000
  neighbor 172.16.1.1
    description "DMVPN | RT-HUB-1"
    remote-as 65001
    update-source gre 11
    address-family ipv4 unicast
      enable
    exit
    enable
  exit
  neighbor 172.16.2.1
    description "DMVPN | RT-HUB-2"
    remote-as 65002
    update-source gre 12
    address-family ipv4 unicast
      enable
    exit
    enable
  exit
  enable
exit

RT-OFFICE-3

route-map DMVPN_NET_OUT
  rule 10
    description "DMZ | LAN for DMVPN Hub"
    match ip address 192.168.13.0/24
  exit
exit

router bgp 65000
  neighbor 172.16.1.1
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
    exit
  exit
  neighbor 172.16.2.1
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
    exit
  exit
  address-family ipv4 unicast
    network 192.168.13.0/24
  exit
exit

RT-OFFICE-3

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

router bgp 65000
  neighbor 172.16.1.1
    fall-over bfd
  exit
  neighbor 172.16.2.1
    fall-over bfd
  exit
exit

Разрешим прохождение входящего трафика протокола BGP и BFD в зоне безопасности, настроенной на туннелях GRE:

RT-OFFICE-3

object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

security zone-pair DMVPN_NET self
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit

Настройка Zone-Based Firewall для локальной сети

Разрешим прохождение транзитного трафика из локальной сети в сторону облака DMVPN:

RT-OFFICE-3

security zone-pair DMVPN_NET CUSTOMER
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To CUSTOMER"
    action permit
    enable
  exit
exit
security zone-pair CUSTOMER DMVPN_NET
  rule 10
    description "Permit | ANY | From CUSTOMER | To DMVPN Cloud"
    action permit
    enable
  exit
exit

На этом настройку DMVPN в дочернем офисе можно считать завершенной.

Настройка DMVPN Spoke в дочернем офисе (с резервным каналом)

Стартовое состояние сети в дочернем офисе

Рассмотрим пример подключения офиса к DMVPN-облаку, где организация использует два канала доступа в Интернет от разных интернет-провайдеров. Оба интернет-провайдера предоставляют белые статически-назначаемые IP-адреса, что позволяет обеспечить резервирование соединения.

Рисунок 8. Схема подключения маршрутизатора дочернего офиса через сети двух интернет-провайдеров.

В рамках данной схемы DMVPN на узле Spoke организуются два GRE-туннеля: первый — к первому DMVPN Hub, второй — ко второму. Узел Spoke обладает IP-связностью по двум независимым интернет-провайдерам; транспорт первого интернет-провайдера используется для построения DMVPN-соединения с первым DMVPN Hub, транспорт второго интернет-провайдера — для соединения со вторым DMVPN Hub.

Маршрутизатор дочернего офиса подключается к двум интернет-провайдерам, каждый из которых предоставляет канал с белым статически-назначаемым IP-адресом. Для удобства конфигурирования сразу зададим именования обоим устройствам в данной схеме.

RT-OFFICE-4

hostname RT-OFFICE-4

SW-OFFICE-4

hostname SW-OFFICE-4

Организация локального сегмента сети дочернего офиса

В рамках руководства рассмотрим простой пример настройки коммутатора доступа для обеспечения подключения оборудования дочернего офиса к пограничному маршрутизатору. Параметры локальной сети офиса описаны в таблице 19.

Таблица 19. Параметры локальной сети дочернего офиса №4.

Назначение	VLAN	Подсеть
Локальная сеть дочернего офиса №4	100	192.168.14.0/24

Перейдем к настройке коммутатора. Необходимо сконфигурировать клиентские порты в режиме general. Требуемый VLAN ID инсталлируется нетегированному трафику.

SW-OFFICE-4

vlan database
 vlan 100
exit
!
interface range GigabitEthernet1/0/1-24
 switchport mode general
 switchport general allowed vlan add 100 untagged
 switchport general pvid 100
 switchport protected-port
exit

Пояснение

Для изоляции клиентов в широковещательном домене включим функционал port-protection.

Физический интерфейс в сторону маршрутизатора настроим в режиме trunk для требуемого VLAN ID:

SW-OFFICE-4

interface TenGigabitEthernet1/0/1
 switchport mode general
 switchport general allowed vlan add 100 tagged
 switchport forbidden default-vlan 
exit

Перейдем к конфигурации пограничного маршрутизатора. Добавим саб-интерфейс для обработки тегированного трафика с соответственным VLAN ID:

RT-OFFICE-4

interface gigabitethernet 1/0/3.100
  description "LAN | CUSTOMER"
  ip address 192.168.14.1/24
exit

Добавим для саб-интерфейса зону безопасности и обеспечим прием входящего трафика протокола ICMP из данной зоны безопасности:

RT-OFFICE-4

security zone CUSTOMER
  description "LAN | CUSTOMER"
exit

interface gigabitethernet 1/0/3.100
  security-zone CUSTOMER
exit

security zone-pair CUSTOMER self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Подключение к сети интернет-провайдера №1 с использованием статической адресации

Рассмотрим подключение к сети Интернет с учетом выданных интернет-провайдером №1 данных для настройки статической адресации на интерфейсе. Параметры для подключения к интернет-провайдеру описаны в таблице 20.

Таблица 20. Данные интернет-провайдера №1 для настройки статической IP-адресации на пограничном маршрутизаторе дочернего офиса №4

Параметр	Значение
IP-адрес пограничного маршрутизатора	203.10.1.2
Маска сети	255.255.255.0
IP-адрес шлюза	203.10.1.1

В рамках данного примера интернет-провайдер №1 и №2 предоставляет для настройки статической адресации публичные (белые) IP-адреса от каждого интернет-провайдера соответственно. Для случая, где интернет-провайдер предоставляет для настройки приватный (серый) IP-адрес с дальнейшим NAT-преобразованием в публичную IP-адресацию, настройка будет выглядеть аналогичным образом.

Перейдем к настройке сетевого интерфейса и статической маршрутизации. Интерфейс разграничим с помощью VRF — далее в настройке будет производиться конфигурация Front-Door VRF-схемы.

Схема подключения, в которой транспортная сеть для некой виртуальной сети выносится в отдельное сетевое пространство имен, называется Front-Door VRF. Такая схема организации транспорта для виртуальной сети дает следующие преимущества:

возможность использования маршрута по умолчанию как в виртуальной сети, так и в транспортной сети;
отсутствие пересечения маршрутной информации между транспортной и виртуальной сетью;
дополнительный уровень безопасности виртуальной сети, поскольку трафик из неё не может попасть в транспортную сеть без настроенной инкапсуляции в туннель.

RT-OFFICE-4

ip vrf ISP-CORE
exit

interface gigabitethernet 1/0/2
  ip vrf forwarding ISP-CORE
  description "ISP-CORE | Uplink"
  ip address 203.10.1.2/24
exit

ip route vrf ISP-CORE 0.0.0.0/0 203.10.1.1 name ISP-CORE

Сконфигурируем для данного сетевого интерфейса отдельную зону безопасности и разрешим входящий с точки зрения пограничного маршрутизатора трафик протокола ICMP из данной зоны безопасности:

RT-OFFICE-4

security zone CORE
  description "ISP-CORE | Uplink"
  ip vrf forwarding ISP-CORE
exit

interface gigabitethernet 1/0/2
  security-zone CORE
exit

security zone-pair CORE self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Подключение к сети интернет-провайдера №2 с использованием статической адресации

Необходимо рассмотреть подключение к сети Интернет с учетом выданных интернет-провайдером №2 данных для настройки статической адресации на интерфейсе. Параметры для подключения к интернет-провайдеру описаны в таблице 21.

Таблица 21. Данные интернет-провайдера №2 для настройки статической IP-адресации на пограничном маршрутизаторе дочернего офиса №4

Параметр	Значение
IP-адрес маршрутизатора	203.10.0.2
Маска сети	255.255.255.0
IP-адрес шлюза	203.10.0.1

Перейдем к настройке сетевого интерфейса и статической маршрутизации. Интерфейс также разграничим с помощью VRF — далее в настройке будет производиться конфигурация Front-Door VRF-схемы.

RT-OFFICE-4

ip vrf ISP-BACKUP
exit

interface gigabitethernet 1/0/1
  ip vrf forwarding ISP-BACKUP
  description "ISP-BACKUP | Uplink"
  ip address 203.10.0.2/24
exit

ip route vrf ISP-BACKUP 0.0.0.0/0 203.10.0.1 name ISP-BACKUP

Сконфигурируем для сетевого интерфейса, выходящего в сеть интернет-провайдера №2, отдельную зону безопасности и разрешим входящий, с точки зрения пограничного маршрутизатора, трафик протокола ICMP из данной зоны безопасности:

RT-OFFICE-4

security zone BACKUP
  description "ISP-BACKUP | Uplink"
  ip vrf forwarding ISP-BACKUP
exit

interface gigabitethernet 1/0/1
  security-zone BACKUP
exit

security zone-pair BACKUP self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Настройка IKEv2 и IPsec-туннелирования на DMVPN Spoke

Конфигурация IPsec для будущего DMVPN-облака представляет собой ключевой этап данного руководства. Правильная настройка IPsec обеспечивает конфиденциальность и защиту трафика между дочерними офисами. При последующей настройке будут использоваться параметры IKE и IPsec, приведённые в таблице 22.

Таблица 22. Параметры IKE и IPsec, используемые для настройки туннелирования IPsec на маршрутизаторе DMVPN Spoke дочернего офиса №4.

		RT-OFFICE-4
Параметры IKE	Алгоритм шифрования	AES-256
	Алгоритм хеширования	SHA2-256
	Группа Диффи-Хеллмана	19
	Время жизни IKE-сеcсии в секундах	86400
	Идентификатор IKE-сессии	spoke4.company.loc
	Интервал отправки DPD-сообщений	40
	Общий таймаут ожидания ответа на DPD-сообщение	160
	Действие при наступлении таймаута DPD	Закрытие сессии IKE
Параметры IPsec	Алгоритм шифрования	AES-256
	Алгоритм хеширования	SHA2-256
	Группа Диффи-Хеллмана для механизма PFS	19
	Время жизни IPsec-сесcии в секундах	28800
	Время жизни IPsec-сесcии в килобайтах	4608000
	Интервал ранней реаутентификации IKE-сессии/Интервал раннего рекеинга IPsec-сессии в секундах	3600
	Пороговое значение ранней реаутентификации IKE-сессии/Пороговое значение раннего рекеинга IPsec-сессии в килобайтах	86400

Начало настройки IPsec заключается в настройке наборов криптографических алгоритмов для протокола IKE:

RT-OFFICE-4

security ike proposal DMVPN_IKE_PROP_1
  description "DMVPN | IKE proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  dh-group 19
exit

Cоздадим набор ключей аутентификации IKE. Поскольку в дальнейшей настройке планируется использовать в качестве идентификатора IPsec-соседа доменные имена, в наборе ключей тоже будут использоваться доменные имена:

RT-OFFICE-4

security ike keyring DMVPN_IKE_KEYRING
  description "DMVPN | IKE keyring"
  identity dns *.company.loc pre-shared-key ascii-text password
exit

Перейдем к созданию политики IKE. Она включает в себя наборы алгоритмов шифрования, выбор метода аутентификации и время жизни IKE-сессии (Phase 1):

RT-OFFICE-4

security ike policy DMVPN_IKE_POL
  description "DMVPN | IKE policy"
  lifetime seconds 86400
  keyring DMVPN_IKE_KEYRING
  authentication method keyring
  proposal DMVPN_IKE_PROP_1
exit

Создадим набор криптошлюзов IKE.

В связи с особенностями настройки IPsec в схеме DMVPN на сервисных маршрутизаторах ESR на маршрутизаторах в роли DMVPN Spoke необходимо создавать несколько IPsec VPN-политик: одну для подключения к другим DMVPN Spoke и по одной на каждый настроенный DMVPN Hub.

Для использования протокола IKE версии 2 обязательна команда «version v2-only», в противном случае туннель будет использовать протокол IKE версии 1.
Поддержку протокола MOBIKE необходимо отключать, в схеме DMVPN он может привести к ошибкам построения туннелей между DMVPN Hub и DMVPN Spoke.
В случае привязки криптошлюза к интерфейсу командой «local interface» привязать локальную сеть к адресу на этом интерфейсе можно командой «local network dynamic».
В схеме DMVPN в туннели IPsec помещается только GRE-трафик, поэтому корректным будет указывать ключ «protocol gre» в командах «local network» и «remote network».

RT-OFFICE-4

security ike gateway DMVPN_IKE_GW_HUB_1
  description "DMVPN | RT-HUB-1 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke5.company.loc"
  remote id dns "hub1.company.loc"
  remote address 203.0.113.4
  remote network 203.0.113.4/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike gateway DMVPN_IKE_GW_HUB_2
  description "DMVPN | RT-HUB-2 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/2
  local network dynamic protocol gre 
  local id dns "spoke5.company.loc"
  remote id dns "hub2.company.loc"
  remote address 203.0.113.132
  remote network 203.0.113.132/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike gateway DMVPN_IKE_GW_SPOKES_1
  description "DMVPN | Spokes IKE gateway via ISP-BACKUP"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke4.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike gateway DMVPN_IKE_GW_SPOKES_2
  description "DMVPN | Spokes IKE gateway via ISP-CORE"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/2
  local network dynamic protocol gre 
  local id dns "spoke4.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

Пояснение

1. Указываем в качестве «local interface» интерфейс в сторону интернет-провайдера.
2. Использование «local id» и «remote id» — один из удобных способов идентификации IKE-соседей. Поскольку в «security ike keyring» использованы доменные имена, тот же тип ID используем и здесь.
3. Будет создано 4 криптошлюза — для подключения к RT-HUB-1, RT-HUB-2, а также для подключения DMVPN Spoke отдельно для каждого интернет-провайдера.

RT-OFFICE-4

security ike session uniqueids replace

Создадим набор криптографических алгоритмов для туннеля IPsec:

RT-OFFICE-4

security ipsec proposal DMVPN_IPSEC_PROP_1
  description "DMVPN | IPsec proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  pfs dh-group 19
exit

RT-OFFICE-4

security ipsec policy DMVPN_IPSEC_POL
  description "DMVPN | IPsec policy"
  lifetime seconds 28800
  lifetime kilobytes 4608000
  proposal DMVPN_IPSEC_PROP_1
exit

Сконфигурированные настройки IKE и IPsec можно объединить в общие VPN-профили. Как и при получении криптошлюзов IKE получим четыре IPsec VPN-профиля. Для IPsec VPN-профилей, использующихся на туннелях GRE в схеме DMVPN, обязательно включение транспортного режима:

RT-OFFICE-4

security ipsec vpn DMVPN_IPSEC_VPN_HUB_1
  description "DMVPN | RT-HUB-1 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP-BACKUP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_1
  ike ipsec-policy DMVPN_IPSEC_POL
  enable
exit

security ipsec vpn DMVPN_IPSEC_VPN_HUB_2
  description "DMVPN | RT-HUB-2 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP-CORE
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_2
  ike ipsec-policy DMVPN_IPSEC_POL
  enable
exit

security ipsec vpn DMVPN_IPSEC_VPN_SPOKES_1
  description "DMVPN | Spokes IPsec VPN profile via ISP-BACKUP"
  type transport
  ip vrf forwarding ISP-BACKUP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_SPOKES_1
  ike ipsec-policy DMVPN_IPSEC_POL
  enable
exit

security ipsec vpn DMVPN_IPSEC_VPN_SPOKES_2
  description "DMVPN | Spokes IPsec VPN profile via ISP-CORE"
  type transport
  ip vrf forwarding ISP-CORE
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_SPOKES_2
  ike ipsec-policy DMVPN_IPSEC_POL
  enable
exit

RT-OFFICE-4

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit

Пояснение

1. UDP/500-порт используется протоколом IKEv2 в момент первичного пакетообмена с удаленным IKE-соседом.
2. UDP/4500-порт используется для отправки сообщений протокола IKEv2 при определении наличия NAT посередине между пирами.
3. UDP/4500-порт используется для отправки запакованных в UDP сообщений протокола ESP, сообщения которого представляют собой шифрованный пользовательский трафик в туннеле.

Разрешим входящий трафик IPsec-туннелей для каждого из интернет-провайдеров (Firewall):

RT-OFFICE-4

# Для ISP-CORE
security zone-pair CORE self
  rule 20
    description "Permit | IKE/IPsec | From ISP | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
  rule 30
    description "Permit | ESP | From ISP | To ANY"
    action permit
    match protocol esp
    enable
  exit
exit

RT-OFFICE-4

# Для ISP-BACKUP
security zone-pair BACKUP self
  rule 20
    description "Permit | IKE/IPsec | From ISP | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
  rule 30
    description "Permit | ESP | From ISP | To ANY"
    action permit
    match protocol esp
    enable
  exit
exit

Пользовательский трафик запаковывается в протокол ESP, и, при наличии NAT посередине между IPsec-соседями, сообщения протокола ESP, в свою очередь, запаковываются в протокол UDP, порт 4500. Поскольку туннели между DMVPN Spoke могут подняться и без наличия NAT между ними, отдельным правилом разрешим прохождение ESP-пакетов.

Настройка mGRE-туннелей на DMVPN Spoke

Настроим туннели GRE в многоточечном режиме с поддержкой протокола NHRP на DMVPN Spoke. Поскольку в центральном офисе развернуто два DMVPN Hub на адресации двух разных интернет-провайдеров, подключение к ним будем осуществлять двумя отдельными mGRE-туннелями. Отличия настройки DMVPN Spoke с подключением к одному интернет-провайдеру заключается в том, что NBMA-адрес для каждого GRE-туннеля будет отличаться в зависимости от IP-адреса интерфейса к данному интернет-провайдеру. Основные параметры туннелей GRE для подключения обоим DMVPN Hub представлены в таблице 23.

Таблица 23. Параметры туннелей GRE на маршрутизаторе DMVPN Spoke дочернего офиса №4

DMVPN Hub	DMVPN Cloud	Номер туннеля GRE	Туннельная адресация DMVPN Spoke	Туннельный адрес DMVPN Hub	NBMA-адрес DMVPN Hub	Ключ туннеля GRE	Время жизни NHRP-записей, секунды
RT-HUB-1	ISP-BACKUP Cloud	11	172.16.1.14/24	172.16.1.1	203.0.113.4	1000	600
RT-HUB-2	ISP-CORE Cloud	12	172.16.2.14/24	172.16.2.1	203.0.113.132	2000	600

Сначала изменим общие настройки туннеля GRE на каждом из DMVPN Hub. К таким настройкам относятся:

режим работы multipoint;
значение key;
значение TTL;
размер MTU;
значение TCP adjust-mss;
туннельный IP-адрес;
интерфейс, с которого будет строиться GRE-туннель;
имя транспортного VRF.

RT-OFFICE-4

tunnel gre 11
  description "DMVPN | Cloud 1"
  key 1000
  ttl 64
  mtu 1400
  multipoint
  tunnel-source vrf ISP-BACKUP
  local interface gigabitethernet 1/0/1
  ip address 172.16.1.14/24
  ip tcp adjust-mss 1360
  enable
exit

tunnel gre 12
  description "DMVPN | Cloud 2"
  key 2000
  ttl 64
  mtu 1400
  multipoint
  tunnel-source vrf ISP-CORE
  local interface gigabitethernet 1/0/2
  ip address 172.16.2.14/24
  ip tcp adjust-mss 1360
  enable
exit

Маршрутизаторы DMVPN Spoke с точки зрения протокола NHRP выполняют роль NHRP-клиентов, которые после регистрации в облаке DMVPN на одном или нескольких DMVPN Hub могут запрашивать у них информацию о других членах облака DMVPN. В связи с этим для корректной работы DMVPN Spoke необходимо описать настройки протокола NHRP для подключения к обоим DMVPN Hub.

Для корректного построения Spoke-to-Spoke-туннелей, маршрутизация на которых направляет весь трафик на DMVPN Hub, включим опцию «ip nhrp shortcut», активирующую на DMVPN Spoke реагирование на специальные сообщения протокола NHRP «Traffic Indication», которые DMVPN Hub будет отправлять в ответ на пакеты, предназначенные другому DMVPN Spoke. Обработка такого сообщения приведет к построению Spoke-to-Spoke туннеля, и трафик между DMVPN Spoke будет проходить напрямую, минуя DMVPN Hub.

Такая схема организации маршрутизации и построения Spoke-to-Spoke туннелей в облаках DMVPN общепринято именуется третьей фазой DMVPN.

Следует учитывать, что пересоздание Spoke-to-Spoke туннелей инициируется только после истечения заданного параметра holding-time. Таким образом, при отказе интернет-провайдера и, соответственно, отсутствии связи с DMVPN Hub, реконфигурация Spoke-to-Spoke туннеля резервному интернет-провайдеру произойдёт по завершении времени жизни (Expire time) соответствующего Spoke-to-Spoke туннеля.

RT-OFFICE-4

tunnel gre 11
  ip nhrp authentication password
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_1 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES_1 dynamic
  ip nhrp map 172.16.1.1 203.0.113.4
  ip nhrp nhs 172.16.1.1
  ip nhrp multicast nhs
  ip nhrp enable
exit

tunnel gre 12
  ip nhrp authentication password
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_2 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES_2 dynamic
  ip nhrp map 172.16.2.1 203.0.113.132
  ip nhrp nhs 172.16.2.1
  ip nhrp multicast nhs
  ip nhrp enable
exit

Из-за особенностей декапсуляции трафика из IPsec-туннелей, работающих в транспортном режиме инкапсуляции, трафик после дешифровки попадает на тот же сетевой интерфейс, который терминирует IPsec-туннель. В связи с этим в правилах межсетевого экранирования на DMVPN Spoke необходимо разрешить прием не только шифрованных IPsec-пакетов, но и GRE-пакетов, которые попадают на интерфейс после дешифрования.

RT-OFFICE-4

security zone-pair CORE self
   rule 40
    description "Permit | ESP | From GRE | To ANY"
    action permit
    match protocol gre
    enable
  exit 
exit

RT-OFFICE-4

security zone-pair BACKUP self
   rule 40
    description "Permit | ESP | From GRE | To ANY"
    action permit
    match protocol gre
    enable
  exit 
exit

RT-OFFICE-4

security zone DMVPN_NET
  description "DMVPN | Cloud"
exit

tunnel gre 11
  security-zone DMVPN_NET
exit
tunnel gre 12
  security-zone DMVPN_NET
exit
 
security zone-pair DMVPN_NET self
   rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Конфигурирование маршрутизации для функционирования облака DMVPN в центральном офисе

Настроим BGP-соседей в сторону DMVPN Hub:

RT-OFFICE-4

router bgp log-neighbor-changes

router bgp 65000
  neighbor 172.16.1.1
    description "DMVPN | RT-HUB-1"
    remote-as 65001
    update-source gre 11
    address-family ipv4 unicast
      enable
    exit
    enable
  exit
  neighbor 172.16.2.1
    description "DMVPN | RT-HUB-2"
    remote-as 65002
    update-source gre 12
    address-family ipv4 unicast
      enable
    exit
    enable
  exit
  enable
exit

В связи с тем, что DMVPN Spoke и DMVPN Hub находятся в разных автономных системах, анонсирование маршрутной информации по умолчанию проводиться не будет. Создадим route-map, разрешающий отправку маршрута до нашей локальной сети на DMVPN Hub. При распространении маршрутов по умолчанию они анонсируются с различными метриками, что обеспечивает выбор приоритетного направления. В случае недоступности второго интернет-провайдера, а значит и второго хаба, переключение маршрутизации осуществляется за счёт механизма протокола BFD.

RT-OFFICE-4

route-map DMVPN_NET_OUT
  rule 10
    description "DMZ | LAN for DMVPN Hub"
    match ip address 192.168.14.0/24
  exit
exit

router bgp 65000
  neighbor 172.16.1.1
    description "DMVPN | RT-HUB-1"
    remote-as 65001
    update-source gre 11
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
      enable
    exit
    enable
  exit
  neighbor 172.16.2.1
    description "DMVPN | RT-HUB-2"
    remote-as 65002
    update-source gre 12
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
      enable
    exit
    enable
  exit
  address-family ipv4 unicast
    network 192.168.14.0/24
  exit
  enable
exit

RT-OFFICE-4

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

router bgp 65000
  neighbor 172.16.1.1
    fall-over bfd
  exit
  neighbor 172.16.2.1
    fall-over bfd
  exit
exit

Разрешим прохождение входящего трафика протокола BGP и BFD в зоне безопасности, настроенной на туннелях GRE:

RT-OFFICE-4

object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

security zone-pair DMVPN_NET self
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit

Настройка Zone-Based Firewall для локальной сети

Разрешим прохождение транзитного трафика из локальной сети в сторону облака DMVPN:

RT-OFFICE-4

security zone-pair DMVPN_NET CUSTOMER
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To CUSTOMER"
    action permit
    enable
  exit
exit
security zone-pair CUSTOMER DMVPN_NET
  rule 10
    description "Permit | ANY | From CUSTOMER | To DMVPN Cloud"
    action permit
    enable
  exit
exit

На этом настройку DMVPN в дочернем офисе с резервированием канала можно считать завершенной.

Настройка DMVPN Spoke в дочернем офисе (резервный канал через модем)

Стартовое состояние сети в дочернем офисе

Рассмотрим пример подключения к облаку DMVPN небольшого офиса, в котором присутствует два интернет-провайдера, один из которых предоставляет доступ через проводное подключение, а второй — через stick-модем.

Рисунок 9. Схема подключения маршрутизатора дочернего офиса (с резервным подключением через модем) через сети двух интернет-провайдеров

В рамках данной схемы DMVPN на узле Spoke организуются два GRE-туннеля: первый — к первому DMVPN Hub, второй — ко второму. Узел Spoke обладает IP-связностью по двум независимым интернет-провайдерам; транспорт первого интернет-провайдера используется для построения DMVPN-соединения с первым DMVPN Hub, используя uplink как «проводное» подключение к сети, транспорт второго интернет-провайдера — для соединения со вторым DMVPN Hub с помощью stick-модема. В рамках данного руководства используется stick-модем huawei E8372

Маршрутизатор дочернего офиса подключается к двум интернет-провайдерам, каждый из которых предоставляет канал с белым статическим IP-адресом. Для удобства конфигурирования сразу зададим именования обоим устройствам в данной схеме.

RT-OFFICE-5

hostname RT-OFFICE-5

SW-OFFICE-5

hostname SW-OFFICE-5

Организация локального сегмента сети дочернего офиса

Таблица 24. Параметры локальной сети дочернего офиса №5

Назначение	VLAN	Подсеть
Локальная сеть дочернего офиса №5	100	192.168.15.0/24

SW-OFFICE-5

vlan database
 vlan 100
exit
!
interface range GigabitEthernet1/0/1-24
 switchport mode general
 switchport general allowed vlan add 100 untagged
 switchport general pvid 100
 switchport protected-port
exit

Пояснение

Для изоляции клиентов в широковещательном домене включим функционал port-protection.

Физический интерфейс в сторону маршрутизатора настроим в режиме trunk для требуемого VLAN ID:

SW-OFFICE-5

interface TenGigabitEthernet1/0/1
 switchport mode general
 switchport general allowed vlan add 100 tagged
 switchport forbidden default-vlan 
exit

RT-OFFICE-5

interface gigabitethernet 1/0/3.100
  description "LAN | CUSTOMER"
  ip address 192.168.15.1/24
exit

RT-OFFICE-5

security zone CUSTOMER
  description "LAN | CUSTOMER"
exit

interface gigabitethernet 1/0/3.100
  security-zone CUSTOMER
exit

security zone-pair CUSTOMER self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Подключение к сети интернет-провайдера №1 с помощью проводного подключения с использованием статической адресации

Таблица 25. Данные интернет-провайдера №1 для настройки статической IP-адресации на пограничном маршрутизаторе дочернего офиса №5

Параметр	Значение
IP-адрес пограничного маршрутизатора	203.11.1.2
Маска сети	255.255.255.0
IP-адрес шлюза	203.11.1.1

В рамках данного примера интернет-провайдер №1 и №2 предоставляет для настройки статической адресации публичные (белые) IP-адреса от каждого интернет-провайдера соответственно. Для случая, где интернет-провайдер предоставляет для настройки приватный (серый) IP-адрес с дальнейшим NAT-преобразованием в публичную IP-адресацию настройка будет выглядеть аналогичным образом.

возможность использования маршрута по умолчанию как в виртуальной сети, так и в транспортной сети;
отсутствие пересечения маршрутной информации между транспортной и виртуальной сетью;
дополнительный уровень безопасности виртуальной сети, поскольку трафик из неё не может попасть в транспортную сеть без настроенной инкапсуляции в туннель.

RT-OFFICE-5

ip vrf ISP-CORE
exit

interface gigabitethernet 1/0/1
  ip vrf forwarding ISP-CORE
  description "ISP-CORE | Uplink"
  ip address 203.11.1.2/24
exit

ip route vrf ISP-CORE 0.0.0.0/0 203.11.1.1 name ISP-CORE

RT-OFFICE-5

security zone CORE
  description "ISP-CORE | Uplink"
  ip vrf forwarding ISP-CORE
exit

interface gigabitethernet 1/0/1
  security-zone CORE
exit

security zone-pair CORE self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Подключение к сети интернет-провайдера №2 с помощью stick-модема с использованием статической адресации

Необходимо рассмотреть подключение к сети Интернет с учетом выданных интернет-провайдером №2 данных для настройки статической адресации на модеме. Параметры для подключения к интернет-провайдеру описаны в таблице 26.

Таблица 26. Данные интернет-провайдера №2 для настройки статической IP-адресации на пограничном маршрутизаторе дочернего офиса №5

Параметр	Значение
IP-адрес маршрутизатора	203.11.0.2
Маска сети	255.255.255.0
IP-адрес шлюза	203.11.0.1

Перейдем к настройке stick-модема и статической маршрутизации. Интерфейс также разграничим с помощью VRF — далее в настройке будет производиться конфигурация Front-Door VRF-схемы.

Первый шаг к настройке подключения через модем заключается в подключении модема к пограничному маршрутизатору и ожидании определения производителя модема и номера слота, куда подключен модем. Данную информацию можно просмотреть с помощью команды show cellular status modem. При пустой конфигурации в отношении модемов статус модема будет в disabled/Down.

RT-OFFICE-5

esr# show cellular status modem 
Number   USB port   Manufacturer   Model        Current state   Inteface          Link    
device                                                                            state   
------   --------   ------------   ----------   -------------   ---------------   -----   
1        3-1        huawei         E8372        disabled        --                Down

Второй шаг заключается в настройка самого интерфейса stick-модема. Перейдем к нему:

RT-OFFICE-5

ip vrf ISP-MODEM
exit

cellular profile 1
  APN internet
exit

cellular modem 1
  ip vrf forwarding ISP-MODEM
  description "ISP-MODEM | Uplink"
  device 3-1
  profile 1
  allowed-mode 3g
  allowed-mode 4g
  enable
exit

ip route vrf ISP-MODEM 0.0.0.0/0 interface modem 1 name ISP-MODEM

При конфигурации модема необходимо создать профиль с указанием APN оператора, к которому осуществляется подключение, а также задать идентификатор USB-порта модема, полученный на первом этапе с помощью команды show cellular status modem. Дополнительно требуется определить маршрут по умолчанию через модемный интерфейс для организации выхода в сеть Интернет.

Сконфигурируем для сетевого интерфейса, выходящего в сеть интернет-провайдера №2, отдельную зону безопасности и разрешим входящий с точки зрения пограничного маршрутизатора трафик протокола ICMP из данной зоны безопасности:

RT-OFFICE-5

security zone MODEM
  description "ISP-MODEM | Uplink"
  ip vrf forwarding ISP-MODEM
exit

cellular modem 1
  security-zone MODEM
exit

security zone-pair MODEM self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Настройка IKEv2 и IPsec-туннелирования на DMVPN Spoke

Таблица 27. Параметры IKE и IPsec, используемые для настройки туннелирования IPsec на маршрутизаторе DMVPN Spoke дочернего офиса №5

		RT-OFFICE-5
Параметры IKE	Алгоритм шифрования	AES-256
	Алгоритм хеширования	SHA2-256
	Группа Диффи-Хеллмана	19
	Время жизни IKE-сеcсии в секундах	86400
	Идентификатор IKE-сессии	spoke5.company.loc
	Интервал отправки DPD-сообщений	40
	Общий таймаут ожидания ответа на DPD-сообщение	160
	Действие при наступлении таймаута DPD	Закрытие сессии IKE
Параметры IPsec	Алгоритм шифрования	AES-256
	Алгоритм хеширования	SHA2-256
	Группа Диффи-Хеллмана для механизма PFS	19
	Время жизни IPsec-сесcии в секундах	28800
	Время жизни IPsec-сесcии в килобайтах	4608000
	Интервал ранней реаутентификации IKE-сессии/Интервал раннего рекеинга IPsec-сессии в секундах	3600
	Пороговое значение ранней реаутентификации IKE-сессии/Пороговое значение раннего рекеинга IPsec-сессии в килобайтах	86400

Начало настройки IPsec заключается в настройке наборов криптографических алгоритмов для протокола IKE:

RT-OFFICE-5

security ike proposal DMVPN_IKE_PROP_1
  description "DMVPN | IKE proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  dh-group 19
exit

Создадим набор ключей аутентификации IKE. Поскольку в дальнейшей настройке планируется использовать в качестве идентификатора IPsec-соседа доменные имена, в наборе ключей тоже используются доменные имена:

RT-OFFICE-5

security ike keyring DMVPN_IKE_KEYRING
  description "DMVPN | IKE keyring"
  identity dns *.company.loc pre-shared-key ascii-text password
exit

RT-OFFICE-5

security ike policy DMVPN_IKE_POL
  description "DMVPN | IKE policy"
  lifetime seconds 86400
  keyring DMVPN_IKE_KEYRING
  authentication method keyring
  proposal DMVPN_IKE_PROP_1
exit

Создадим набор криптошлюзов IKE.

Для использования протокола IKE версии 2 обязательна команда «version v2-only», в противном случае туннель будет использовать протокол IKE версии 1.
Поддержку протокола MOBIKE необходимо отключать, в схеме DMVPN он может привести к ошибкам построения туннелей между DMVPN Hub и DMVPN Spoke.
В случае привязки криптошлюза к интерфейсу командой «local interface» привязать локальную сеть к адресу на этом интерфейсе можно командой «local network dynamic».
В схеме DMVPN в туннели IPsec помещается только GRE-трафик, поэтому корректным будет указывать ключ «protocol gre» в командах «local network» и «remote network».

RT-OFFICE-5

security ike gateway DMVPN_IKE_GW_HUB_1
  description "DMVPN | RT-HUB-1 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke5.company.loc"
  remote id dns "hub1.company.loc"
  remote address 203.0.113.4
  remote network 203.0.113.4/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike gateway DMVPN_IKE_GW_HUB_2
  description "DMVPN | RT-HUB-2 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface modem 1
  local network dynamic protocol gre 
  local id dns "spoke5.company.loc"
  remote id dns "hub2.company.loc"
  remote address 203.0.113.132
  remote network 203.0.113.132/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike gateway DMVPN_IKE_GW_SPOKES_1
  description "DMVPN | Spokes IKE gateway via ISP-CORE"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke5.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike gateway DMVPN_IKE_GW_SPOKES_2
  description "DMVPN | Spokes IKE gateway via ISP-MODEM"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface modem 1
  local network dynamic protocol gre 
  local id dns "spoke5.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

Пояснение

1. Указываем в качестве «local interface» интерфейс в сторону интернет-провайдера.
2. Использование «local id» и «remote id» — один из удобных способов идентификации IKE-соседей. Поскольку в «security ike keyring» использованы доменные имена, тот же тип ID используем и здесь.
3. Будет создано 4 криптошлюза — для подключения к RT-HUB-1, RT-HUB-2, а также для подключения DMVPN Spoke отдельно для каждого интернет-провайдера.

RT-OFFICE-5

security ike session uniqueids replace

Создадим набор криптографических алгоритмов уже непосредственно для туннеля IPsec:

RT-OFFICE-5

security ipsec proposal DMVPN_IPSEC_PROP_1
  description "DMVPN | IPsec proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  pfs dh-group 19
exit

Создадим политику IPsec. Она включает в себя наборы алгоритмов шифрования и время жизни IPsec-сессии, непосредственно отвечающей за шифрование пользовательского трафика:

RT-OFFICE-5

security ipsec policy DMVPN_IPSEC_POL
  description "DMVPN | IPsec policy"
  lifetime seconds 28800
  lifetime kilobytes 4608000
  proposal DMVPN_IPSEC_PROP_1
exit

RT-OFFICE-5

security ipsec vpn DMVPN_IPSEC_VPN_HUB_1
  description "DMVPN | RT-HUB-1 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP-CORE
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_1
  ike ipsec-policy DMVPN_IPSEC_POL
  enable
exit

security ipsec vpn DMVPN_IPSEC_VPN_HUB_2
  description "DMVPN | RT-HUB-2 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP-MODEM
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_2
  ike ipsec-policy DMVPN_IPSEC_POL
  enable
exit

security ipsec vpn DMVPN_IPSEC_VPN_SPOKES_1
  description "DMVPN | Spokes IPsec VPN profile via ISP-CORE"
  type transport
  ip vrf forwarding ISP-CORE
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_SPOKES_1
  ike ipsec-policy DMVPN_IPSEC_POL
  enable
exit

security ipsec vpn DMVPN_IPSEC_VPN_SPOKES_2
  description "DMVPN | Spokes IPsec VPN profile via ISP-MODEM"
  type transport
  ip vrf forwarding ISP-MODEM
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_SPOKES_2
  ike ipsec-policy DMVPN_IPSEC_POL
  enable
exit

RT-OFFICE-5

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit

Пояснение

1) UDP/500-порт используется протоколом IKEv2 в момент первичного пакетообмена с удаленным IKE-соседом.
2) UDP/4500-порт используется для отправки сообщений протокола IKEv2 при определении наличия NAT посередине между пирами.
3) Также UDP/4500-порт используется для отправки запакованных в UDP сообщений протокола ESP, сообщения которого представляют собой шифрованный пользовательский трафик в туннеле.

Разрешим входящий трафик IPsec-туннелей для каждого из интернет-провайдеров (Firewall):

RT-OFFICE-5

# Для ISP-CORE
security zone-pair CORE self
  rule 20
    description "Permit | IKE/IPsec | From ISP | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
  rule 30
    description "Permit | ESP | From ISP | To ANY"
    action permit
    match protocol esp
    enable
  exit
exit

RT-OFFICE-5

# Для ISP-MODEM
security zone-pair MODEM self
  rule 20
    description "Permit | IKE/IPsec | From ISP | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
  rule 30
    description "Permit | ESP | From ISP | To ANY"
    action permit
    match protocol esp
    enable
  exit
exit

Настройка mGRE-туннелей на DMVPN Spoke

Таблица 28. Параметры туннелей GRE на маршрутизаторе DMVPN Spoke дочернего офиса №5

DMVPN Hub	DMVPN Cloud	Номер туннеля GRE	Туннельная адресация DMVPN Spoke	Туннельный адрес DMVPN Hub	NBMA-адрес DMVPN Hub	Ключ туннеля GRE	Время жизни NHRP-записей, секунды
RT-HUB-1	ISP-CORE Cloud	11	172.16.1.15/24	172.16.1.1	203.0.113.4	1000	600
RT-HUB-2	ISP-MODEM Cloud	12	172.16.2.15/24	172.16.2.1	203.0.113.132	2000	600

Сначала изменим общие настройки туннеля GRE на каждом из DMVPN Hub. К таким настройкам относятся:

режим работы multipoint;
значение key;
значение TTL;
размер MTU;
значение TCP adjust-mss;
туннельный IP-адрес;
интерфейс, с которого будет строиться GRE-туннель;
имя транспортного VRF.

RT-OFFICE-5

tunnel gre 11
  description "DMVPN | Cloud 1"
  key 1000
  ttl 64
  mtu 1400
  multipoint
  tunnel-source vrf ISP-CORE
  local interface gigabitethernet 1/0/1
  ip address 172.16.1.15/24
  ip tcp adjust-mss 1360
  enable
exit

tunnel gre 12
  description "DMVPN | Cloud 2"
  key 2000
  ttl 64
  mtu 1400
  multipoint
  tunnel-source vrf ISP-MODEM
  local interface modem 1
  ip address 172.16.2.15/24
  ip tcp adjust-mss 1360
  enable
exit

Для корректного построения Spoke-to-Spoke-туннелей, маршрутизация на которых направляет весь трафик на DMVPN Hub, включим опцию «ip nhrp shortcut». Опция активирует на DMVPN Spoke реагирование на специальные сообщения протокола NHRP «Traffic Indication», которые DMVPN Hub будет отправлять в ответ на пакеты, предназначенные другому DMVPN Spoke. Обработка такого сообщения приведет к построению Spoke-to-Spoke туннеля, и трафик между DMVPN Spoke будет проходить напрямую, минуя DMVPN Hub.

Следует учитывать, что пересоздание Spoke-to-Spoke туннелей инициируется только после истечения заданного параметра holding-time. Таким образом, при отказе интернет-провайдера и, соответственно, отсутствии связи с DMVPN Hub реконфигурация Spoke-to-Spoke туннеля резервному интернет-провайдеру произойдёт по завершении времени жизни (Expire time) соответствующего Spoke-to-Spoke туннеля.

RT-OFFICE-5

tunnel gre 11
  ip nhrp authentication password
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_1 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES_1 dynamic
  ip nhrp map 172.16.1.1 203.0.113.4
  ip nhrp nhs 172.16.1.1
  ip nhrp multicast nhs
  ip nhrp enable
exit

tunnel gre 12
  ip nhrp authentication password
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_2 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES_2 dynamic
  ip nhrp map 172.16.2.1 203.0.113.132
  ip nhrp nhs 172.16.2.1
  ip nhrp multicast nhs
  ip nhrp enable
exit

Из-за особенностей декапсуляции трафика из IPsec-туннелей, работающих в транспортном режиме инкапсуляции, трафик после дешифровки попадает на тот же сетевой интерфейс, который терминирует IPsec-туннель. В связи с этим в правилах межсетевого экранирования на DMVPN Spoke необходимо разрешить прием не только шифрованных IPsec-пакетов, но и GRE-пакетов, которые попадают на интерфейс после дешифрования.

RT-OFFICE-5

security zone-pair CORE self
   rule 40
    description "Permit | ESP | From GRE | To ANY"
    action permit
    match protocol gre
    enable
  exit 
exit

RT-OFFICE-5

security zone-pair MODEM self
   rule 40
    description "Permit | ESP | From GRE | To ANY"
    action permit
    match protocol gre
    enable
  exit 
exit

RT-OFFICE-5

security zone DMVPN_NET
  description "DMVPN | Cloud"
exit

tunnel gre 11
  security-zone DMVPN_NET
exit
tunnel gre 12
  security-zone DMVPN_NET
exit
 
security zone-pair DMVPN_NET self
   rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit

Конфигурирование маршрутизации для функционирования облака DMVPN в центральном офисе

Настроим BGP-соседей в сторону DMVPN Hub:

RT-OFFICE-5

router bgp log-neighbor-changes

router bgp 65000
  neighbor 172.16.1.1
    description "DMVPN | RT-HUB-1"
    remote-as 65001
    update-source gre 11
    address-family ipv4 unicast
      enable
    exit
    enable
  exit
  neighbor 172.16.2.1
    description "DMVPN | RT-HUB-2"
    remote-as 65002
    update-source gre 12
    address-family ipv4 unicast
      enable
    exit
    enable
  exit
  enable
exit

В связи с тем, что DMVPN Spoke и DMVPN Hub находятся в разных автономных системах, анонсирование маршрутной информации по умолчанию проводиться не будет. Создадим route-map, разрешающий отправку маршрута до нашей локальной сети на DMVPN Hub. При распространении маршрутов по умолчанию они анонсируются с различными метриками, что обеспечивает выбор приоритетного направления. В случае недоступности второго интернет-провайдера, а значит и второго DMVPN Hub, переключение маршрутизации осуществляется за счёт механизма протокола BFD.

RT-OFFICE-5

route-map DMVPN_NET_OUT
  rule 10
    description "DMZ | LAN for DMVPN Hub"
    match ip address 192.168.15.0/24
  exit
exit

router bgp 65000
  neighbor 172.16.1.1
    description "DMVPN | RT-HUB-1"
    remote-as 65001
    update-source gre 11
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
      enable
    exit
    enable
  exit
  neighbor 172.16.2.1
    description "DMVPN | RT-HUB-2"
    remote-as 65002
    update-source gre 12
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
      enable
    exit
    enable
  exit
  address-family ipv4 unicast
    network 192.168.15.0/24
  exit
  enable
exit

Включим поддержку BFD для созданных BGP-соседств. Учтем скорость сходимости IPsec- и mGRE-туннелей и увеличим BFD-таймеры:

RT-OFFICE-5

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

router bgp 65000
  neighbor 172.16.1.1
    fall-over bfd
  exit
  neighbor 172.16.2.1
    fall-over bfd
  exit
exit

Разрешим прохождение входящего трафика протокола BGP и BFD в зоне безопасности, настроенной на туннелях GRE:

RT-OFFICE-5

object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

security zone-pair DMVPN_NET self
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit

Настройка Zone-Based Firewall для локальной сети

Разрешим прохождение транзитного трафика из локальной сети в сторону облака DMVPN:

RT-OFFICE-5

security zone-pair DMVPN_NET CUSTOMER
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To CUSTOMER"
    action permit
    enable
  exit
exit
security zone-pair CUSTOMER DMVPN_NET
  rule 10
    description "Permit | ANY | From CUSTOMER | To DMVPN Cloud"
    action permit
    enable
  exit
exit

На этом настройку DMVPN в дочернем офисе с резервированием канала можно считать завершенной.

Проверка коммуникации между офисами

Состояние облака DMVPN

При выполнении ранее описанных пунктов настройки DMVPN Hub и DMVPN Spoke получим следующую схему коммуникации между центральным и дочерними офисами:

Рисунок 10. Схема коммуникации между центральным и дочерними офисами на момент завершения настройки

В данной схеме построены два облака DMVPN, участники которых описаны в таблицах 29 и 30:

Таблица 29. Описание участников облака DMVPN Cloud 1

Имя хоста	Роль в облаке DMVPN	Туннельный IP-адрес	NBMA IP-адрес	NAT-OA IP-адрес	Локальные сети	Тестовые хосты в локальных сетях
RT-HUB-1	Hub	172.16.1.1/24	203.0.113.4	10.0.0.2	10.100.0.0/24	10.100.0.10
RT-OFFICE-1	Spoke	172.16.1.11/24	203.0.114.2	--	192.168.11.0/24	192.168.11.10
RT-OFFICE-2	Spoke	172.16.1.12/24	203.0.114.130	--	192.168.12.0/24	192.168.12.10
RT-OFFICE-3	Spoke	172.16.1.13/24	203.0.115.2	10.0.0.19	192.168.13.0/24	192.168.13.10
RT-OFFICE-4	Spoke	172.16.1.14/24	203.10.0.2	--	192.168.14.0/24	192.168.14.10
RT-OFFICE-5	Spoke	172.16.1.15/24	203.11.1.2	--	192.168.15.0/24	192.168.15.10

Таблица 30. Описание участников облака DMVPN Cloud 2

Имя хоста	Роль в облаке DMVPN	Туннельный IP-адрес	NBMA IP-адрес	NAT-OA IP-адрес	Локальные сети	Тестовые хосты в локальных сетях
RT-HUB-2	Hub	172.16.2.1/24	203.0.113.132	10.0.0.10	10.100.0.0/24	10.100.0.10
RT-OFFICE-1	Spoke	172.16.2.11/24	203.0.114.2	--	192.168.11.0/24	192.168.11.10
RT-OFFICE-2	Spoke	172.16.2.12/24	203.0.114.130	--	192.168.12.0/24	192.168.12.10
RT-OFFICE-3	Spoke	172.16.2.13/24	203.0.115.2	10.0.0.19	192.168.13.0/24	192.168.13.10
RT-OFFICE-4	Spoke	172.16.2.14/24	203.10.1.2	--	192.168.14.0/24	192.168.14.10
RT-OFFICE-5	Spoke	172.16.2.15/24	203.11.2.2	--	192.168.15.0/24	192.168.15.10

За счет настройки протокола BGP прохождение трафика через членов облака Cloud 1 является наиболее приоритетным.

Проверка сетевой связности локальных сетей между центральным и дочерними офисами

Для проверки сетевой связности локальных сетей между центральным и дочерними офисами отправим трафик с тестовых хостов дочерних офисов в сторону тестового хоста локальной сети центрального офиса:

PC-OFFICE-1

PC-OFFICE-1> trace 10.100.0.10 -P 1
trace to 10.100.0.10, 8 hops max (ICMP), press Ctrl+C to stop
 1   192.168.11.1   1.552 ms  1.210 ms  0.974 ms
 2   172.16.1.1   7.707 ms  4.928 ms  7.621 ms
 3   10.0.0.17   8.376 ms  7.745 ms  7.625 ms
 4   10.100.0.10   20.117 ms  13.788 ms  13.121 ms

PC-OFFICE-1>

PC-OFFICE-2

PC-OFFICE-2> trace 10.100.0.10 -P 1
trace to 10.100.0.10, 8 hops max (ICMP), press Ctrl+C to stop
 1   192.168.12.1   2.138 ms  1.453 ms  1.416 ms
 2   172.16.1.1   6.186 ms  6.279 ms  5.792 ms
 3   10.0.0.17   8.624 ms  9.118 ms  9.530 ms
 4   10.100.0.10   15.535 ms  15.239 ms  13.179 ms

PC-OFFICE-2>

PC-OFFICE-3

PC-OFFICE-3> trace 10.100.0.10 -P 1
trace to 10.100.0.10, 8 hops max (ICMP), press Ctrl+C to stop
 1   192.168.13.1   2.224 ms  1.161 ms  1.375 ms
 2   172.16.1.1   6.960 ms  5.476 ms  6.133 ms
 3   10.0.0.17   8.270 ms  8.451 ms  8.255 ms
 4   10.100.0.10   13.426 ms  13.581 ms  12.973 ms

PC-OFFICE-3>

PC-OFFICE-4

PC-OFFICE-4> trace 10.100.0.10 -P 1
trace to 10.100.0.10, 8 hops max (ICMP), press Ctrl+C to stop
 1   192.168.14.1   2.135 ms  2.487 ms   2.301 ms
 2   172.16.1.1      4.652 ms  4.781 ms   4.934 ms
 3   10.0.0.17       7.118 ms  6.984 ms   7.256 ms
 4   10.100.0.10    11.472 ms  11.689 ms  11.305 ms

PC-OFFICE-4>

PC-OFFICE-5

PC-OFFICE-5> trace 10.100.0.10 -P 1
trace to 10.100.0.10, 8 hops max (ICMP), press Ctrl+C to stop
 1   192.168.15.1   3.135 ms  2.127 ms   1.051 ms
 2   172.16.1.1      5.652 ms  4.781 ms   4.934 ms
 3   10.0.0.17       7.118 ms  6.984 ms   7.256 ms
 4   10.100.0.10    11.472 ms  11.689 ms  11.305 ms

PC-OFFICE-5>

Во всех четырех трассировках можно заметить, что трафик через пограничный маршрутизатор дочерних офисов и облако DMVPN Cloud 1 попадает на DMVPN Hub RT-HUB-1, затем попадает на пограничный маршрутизатор центрального офиса RT-GW-1, после чего достигает тестового хоста в локальной сети центрального офиса.

Проверим корректность прохождения трафика в обратном направлении:

PC-MAIN-1

PC-MAIN-1> trace 192.168.11.10 -P 1
trace to 192.168.11.10, 8 hops max (ICMP), press Ctrl+C to stop
 1   10.100.0.253   3.749 ms  3.790 ms  3.918 ms
 2   10.0.0.19   6.015 ms  6.176 ms  6.993 ms
 3   172.16.1.11   10.447 ms  10.522 ms  11.192 ms
 4   192.168.11.10   17.515 ms  11.905 ms  12.482 ms

PC-MAIN-1> trace 192.168.12.10 -P 1
trace to 192.168.12.10, 8 hops max (ICMP), press Ctrl+C to stop
 1   10.100.0.253   5.130 ms  4.361 ms  4.237 ms
 2   10.0.0.19   7.018 ms  6.919 ms  7.396 ms
 3   172.16.1.12   11.474 ms  11.307 ms  11.225 ms
 4   192.168.12.10   16.137 ms  12.332 ms  13.266 ms

PC-MAIN-1> trace 192.168.13.10 -P 1
trace to 192.168.13.10, 8 hops max (ICMP), press Ctrl+C to stop
 1   10.100.0.253   5.197 ms  4.011 ms  3.632 ms
 2   10.0.0.19   6.795 ms  7.380 ms  7.240 ms
 3   172.16.1.13   11.794 ms  11.581 ms  10.762 ms
 4   192.168.13.10   16.382 ms  13.713 ms  13.573 ms

PC-MAIN-1> trace 192.168.14.10 -P 1
trace to 192.168.111.10, 8 hops max (ICMP), press Ctrl+C to stop
 1   10.100.0.253    2.914 ms   3.121 ms   2.876 ms
 2   10.0.0.19       5.438 ms   5.612 ms   5.807 ms
 3   172.16.1.14     9.254 ms   9.487 ms   9.139 ms
 4   192.168.14.10 14.026 ms  13.842 ms  14.318 ms

PC-MAIN-1>

В обратную сторону трафик следует тем же путем. Задача обеспечения связности центрального и дочерних офисов выполнена.

Проверка возможности выхода хостов дочерних офисов в сеть Интернет через интернет-шлюз центрального офиса

Для проверки возможности выхода хостов дочерних офисов в сеть Интернет через интернет-шлюз центрального офиса отправим трафик с тестовых хостов дочерних офисов на публичный ресурс в сети Интернет. В качестве такого ресурса выберем адрес Google Public DNS, используемый как цель для SLA-теста на маршрутизаторе центрального офиса RT-GW-1:

PC-OFFICE-1

PC-OFFICE-1> trace 8.8.4.4 -P 1
trace to 8.8.4.4, 8 hops max (ICMP), press Ctrl+C to stop
 1   192.168.11.1   1.209 ms  1.277 ms  0.943 ms
 2   172.16.1.1   4.009 ms  4.114 ms  4.852 ms
 3   10.0.0.17   7.451 ms  9.083 ms  8.903 ms
 4   8.8.4.4   10.684 ms  9.153 ms  9.615 ms

PC-OFFICE-1>

PC-OFFICE-2

PC-OFFICE-2> trace 8.8.4.4 -P 1
trace to 8.8.4.4, 8 hops max (ICMP), press Ctrl+C to stop
 1   192.168.12.1   1.320 ms  1.559 ms  1.601 ms
 2   172.16.1.1   5.674 ms  4.563 ms  4.574 ms
 3   10.0.0.17   7.090 ms  9.078 ms  9.021 ms
 4   8.8.4.4   10.217 ms  9.714 ms  9.431 ms

PC-OFFICE-2>

PC-OFFICE-3

PC-OFFICE-3> trace 8.8.4.4 -P 1
trace to 8.8.4.4, 8 hops max (ICMP), press Ctrl+C to stop
 1   192.168.13.1   1.544 ms  0.913 ms  0.980 ms
 2   172.16.1.1   6.232 ms  5.428 ms  6.033 ms
 3   10.0.0.17   7.810 ms  9.463 ms  9.381 ms
 4   8.8.4.4   10.592 ms  9.201 ms  10.021 ms

PC-OFFICE-3>

PC-OFFICE-4

PC-OFFICE-4> trace 8.8.4.4 -P 1
trace to 8.8.4.4, 8 hops max (ICMP), press Ctrl+C to stop
 1   192.168.14.1   2.317 ms   2.109 ms   2.284 ms
 2   172.16.1.1      4.932 ms   5.187 ms   5.046 ms
 3   10.0.0.17       8.612 ms   8.437 ms   8.751 ms
 4   8.8.4.4        12.398 ms  11.976 ms  12.184 ms

PC-OFFICE-4>

Во всех четырех трассировках можно заметить, что трафик через пограничный маршрутизатор дочерних офисов и облако DMVPN Cloud 1 попадает на DMVPN Hub RT-HUB-1, затем попадает на пограничный маршрутизатор центрального офиса RT-GW-1, откуда уже достигает публичного ресурса в сети Интернет. В случае с RT-OFFICE-4 при переключении на резервный канал трафик пойдет через резервного провайдера на RT-HUB-2.

Задача организации доступа хостов в дочерних офисах в сеть Интернет через пограничный маршрутизатор центрального офиса выполнена.

Проверка сетевой связности локальных сетей между дочерними офисами

Для проверки сетевой связности локальных сетей между дочерними офисами отправим трафик между тестовыми хостами в локальных сетях дочерних офисов.

При построении Spoke-to-Spoke туннелей стоит учитывать ограничение, которое накладывает наличие NAT на стороне интернет-провайдеров. В случае, если два DMVPN Spoke расположены за Source NAT своих интернет провайдеров, они не смогут установить прямое соединение между собой.

Начнем с проверки связности между дочерними офисами №1 и №2:

PC-OFFICE-1

PC-OFFICE-1> trace 192.168.12.10 -P 1           
trace to 192.168.12.10, 8 hops max (ICMP), press Ctrl+C to stop
 1   192.168.11.1   1.613 ms  1.409 ms  1.204 ms
 2   172.16.1.1   6.748 ms  6.157 ms  5.106 ms
 3     *  *  *
 4     *  *  *
 5     *  *  *
 6     *192.168.12.10   5.101 ms  4.041 ms

PC-OFFICE-1> trace 192.168.12.10 -P 1
trace to 192.168.12.10, 8 hops max (ICMP), press Ctrl+C to stop
 1   192.168.11.1   1.566 ms  1.168 ms  1.151 ms
 2   172.16.1.12   2.043 ms  1.828 ms  1.749 ms
 3   192.168.12.10   3.609 ms  3.319 ms  3.879 ms

PC-OFFICE-1>

Обратим внимание, что первая трассировка проходит через DMVPN Hub RT-HUB-1, что логично, ведь без построенного Spoke-to-Spoke туннеля между дочерними офисами трафик между офисами проходит через DMVPN Hub:

RT-OFFICE-1

PC-OFFICE-1> trace 8.8.4.4 -P 1
trace to 8.8.4.4, 8 hops max (ICMP), press Ctrl+C to stop
 1   192.168.11.1   1.209 ms  1.277 ms  0.943 ms
 2   172.16.1.1   4.009 ms  4.114 ms  4.852 ms
 3   10.0.0.17   7.451 ms  9.083 ms  8.903 ms
 4   8.8.4.4   10.684 ms  9.153 ms  9.615 ms

PC-OFFICE-1>

А после построения Spoke-to-Spoke туннеля появляется короткий маршрут напрямую в сторону Spoke-соседа:

RT-OFFICE-1

RT-OFFICE-1# show ip route 192.168.12.10
Codes: C - connected, S - static, R - RIP derived,
       O - OSPF derived, IA - OSPF inter area route,
       E1 - OSPF external type 1 route, E2 - OSPF external type 2 route,
       B - BGP derived, D - DHCP derived, K - kernel route, V - VRRP route,
       i - IS-IS, L1 - IS-IS level-1, L2 - IS-IS level-2, ia - IS-IS inter area,
       H - NHRP, * - FIB route
H     * 192.168.12.0/24    [20/0]            via 172.16.1.12 on gre 11         [nhrp 08:13:15] 
RT-OFFICE-1#

Увидеть построение Spoke-to-Spoke туннеля можно в соответствующих командах на обоих DMVPN Spoke:

RT-OFFICE-1

RT-OFFICE-1# show ip nhrp peers 
 Flags: E - unique, R - nhs, U - used, L - lower-up
        C - connected, G - group, Q - qos, N - nat
        P - protected, I - Redirect-ignored, X - undefined

Tunnel address         NBMA address       Tunnel      Expire      Created          Type              Flags        
                                                      (h:m:s)     (d,h:m:s)                                       
--------------------   ----------------   ---------   ---------   --------------   ---------------   ----------   
172.16.1.1             203.0.113.4        gre 11      --          00,00:02:12      static            RULCN        
172.16.1.12            203.0.114.130      gre 11      00:08:55    00,00:01:04      cached            ULC          
172.16.2.1             203.0.113.132      gre 12      --          00,00:02:12      static            RULCN        
RT-OFFICE-1# show ip nhrp shortcut-routes 
Network                Nexthop            Tunnel      Expire      Created          
                                                      (h:m:s)     (d,h:m:s)        
--------------------   ----------------   ---------   ---------   --------------   
192.168.12.0/24        172.16.1.12        gre 11      00:08:50    00,00:01:09      
RT-OFFICE-1# show ip route nhrp 
H     * 172.16.1.1/32      [20/0]            dev gre 11                        [nhrp 06:34:49] 
H     * 172.16.2.1/32      [20/0]            dev gre 12                        [nhrp 06:34:49] 
H     * 192.168.12.0/24    [20/0]            via 172.16.1.12 on gre 11         [nhrp 08:13:15] 
H     * 172.16.1.12/32     [20/0]            dev gre 11                        [nhrp 08:13:15] 
RT-OFFICE-1#

RT-OFFICE-2

RT-OFFICE-2# show ip nhrp peers 
 Flags: E - unique, R - nhs, U - used, L - lower-up
        C - connected, G - group, Q - qos, N - nat
        P - protected, I - Redirect-ignored, X - undefined

Tunnel address         NBMA address       Tunnel      Expire      Created          Type              Flags        
                                                      (h:m:s)     (d,h:m:s)                                       
--------------------   ----------------   ---------   ---------   --------------   ---------------   ----------   
172.16.1.1             203.0.113.4        gre 11      --          00,00:01:58      static            RULCN        
172.16.1.11            203.0.114.2        gre 11      00:08:47    00,00:01:12      cached            ULC          
172.16.2.1             203.0.113.132      gre 12      --          00,00:01:58      static            RULCN        
RT-OFFICE-2# show ip nhrp shortcut-routes 
Network                Nexthop            Tunnel      Expire      Created          
                                                      (h:m:s)     (d,h:m:s)        
--------------------   ----------------   ---------   ---------   --------------   
192.168.11.0/24        172.16.1.11        gre 11      00:08:51    00,00:01:08      
RT-OFFICE-2# show ip route nhrp 
H     * 172.16.1.11/32     [20/0]            dev gre 11                        [nhrp 08:13:07] 
H     * 172.16.1.1/32      [20/0]            dev gre 11                        [nhrp 06:31:42] 
H     * 172.16.2.1/32      [20/0]            dev gre 12                        [nhrp 06:31:42] 
H     * 192.168.11.0/24    [20/0]            via 172.16.1.11 on gre 11         [nhrp 08:13:16] 
RT-OFFICE-2#

Поскольку туннель GRE между DMVPN Spoke защищен технологией IPsec, в show-командах можно еще убедиться в корректном построении Spoke-to-Spoke IPsec-туннеля:

RT-OFFICE-1

RT-OFFICE-1# show security ipsec vpn status vrf ISP 
Name                              Local host        Remote host       Initiator spi        Responder spi        State         
-------------------------------   ---------------   ---------------   ------------------   ------------------   -----------   
DMVPN_IPSEC_VPN_HUB_1             203.0.114.2       203.0.113.4       0x7be4dd13b45a79de   0x7cc308ff27b8bb02   Established   
DMVPN_IPSEC_VPN_HUB_2             203.0.114.2       203.0.113.132     0x56d29dc230bb2807   0x69cebbeffdac1c62   Established   
DMVPN_IPSEC_VPN_SPOKES            203.0.114.2       203.0.114.130     0x846182470c9f5c62   0xdb34e43634ee6c31   Established   
RT-OFFICE-1# show security ipsec vpn status vrf ISP DMVPN_IPSEC_VPN_SPOKES 
Currently active IKE SA:
    Name:                            DMVPN_IPSEC_VPN_SPOKES
    State:                           Established
    Version:                         v2-only
    Unique ID:                       5
    Local host:                      203.0.114.2
    Remote host:                     203.0.114.130
    Role:                            Responder
    Initiator spi:                   0x846182470c9f5c62
    Responder spi:                   0xdb34e43634ee6c31
    Encryption algorithm:            aes256
    Authentication algorithm:        sha2-256
    Diffie-Hellman group:            19
    Established (d,h:m:s):           00,00:00:55 ago
    Rekey time (d,h:m:s):            00,00:00:00
    Reauthentication time (d,h:m:s): 00,23:46:17
    Child IPsec SAs:
        Name:                            DMVPN_IPSEC_VPN_SPOKES-8
        State:                           Installed
        Protocol:                        esp
        Mode:                            Transport
        Encryption algorithm:            aes256
        Authentication algorithm:        sha2-256
        Rekey time (d,h:m:s):            00,07:43:11
        Life time (d,h:m:s):             00,07:59:05
        Established (d,h:m:s):           00,00:00:55 ago
        Traffic statistics: 
            Input bytes:                 1028
            Output bytes:                1044
            Input packets:               9
            Output packets:              10
        -------------------------------------------------------------
RT-OFFICE-1#

RT-OFFICE-2

RT-OFFICE-2# show security ipsec vpn status vrf ISP 
Name                              Local host        Remote host       Initiator spi        Responder spi        State         
-------------------------------   ---------------   ---------------   ------------------   ------------------   -----------   
DMVPN_IPSEC_VPN_HUB_1             203.0.114.130     203.0.113.4       0xb393e4870f63e598   0xf550029c9282d410   Established   
DMVPN_IPSEC_VPN_HUB_2             203.0.114.130     203.0.113.132     0x89525537c9da1ce9   0x612d39cfa5913ad9   Established   
DMVPN_IPSEC_VPN_SPOKES            203.0.114.130     203.0.114.2       0x846182470c9f5c62   0xdb34e43634ee6c31   Established   
RT-OFFICE-2# show security ipsec vpn status vrf ISP DMVPN_IPSEC_VPN_SPOKES 
Currently active IKE SA:
    Name:                            DMVPN_IPSEC_VPN_SPOKES
    State:                           Established
    Version:                         v2-only
    Unique ID:                       9
    Local host:                      203.0.114.130
    Remote host:                     203.0.114.2
    Role:                            Initiator
    Initiator spi:                   0x846182470c9f5c62
    Responder spi:                   0xdb34e43634ee6c31
    Encryption algorithm:            aes256
    Authentication algorithm:        sha2-256
    Diffie-Hellman group:            19
    Established (d,h:m:s):           00,00:00:55 ago
    Rekey time (d,h:m:s):            00,00:00:00
    Reauthentication time (d,h:m:s): 00,01:31:17
    Child IPsec SAs:
        Name:                            DMVPN_IPSEC_VPN_SPOKES-12
        State:                           Installed
        Protocol:                        esp
        Mode:                            Transport
        Encryption algorithm:            aes256
        Authentication algorithm:        sha2-256
        Rekey time (d,h:m:s):            00,06:13:09
        Life time (d,h:m:s):             00,07:59:05
        Established (d,h:m:s):           00,00:00:55 ago
        Traffic statistics: 
            Input bytes:                 1044
            Output bytes:                1028
            Input packets:               10
            Output packets:              9
        -------------------------------------------------------------
RT-OFFICE-2#

Таким образом, задача организации прямой сетевой связности локальных сетей между дочерними офисами выполнена.

Поддержка и мониторинг

В рамках данного руководства на сервисных маршрутизаторах ESR настраивается ряд сервисов, обеспечивающих работу каналов связи между офисами. Рассмотрим конкретные команды просмотра оперативной информации, которые могут быть полезны при мониторинге и отладке собранной схемы сети.

Просмотр оперативной информации о состоянии модема

Команда «show cellular status modem» отображает состояние подключенных модемов. Команда «show cellular status modem 1» отображает детальную информацию о состоянии «1» сконфигурированного модема:

show cellular status modem

esr# show cellular status modem 
Number   USB port   Manufacturer   Model        Current state   Inteface          Link    
device                                                                            state   
------   --------   ------------   ----------   -------------   ---------------   -----   
1        3-1        huawei         E8372        connected       modem1            Up      

esr# 
esr# show cellular status modem 1
Device '1' status information:
  USB device:              3-1
  Inteface:                modem1
  Link state:              Up
  Mode:                    stick
  Manufacturer:            huawei
  Model:                   E8372
  Revision:                21.329.63.00.778
  IMEI:                    866649043430427
  Status SIM lock:         --
  Status unlock retries:   sim-pin (3) sim-pin2 (3) sim-puk (10) sim-puk2 (10) 
  Current state:           connected
  Access tech:             UMTS
  Signal level:            54
  Support modes:
    allowed 2G; preferred none;
    allowed 3G; preferred none;
    allowed 4G; preferred none;
    allowed 2G 3G 4G; preferred none;
  Allowed modes:           2G 3G 4G
  Preferred modes:         none
  Type IP:                 IPv4
  Operator name:           MegaFon
  Registration:            home
--------------------------------------------------------------------------------
esr#

Просмотр оперативной информации о туннелях IPsec

Команда «show security ike proposal» отображает настроенные в конфигурации наборы криптографических алгоритмов, используемые при построении сессий протокола IKE. Указание имени набора отобразит более подробную информацию о содержимом набора:

show security ike proposal

RT-HUB-1# show security ike proposal 
Name           Enc. alg.          DH   Auth. alg.   
------------   ----------------   --   ----------   
DMVPN_IKE_PR   aes256             19   sha2-256     
OP_1                                                

RT-HUB-1#

show security ike proposal <NAME>

RT-HUB-1# show security ike proposal DMVPN_IKE_PROP_1 
Description:                DMVPN | IKE proposal #1
Encryption algorithm:       aes256
Diffie-Hellman group:       19
Authentication algorithm:   sha2-256
RT-HUB-1#

Команда «show security ike policy» отображает настроенные в конфигурации политики IKE. Указание имени политики отобразит более подробную информацию о содержимом политики:

show security ike policy

RT-HUB-1# show security ike policy 
Name                   Description           Mode         Auth.     Proposal                              
                                                          method                                          
--------------------   -------------------   ----------   -------   -----------------------------------   
DMVPN_IKE_POL          DMVPN | IKE policy    main         keyring   DMVPN_IKE_PROP_1                      
RT-HUB-1#

show security ike policy <NAME>

RT-HUB-1# show security ike policy DMVPN_IKE_POL 
Description:       DMVPN | IKE policy
Mode:              main
Authentication method:      keyring
Lifetime seconds:  86400s
Proposal: 
    DMVPN_IKE_PROP_1
RT-HUB-1#

Команда «show security ike gateway» отображает настроенные в конфигурации криптошлюзы IKE. Указание имени криптошлюза отобразит более подробную информацию о настройках криптошлюза:

show security ike gateway

RT-HUB-1# show security ike gateway 
Name               Description                      IKE Policy                            
----------------   ------------------------------   -----------------------------------   
DMVPN_IKE_GW       DMVPN | IKE gateway              DMVPN_IKE_POL                         
RT-HUB-1#

show security ike gateway <NAME>

RT-HUB-1# show security ike gateway DMVPN_IKE_GW 
Description:                DMVPN | IKE gateway
IKE Policy:                 DMVPN_IKE_POL
IKE Version:                v2-only
Mode:                       policy-based
Binding interface:          --
IKE Dead Peer Detection:
    Action:                 clear
    Interval:               40
    Timeout:                160
RT-HUB-1#

Команда «show security ipsec proposal» отображает настроенные в конфигурации наборы криптографических алгоритмов, используемые при построении сессий протоколов AH или ESP. Указание имени набора отобразит более подробную информацию о содержимом набора:

show security ipsec proposal

RT-HUB-1# show security ipsec proposal 
Name                    Prot   Enc. alg.          Auth. alg.   PFS dh-group   
---------------------   ----   ----------------   ----------   ------------   
DMVPN_IPSEC_PROP_1      esp    aes256             sha2-256     19             
RT-HUB-1#

show security ipsec proposal <NAME>

RT-HUB-1# show security ipsec proposal DMVPN_IPSEC_PROP_1 
Description:                DMVPN | IPsec proposal #1
Protocol:                   esp
Encryption algorithm:       aes256
Authentication algorithm:   sha2-256
PFS dh-group:               19
RT-HUB-1#

Команда «show security ipsec policy» отображает настроенные в конфигурации политики для сессии протоколов AH или ESP. Указание имени политики отобразит более подробную информацию о содержимом политики:

show security ipsec policy

RT-HUB-1# show security ipsec policy 
Name                   Description           Proposal                              
--------------------   -------------------   -----------------------------------   
DMVPN_IPSEC_POL        DMVPN | IPsec         DMVPN_IPSEC_PROP_1                    
                       policy                                                      

RT-HUB-1#

show security ipsec policy <NAME>

RT-HUB-1# show security ipsec policy DMVPN_IPSEC_POL 
Description:        DMVPN | IPsec policy
Lifetime seconds:   28800s
Lifetime packets:   --
Lifetime kilobytes: 4608000
Proposal: 
    DMVPN_IPSEC_PROP_1
RT-HUB-1#

Команда «show security ipsec vpn configuration» отображает настроенные в конфигурации VPN-профили. Указание имени VPN-профиля отобразит более подробную информацию о настройках VPN-профиля:

show security ipsec vpn configuration

RT-HUB-1# show security ipsec vpn configuration 
Name               Description                      State      
----------------   ------------------------------   --------   
DMVPN_IPSEC_VPN    DMVPN | IPsec VPN profile        Enabled    
RT-HUB-1#

show security ipsec vpn configuration <NAME>

RT-HUB-1# show security ipsec vpn configuration DMVPN_IPSEC_VPN 
VRF:                        ISP_1
Description:                DMVPN | IPsec VPN profile
State:                      Enabled
IKE: 
    Establish tunnel:           route
    IPsec policy:               DMVPN_IPSEC_POL
    IKE gateway:                DMVPN_IKE_GW
    IKE DSCP:                   63
    IKE idle-time:              0s
    IKE rekeying:               Enabled
        Margin time:                3600s
        Margin kilobytes:           86400
        Margin packets:             0
        Randomization:              100%
RT-HUB-1#

Команда «show security ipsec vpn status» отображает активные IPsec-туннели. Указание имени VPN-профиля отобразит более подробную информацию об IPsec-туннелях, построенных на базе этого VPN-профиля. Для отображения активных туннелей в VRF необходимо добавить соответствующий модификатор:

show security ipsec vpn status vrf ISP

RT-HUB-1# show security ipsec vpn status vrf ISP_1 
Name                              Local host        Remote host       Initiator spi        Responder spi        State         
-------------------------------   ---------------   ---------------   ------------------   ------------------   -----------   
DMVPN_IPSEC_VPN                   10.0.0.2          203.0.115.2       0x060c25afd64b4af9   0xe098c56c4fbcc90d   Established   
DMVPN_IPSEC_VPN                   10.0.0.2          203.0.114.2       0x7be4dd13b45a79de   0x7cc308ff27b8bb02   Established   
DMVPN_IPSEC_VPN                   10.0.0.2          203.0.114.130     0x933d1a3ef9ecdd68   0xa23c893323d42ee1   Established   
RT-HUB-1#

show security ipsec vpn status vrf ISP <NAME>

RT-HUB-1# show security ipsec vpn status vrf ISP_1 DMVPN_IPSEC_VPN 
Currently active IKE SA:
    Name:                            DMVPN_IPSEC_VPN
    State:                           Established
    Version:                         v2-only
    Unique ID:                       60
    Local host:                      10.0.0.2
    Remote host:                     203.0.115.2
    Role:                            Responder
    Initiator spi:                   0x060c25afd64b4af9
    Responder spi:                   0xe098c56c4fbcc90d
    Encryption algorithm:            aes256
    Authentication algorithm:        sha2-256
    Diffie-Hellman group:            19
    Established (d,h:m:s):           00,02:58:39 ago
    Rekey time (d,h:m:s):            00,00:00:00
    Reauthentication time (d,h:m:s): 00,19:33:51
    Child IPsec SAs:
        Name:                            DMVPN_IPSEC_VPN-161
        State:                           Installed
        Protocol:                        esp
        Mode:                            Transport
        Encryption algorithm:            aes256
        Authentication algorithm:        sha2-256
        Rekey time (d,h:m:s):            00,03:20:28
        Life time (d,h:m:s):             00,05:01:21
        Established (d,h:m:s):           00,02:58:39 ago
        Traffic statistics: 
            Input bytes:                 819517
            Output bytes:                822697
            Input packets:               13507
            Output packets:              13509
        -------------------------------------------------------------
Currently active IKE SA:
    Name:                            DMVPN_IPSEC_VPN
    State:                           Established
    Version:                         v2-only
    Unique ID:                       62
    Local host:                      10.0.0.2
    Remote host:                     203.0.114.2
    Role:                            Responder
    Initiator spi:                   0x7be4dd13b45a79de
    Responder spi:                   0x7cc308ff27b8bb02
    Encryption algorithm:            aes256
    Authentication algorithm:        sha2-256
    Diffie-Hellman group:            19
    Established (d,h:m:s):           00,02:55:31 ago
    Rekey time (d,h:m:s):            00,00:00:00
    Reauthentication time (d,h:m:s): 00,19:52:09
    Child IPsec SAs:
        Name:                            DMVPN_IPSEC_VPN-163
        State:                           Installed
        Protocol:                        esp
        Mode:                            Transport
        Encryption algorithm:            aes256
        Authentication algorithm:        sha2-256
        Rekey time (d,h:m:s):            00,03:27:35
        Life time (d,h:m:s):             00,05:04:29
        Established (d,h:m:s):           00,02:55:31 ago
        Traffic statistics: 
            Input bytes:                 809459
            Output bytes:                810061
            Input packets:               13312
            Output packets:              13281
        -------------------------------------------------------------
Currently active IKE SA:
    Name:                            DMVPN_IPSEC_VPN
    State:                           Established
    Version:                         v2-only
    Unique ID:                       63
    Local host:                      10.0.0.2
    Remote host:                     203.0.114.130
    Role:                            Responder
    Initiator spi:                   0x933d1a3ef9ecdd68
    Responder spi:                   0xa23c893323d42ee1
    Encryption algorithm:            aes256
    Authentication algorithm:        sha2-256
    Diffie-Hellman group:            19
    Established (d,h:m:s):           00,01:09:08 ago
    Rekey time (d,h:m:s):            00,00:00:00
    Reauthentication time (d,h:m:s): 00,21:39:03
    Child IPsec SAs:
        Name:                            DMVPN_IPSEC_VPN-164
        State:                           Installed
        Protocol:                        esp
        Mode:                            Transport
        Encryption algorithm:            aes256
        Authentication algorithm:        sha2-256
        Rekey time (d,h:m:s):            00,04:56:06
        Life time (d,h:m:s):             00,06:50:52
        Established (d,h:m:s):           00,01:09:08 ago
        Traffic statistics: 
            Input bytes:                 315018
            Output bytes:                315097
            Input packets:               5206
            Output packets:              5200
        -------------------------------------------------------------
RT-HUB-1#

Команда «show security ipsec vpn authentication» отображает для активных IPsec-туннелей селекторы трафика, которые должен попадать в туннель, и используемый механизм аутентификации. Для отображения информации об IPsec-туннелях в VRF необходимо добавить соответствующий модификатор:

show security ipsec vpn authentication vrf ISP <NAME>

RT-HUB-1# show security ipsec vpn authentication vrf ISP_1 DMVPN_IPSEC_VPN 
Local host        Remote host       Local subnet          Remote subnet         Authentication                              State         
---------------   ---------------   -------------------   -------------------   -----------------------------------------   -----------   
10.0.0.2          203.0.115.2       10.0.0.2/32           203.0.115.2/32        Pre-shared key                              Established   
10.0.0.2          203.0.114.2       10.0.0.2/32           203.0.114.2/32        Pre-shared key                              Established   
10.0.0.2          203.0.114.130     10.0.0.2/32           203.0.114.130/32      Pre-shared key                              Established   
RT-HUB-1#

Просмотр оперативной информации о туннелях GRE

Команда «show tunnels status» с модификатором «gre» отображает состояние настроенных в конфигурации туннелей GRE. Указание номера GRE-туннеля отобразит более подробную информацию о GRE-туннеле:

show tunnels status gre

RT-OFFICE-1# show tunnels status gre
Tunnel             Admin   Link    MTU      Local IP           Remote IP          Last change     
                   state   state                                                  (d,h:m:s)       
----------------   -----   -----   ------   ----------------   ----------------   -------------   
gre 11             Up      Up      1400     203.0.114.2        --                 00,03:21:16     
gre 12             Up      Up      1400     203.0.114.2        --                 00,03:21:16     
RT-OFFICE-1#

show tunnels status gre <NUMBER>

RT-OFFICE-1# show tunnels status gre 11
Tunnel 'gre 11' status information:
 Description:          DMVPN | Cloud 1
 Administrative state: Up
 Operational state:    Up
 Supports broadcast:   No
 Supports multicast:   Yes
 MTU:                  1400
 Last change (d,h:m:s):00,03:23:41
RT-OFFICE-1#

Команда «show tunnels configuration» с модификатором «gre» отображает параметры настроенных в конфигурации туннелей GRE. Указание номера GRE-туннеля отобразит более подробную информацию о GRE-туннеле:

show tunnels configuration gre

RT-OFFICE-1# show tunnels configuration gre
Tunnel             State      Description                      
----------------   --------   ------------------------------   
gre 11             Enabled    DMVPN | Cloud 1                  
gre 12             Enabled    DMVPN | Cloud 2                  

RT-OFFICE-1#

show tunnels configuration gre <NUMBER>

RT-OFFICE-1# show tunnels configuration gre 11
State:                                             Enabled
Description:                                       DMVPN | Cloud 1
Mode:                                              ip
Bridge group:                                      --
VRF:                                               --
Local interface:                                   gigabitethernet 1/0/1
Remote address:                                    --
Calculates checksums for outgoing GRE packets:     No
Requires that all input GRE packets were checksum: No
key:                                               1000
TTL:                                               64
DSCP:                                              Inherit
MTU:                                               1400
Path MTU discovery:                                Enabled
Don't fragment bit suppression:                    Disabled
Security zone:                                     DMVPN_NET
Multipoint mode:                                   Enabled
Keepalive:                                         
    State:                                             Disabled
    Timeout:                                           10
    Retries:                                           6
    Destination address:                               --
RT-OFFICE-1#

Команда «show tunnels counters» с модификатором «gre» отображает счетчики настроенных в конфигурации туннелей GRE. Указание номера GRE-туннеля отобразит более подробную статистику о GRE-туннеле:

show tunnels counters gre

RT-OFFICE-1# show tunnels counters gre
Tunnel             Packets recv     Bytes recv       Errors recv      MC recv          
----------------   --------------   --------------   --------------   --------------   
gre 11             16906            935037           0                0                
gre 12             15604            820817           0                0                

Tunnel             Packets sent     Bytes sent       Errors sent      
----------------   --------------   --------------   --------------   
gre 11             16964            935255           0                
gre 12             15638            821396           0                
RT-OFFICE-1#

show tunnels counters gre <NUMBER>

RT-OFFICE-1# show tunnels counters gre 11
Tunnel 'gre 11' counters:
    Packets received:                 16906
    Bytes received:                   935037
    Dropped on receive:               0
    Receive errors:                   0
    Multicasts received:              0
    Receive length errors:            0
    Receive buffer overflow errors:   0
    Receive CRC errors:               0
    Receive frame errors:             0
    Receive FIFO errors:              0
    Receive missed errors:            0
    Receive compressed:               0
    Packets transmitted:              16964
    Bytes transmitted:                935255
    Dropped on transmit:              0
    Transmit errors:                  0
    Transmit aborted errors:          0
    Transmit carrier errors:          0
    Transmit FIFO errors:             0
    Transmit heartbeat errors:        0
    Transmit window errors:           0
    Transmit comressed:               0
    Collisions:                       0
RT-OFFICE-1#

Просмотр оперативной информации о протоколе NHRP

Команда «show ip nhrp peers» отображает информацию об известных NHRP-соседях. Указание модификатора «detailed» отобразит более подробную информацию о NHRP-соседях:

show ip nhrp peers

RT-OFFICE-1# show ip nhrp peers 
 Flags: E - unique, R - nhs, U - used, L - lower-up
        C - connected, G - group, Q - qos, N - nat
        P - protected, I - Redirect-ignored, X - undefined

Tunnel address         NBMA address       Tunnel      Expire      Created          Type              Flags        
                                                      (h:m:s)     (d,h:m:s)                                       
--------------------   ----------------   ---------   ---------   --------------   ---------------   ----------   
172.16.1.1             203.0.113.4        gre 11      --          00,00:00:50      static            RULCN        
172.16.2.1             203.0.113.132      gre 12      --          00,00:00:50      static            RULCN        
RT-OFFICE-1#

show ip nhrp peers detailed

RT-OFFICE-1# show ip nhrp peers detailed 
Tunnel:                     gre 11
Type:                       static
Tunnel address:             172.16.1.1
NBMA address:               203.0.113.4
NAT-OA address:             10.0.0.2
Flags:                      nhs, used, lower-up, connected, nat
Created (d,h:m:s):          00,00:00:52
Expire (h:m:s):             --
Re-registration in (h:m:s): 00:02:28
IPsec protection:           Disabled
Group:                      --
QoS policy output:          --

Tunnel:                     gre 12
Type:                       static
Tunnel address:             172.16.2.1
NBMA address:               203.0.113.132
NAT-OA address:             10.0.0.10
Flags:                      nhs, used, lower-up, connected, nat
Created (d,h:m:s):          00,00:00:52
Expire (h:m:s):             --
Re-registration in (h:m:s): 00:02:28
IPsec protection:           Disabled
Group:                      --
QoS policy output:          --
RT-OFFICE-1#

Команда «show ip nhrp peers» отображает информацию о созданных временных маршрутах до локальных сетей за удаленным NHRP-соседом. Появление данных маршрутов возможно в третьей фазе DMVPN при построении Spoke-to-Spoke туннелей:

show ip nhrp shortcut-routes

RT-OFFICE-1# show ip nhrp shortcut-routes 
Network                Nexthop            Tunnel      Expire      Created          
                                                      (h:m:s)     (d,h:m:s)        
--------------------   ----------------   ---------   ---------   --------------   
192.168.12.0/24        172.16.1.12        gre 11      00:09:39    00,00:00:20      
192.168.13.0/24        172.16.1.13        gre 11      00:09:52    00,00:00:07      
RT-OFFICE-1#

Команда «show ip route» с модификатором «nhrp» отображает все маршруты, добавленные в результате работы протокола NHRP:

show ip route nhrp

RT-OFFICE-1# show ip route nhrp 
H     * 172.16.1.1/32      [20/0]            dev gre 11                        [nhrp 06:34:49] 
H     * 172.16.2.1/32      [20/0]            dev gre 12                        [nhrp 06:34:49] 
H     * 172.16.1.13/32     [20/0]            dev gre 11                        [nhrp 10:16:43] 
H     * 192.168.12.0/24    [20/0]            via 172.16.1.12 on gre 11         [nhrp 10:16:29] 
H     * 192.168.13.0/24    [20/0]            via 172.16.1.13 on gre 11         [nhrp 10:16:43] 
H     * 172.16.1.12/32     [20/0]            dev gre 11                        [nhrp 10:16:29] 
RT-OFFICE-1#

Просмотр оперативной информации о протоколе BGP

Команда «show bgp summary» отображает краткую информацию об установленных BGP-соседствах, а также объемах анонсируемой и принимаемой маршрутной информации:

show bgp summary

RT-HUB-1# show bgp summary 
2025-06-10 10:35:44
  BGP router identifier 10.0.0.19, local AS number 65001
  BGP activity 5/12 prefixes
  Neighbor                 AS              MsgRcvd      MsgSent      Up/Down      St/PfxRcd
                                                                     (d,h:m:s)                
  ----------------------   -------------   ----------   ----------   ----------   ------------
  10.0.0.18                65500           2137         2179         01,06:56:47   1           
  10.0.0.17                65500           2114         2154         01,06:44:22   1           
  172.16.1.13              65000           285          283          00,04:04:03   1           
  172.16.1.12              65000           281          282          00,04:03:52   1           
  172.16.1.11              65000           276          276          00,04:00:43   1           
RT-HUB-1#

Команда «show bgp neighbors» отображает подробную информацию о BGP-соседях:

show bgp neighbors

RT-HUB-1# show bgp neighbors 
BGP neighbor is 10.0.0.17
    Description:                        DMZ | RT-GW-1
    BGP state:                          Established
    Type:                               Static neighbor
    Neighbor address:                   10.0.0.17
    Neighbor AS:                        65500
    Neighbor ID:                        10.0.0.1
    Neighbor caps:                      refresh enhanced-refresh restart-aware AS4
    Session:                            external AS4
    Source address:                     10.0.0.19
    Weight:                             0
    Hold timer:                         111/180
    Keepalive timer:                    12/60
    Peer group:                         DMVPN_LAN
    RR client:                          No
    Address family ipv4 unicast:       
      Send-label:                       No
      Default originate:                No
      Default information originate:    No
      Outgoing route-map:               DMVPN_LAN_OUT
      Preference:                       170
      Remove private AS:                No
      Next-hop self:                    No
      Next-hop unchanged:               No
    Uptime (d,h:m:s):                   01,06:44:34
    BFD address:                        10.0.0.17
    BFD state:                          Up        
    BFD interval:                       1.000 s
    BFD timeout:                        8.000 s
BGP neighbor is 10.0.0.18
    Description:                        DMZ | RT-GW-2
    BGP state:                          Established
    Type:                               Static neighbor
    Neighbor address:                   10.0.0.18
    Neighbor AS:                        65500
    Neighbor ID:                        10.0.0.9
    Neighbor caps:                      refresh enhanced-refresh restart-aware AS4
    Session:                            external AS4
    Source address:                     10.0.0.19
    Weight:                             0
    Hold timer:                         100/180
    Keepalive timer:                    52/60
    Peer group:                         DMVPN_LAN
    RR client:                          No
    Address family ipv4 unicast:       
      Send-label:                       No
      Default originate:                No
      Default information originate:    No
      Outgoing route-map:               DMVPN_LAN_OUT
      Preference:                       170
      Remove private AS:                No
      Next-hop self:                    No
      Next-hop unchanged:               No
    Uptime (d,h:m:s):                   01,06:56:59
    BFD address:                        10.0.0.18
    BFD state:                          Up        
    BFD interval:                       1.000 s
    BFD timeout:                        8.000 s
BGP neighbor is 172.16.1.13
    BGP state:                          Established
    Type:                               Dynamic neighbor
    Listen range prefix:                172.16.1.0/24
    Neighbor address:                   172.16.1.13
    Neighbor AS:                        65000
    Neighbor ID:                        172.16.1.13
    Neighbor caps:                      refresh enhanced-refresh restart-aware AS4
    Session:                            external AS4
    Source address:                     172.16.1.1
    Weight:                             0
    Hold timer:                         157/180
    Keepalive timer:                    19/60
    Peer group:                         DMVPN_NET_1
    RR client:                          No
    Address family ipv4 unicast:       
      Send-label:                       No
      Default originate:                Yes
      Default information originate:    No
      Outgoing route-map:               DMVPN_NET_1_OUT
      Preference:                       170
      Remove private AS:                No
      Next-hop self:                    No
      Next-hop unchanged:               No
    Uptime (d,h:m:s):                   00,04:04:15
    BFD address:                        172.16.1.13
    BFD state:                          Up        
    BFD interval:                       1.000 s
    BFD timeout:                        8.000 s
BGP neighbor is 172.16.1.12
    BGP state:                          Established
    Type:                               Dynamic neighbor
    Listen range prefix:                172.16.1.0/24
    Neighbor address:                   172.16.1.12
    Neighbor AS:                        65000
    Neighbor ID:                        172.16.1.12
    Neighbor caps:                      refresh enhanced-refresh restart-aware AS4
    Session:                            external AS4
    Source address:                     172.16.1.1
    Weight:                             0
    Hold timer:                         94/180
    Keepalive timer:                    4/60
    Peer group:                         DMVPN_NET_1
    RR client:                          No
    Address family ipv4 unicast:       
      Send-label:                       No
      Default originate:                Yes
      Default information originate:    No
      Outgoing route-map:               DMVPN_NET_1_OUT
      Preference:                       170
      Remove private AS:                No
      Next-hop self:                    No
      Next-hop unchanged:               No
    Uptime (d,h:m:s):                   00,04:04:04
    BFD address:                        172.16.1.12
    BFD state:                          Up        
    BFD interval:                       1.000 s
    BFD timeout:                        8.000 s
BGP neighbor is 172.16.1.11
    BGP state:                          Established
    Type:                               Dynamic neighbor
    Listen range prefix:                172.16.1.0/24
    Neighbor address:                   172.16.1.11
    Neighbor AS:                        65000
    Neighbor ID:                        172.16.1.11
    Neighbor caps:                      refresh enhanced-refresh restart-aware AS4
    Session:                            external AS4
    Source address:                     172.16.1.1
    Weight:                             0
    Hold timer:                         123/180
    Keepalive timer:                    32/60
    Peer group:                         DMVPN_NET_1
    RR client:                          No
    Address family ipv4 unicast:       
      Send-label:                       No
      Default originate:                Yes
      Default information originate:    No
      Outgoing route-map:               DMVPN_NET_1_OUT
      Preference:                       170
      Remove private AS:                No
      Next-hop self:                    No
      Next-hop unchanged:               No
    Uptime (d,h:m:s):                   00,04:00:55
    BFD address:                        172.16.1.11
    BFD state:                          Up        
    BFD interval:                       1.000 s
    BFD timeout:                        8.000 s
RT-HUB-1#

Команда «show bgp ipv4 unicast» отображает состояние RIB протокола BGP:

show bgp ipv4 unicast

RT-HUB-1# show bgp ipv4 unicast
Status codes: u - unicast, b - broadcast, m - multicast, a - anycast
              * - valid, > - best
Origin codes: i - IGP, e - EGP, ? - incomplete

     Network              Next Hop             Metric  LocPrf      Weight Path        
*> u 0.0.0.0/0            10.0.0.17            100     100         0      65500 i
*  u 0.0.0.0/0            10.0.0.18            200     100         0      65500 i
*> u 192.168.11.0/24      172.16.1.11          --      100         0      65000 i
*> u 192.168.12.0/24      172.16.1.12          --      100         0      65000 i
*> u 192.168.13.0/24      172.16.1.13          --      100         0      65000 i
RT-HUB-1#

Команда «show bgp ipv4 unicast neighbor <IP-ADDRESS> routes» отображает принятые от BGP-соседа маршруты:

show bgp ipv4 unicast neighbor <IP-ADDRESS> routes

RT-HUB-1# show bgp ipv4 unicast neighbor 172.16.1.11 routes 
Status codes: u - unicast, b - broadcast, m - multicast, a - anycast
              * - valid, > - best
Origin codes: i - IGP, e - EGP, ? - incomplete

     Network              Next Hop             Metric  LocPrf      Weight Path        
*> u 192.168.11.0/24      172.16.1.11          --      100         0      65000 i
RT-HUB-1#

Команда «show bgp ipv4 unicast neighbor <IP-ADDRESS> advertise-routes» отображает анонсируемые BGP-соседу маршруты:

show bgp ipv4 unicast neighbor <IP-ADDRESS> advertise-routes

RT-HUB-1# show bgp ipv4 unicast neighbor 172.16.1.11 advertise-routes 
Status codes: u - unicast, b - broadcast, m - multicast, a - anycast
              * - valid, > - best
Origin codes: i - IGP, e - EGP, ? - incomplete

     Network              Next Hop             Metric  LocPrf      Weight Path        
*> u 0.0.0.0/0            172.16.1.1           100     --          --     65001 i
RT-HUB-1#

Команда «show ip route» с модификатором «bgp» отображает все маршруты, добавленные в результате работы протокола BGP:

show ip route bgp

RT-HUB-1# show ip route bgp
B     * 0.0.0.0/0          [170]             via 10.0.0.17 on po1.300          [bgp65001 2025-06-09] (AS65500i)
B       0.0.0.0/0          [170]             via 10.0.0.18 on po1.300          [bgp65001 2025-06-09] (AS65500i)
B     * 192.168.11.0/24    [170]             via 172.16.1.11 on gre 10         [bgp65001 06:35:01] (AS65000i)
B     * 192.168.12.0/24    [170]             via 172.16.1.12 on gre 10         [bgp65001 06:31:52] (AS65000i)
B     * 192.168.13.0/24    [170]             via 172.16.1.13 on gre 10         [bgp65001 06:31:41] (AS65000i)
RT-HUB-1#

Просмотр оперативной информации о протоколе BFD

Команда «show bfd neighbors» отображает актуальных BFD-соседей. Указание IP-адреса BFD-соседа отобразит более подробную информацию о BFD-соседе:

show bfd neighbors

RT-HUB-1# show bfd neighbors 
Neighbor                                Discriminator State     Interface       
--------------------------------------- ------------- --------- ----------------
10.0.0.18                               1981074375    Up        po1.300         
172.16.1.13                             1317697778    Up        gre 10          
172.16.1.12                             2842746174    Up        gre 10          
172.16.1.11                             4248109158    Up        gre 10          
10.0.0.17                               4277650140    Up        po1.300         
RT-HUB-1#

show bfd neighbors <IP-ADDRESS>

RT-HUB-1# show bfd neighbors 172.16.1.11
Neighbor address:                   172.16.1.11
Local address:                      172.16.1.1
Interface:                          gre 10
Remote discriminator:               4248109158
Local discriminator:                2527420142
State:                              Up
Session type:                       Control
Session mode:                       Single-hop
Local diagnostic code:              No Diagnostic
Remote diagnostic code:             No Diagnostic
Minimal Tx Interval:                1000 ms
Minimal Rx Interval:                1000 ms
Multiplier:                         8
Actual Tx Interval:                 1000 ms
Actual Detection Interval:          8000 ms
Number of transmitted packets:      17983
Number of received packets:         17971
Uptime (d,h:m:s):                   00,04:07:20
Client:                             BGP 
Last received packet:
    Desired Min Tx Interval:        1000 ms
    Required Min Rx Interval:       1000 ms
    Multiplier:                     8
RT-HUB-1#

Просмотр оперативной информации о состоянии Zone-Based Firewall

Команда «show security zone» отображает список настроенных зон безопасности:

show security zone

RT-GW-1# show security zone
Zone name       Interfaces                                   
-------------   ------------------------------------------   
UNTRUSTED       gi1/0/1                                      
MGMT            po1.250                                      
CUSTOMER        po1.100                                      
DMVPN_ISP_1     po1.210                                      
DMVPN_LAN       po1.300                                      
RT-GW-1#

Команда «show security zone-pair» отображает список настроенных пар зон безопасности:

show security zone-pair

RT-GW-1# show security zone-pair 
From zone       To zone         VRF                                Description                                   
-------------   -------------   --------------------------------   -------------------------------------------   
MGMT            self            --                                 --                                            
CUSTOMER        self            --                                 --                                            
CUSTOMER        UNTRUSTED       --                                 --                                            
DMVPN_ISP_1     self            --                                 --                                            
UNTRUSTED       DMVPN_ISP_1     --                                 --                                            
DMVPN_ISP_1     UNTRUSTED       --                                 --                                            
DMVPN_LAN       self            --                                 --                                            
DMVPN_LAN       CUSTOMER        --                                 --                                            
CUSTOMER        DMVPN_LAN       --                                 --                                            
DMVPN_LAN       UNTRUSTED       --                                 --                                            
RT-GW-1#

Команда «show security zone-pair configuration <LEFT> <RIGHT>» отображает список правил firewall для указанной пары зон безопасности:

show security zone-pair configuration <LEFT> <RIGHT>

RT-GW-1# show security zone-pair configuration DMVPN_LAN self 
Order:                         10
Description:                   Permit | ICMP | From ANY | To ANY
Matching pattern:
    Protocol:                  ICMP(1)
    Fragment:                  --
    IP options:                --
    Source MAC:                any
    Destination MAC:           any
    ICMP type:                 any
    ICMP code:                 any
    Source address:            any
    Destination address:       any
    Destination NAT:           --
    Application:               --
Action:                        Permit
Status:                        Enabled
--------------------------------------------------------------------------------
Order:                         20
Description:                   Permit | BGP | From ANY | To ANY
Matching pattern:
    Protocol:                  TCP(6)
    Fragment:                  --
    IP options:                --
    Source MAC:                any
    Destination MAC:           any
    Source address:            any
    Source port:               any
    Destination address:       any
    Destination port:          179
    Destination NAT:           --
    Application:               --
Action:                        Permit
Status:                        Enabled
--------------------------------------------------------------------------------
Order:                         30
Description:                   Permit | BFD | From ANY | To ANY
Matching pattern:
    Protocol:                  UDP(17)
    Fragment:                  --
    IP options:                --
    Source MAC:                any
    Destination MAC:           any
    Source address:            any
    Source port:               any
    Destination address:       any
    Destination port:          3784
    Destination NAT:           --
    Application:               --
Action:                        Permit
Status:                        Enabled
--------------------------------------------------------------------------------
RT-GW-1#

Команда «show ip firewall counters» отображает статистику срабатывания правил firewall:

show bfd neighbors

RT-GW-1# show ip firewall counters 
Zone-pair                        Rule         Action            Pkts         Bytes        Description            
------------------------------   ----------   ---------------   ----------   ----------   --------------------   
CUSTOMER/UNTRUSTED               10           permit            1            92           Permit | ANY | From    
                                                                                          CUSTOMER | To ISP-1    

CUSTOMER/self                    10           permit            0            0            Permit | ICMP |        
                                                                                          From ANY | To ANY      

CUSTOMER/self                    20           permit            1            40           Permit | VRRP |        
                                                                                          From ANY | To ANY      

DMVPN_ISP_1/UNTRUSTED            10           permit            0            0            Permit | ICMP |        
                                                                                          From ANY | To ANY      

DMVPN_ISP_1/UNTRUSTED            20           permit            58           27086        Permit | IKE/IPsec     
                                                                                          | From RT-HUB-1 |      
                                                                                          To ISP-1               

DMVPN_ISP_1/self                 10           permit            0            0            Permit | ICMP |        
                                                                                          From ANY | To ANY      

DMVPN_LAN/self                   10           permit            0            0            Permit | ICMP |        
                                                                                          From ANY | To ANY      

DMVPN_LAN/self                   20           permit            151          9060         Permit | BGP | From    
                                                                                          ANY | To ANY           

DMVPN_LAN/self                   30           permit            271569       14121588     Permit | BFD | From    
                                                                                          ANY | To ANY           

MGMT/self                        10           permit            0            0            Permit | ICMP |        
                                                                                          From ANY | To ANY      

UNTRUSTED/DMVPN_ISP_1            10           permit            0            0            Permit | ICMP |        
                                                                                          From ANY | To ANY      

UNTRUSTED/DMVPN_ISP_1            20           permit            59           13788        Permit | IKE/IPsec     
                                                                                          | From ISP-1 | To      
                                                                                          RT-HUB-1               

any/any                          default      deny              3            252          --                     
CUSTOMER/DMVPN_LAN               10           permit            28           2576         Permit | ANY | From    
                                                                                          CUSTOMER | To DMVPN    
                                                                                          Cloud                  

DMVPN_LAN/CUSTOMER               10           permit            18           1656         Permit | ANY | From    
                                                                                          DMVPN Cloud | To       
                                                                                          CUSTOMER               

DMVPN_LAN/UNTRUSTED              10           permit            14           1288         Permit | ANY | From    
                                                                                          DMVPN Cloud | To       
                                                                                          ISP-1                  

RT-GW-1#

Команда «show ip firewall sessions» отображает список отслеживаемых firewall сетевых сессий:

show bfd neighbors

RT-GW-1# show ip firewall sessions 
 Codes: E - expected, U - unreplied,
        A - assured, C - confirmed

Prot    Aging        Inside source           Inside destination      Outside source          Outside destination     Pkts         Bytes        Status   
-----   ----------   ---------------------   ---------------------   ---------------------   ---------------------   ----------   ----------   ------   
tcp     99           10.0.0.19:54300         10.0.0.17:179           10.0.0.19:54300         10.0.0.17:179           --           --           AC       
udp     179          203.0.114.130:4500      10.0.0.2:4500           203.0.114.130:4500      203.0.113.4:4500        --           --           AC       
tcp     113          10.0.0.20:52247         10.0.0.17:179           10.0.0.20:52247         10.0.0.17:179           --           --           AC       
udp     179          203.0.115.2:5064        10.0.0.2:4500           203.0.115.2:5064        203.0.113.4:4500        --           --           AC       
icmp    22           203.0.113.2             8.8.4.4                 203.0.113.2             8.8.4.4                 --           --           C        
udp     29           10.0.0.19:49171         10.0.0.17:3784          10.0.0.19:49171         10.0.0.17:3784          --           --           UC       
udp     28           10.0.0.17:49152         10.0.0.20:3784          10.0.0.17:49152         10.0.0.20:3784          --           --           UC       
udp     29           10.0.0.17:49152         10.0.0.19:3784          10.0.0.17:49152         10.0.0.19:3784          --           --           UC       
vrrp    59           10.100.0.253            224.0.0.18              10.100.0.253            224.0.0.18              --           --           UC       
udp     29           10.0.0.20:49163         10.0.0.17:3784          10.0.0.20:49163         10.0.0.17:3784          --           --           UC       
udp     179          203.0.114.2:4500        10.0.0.2:4500           203.0.114.2:4500        203.0.113.4:4500        --           --           AC       
icmp    24           203.0.113.2             77.88.44.242            203.0.113.2             77.88.44.242            --           --           C        
RT-GW-1#

Просмотр оперативной информации о состоянии NAT

Команда «show ip nat proxy-arp» отображает список интерфейсов, на которых включена функция ARP-proxy, и для каких IP-адресов она будет срабатывать:

show ip nat proxy-arp

RT-GW-1# show ip nat proxy-arp 
Interface     IP address range                                
-----------   ---------------------------------------------   
gi1/0/1       203.0.113.3, 203.0.113.4                        
RT-GW-1#

Команда «show ip nat source pools» отображает список настроенных пулов IP-адресов и портов, используемых в правилах Source NAT:

show ip nat source pools

RT-GW-1# show ip nat source pools 
Name                    IP address          Port      Description   Persi   
                                            range                   stent   
---------------------   -----------------   -------   -----------   -----   
CUSTOMER_PUBLIC_IP      203.0.113.3         -         --            No      
RT-GW-1#

Команда «show ip nat source rulesets» отображает список настроенных наборов правил Source NAT. Указание имени набора отобразит список правил Source NAT этого набора:

show ip nat source rulesets

RT-GW-1# show ip nat source rulesets 
Name                               To                   Description         
--------------------------------   ------------------   -----------------   
SNAT                               zone 'UNTRUSTED'     --                  
RT-GW-1#

show ip nat source rulesets <NAME>

RT-GW-1# show ip nat source rulesets SNAT 

Description:                   --
VRF:                           --
To:                            zone 'UNTRUSTED'

Rules:
------
Order:                         10
Description:                   Source | CUSTOMER
Matching pattern:
    Protocol:                  any
    Source address:            10.100.0.0/24
    Destination address:       any
Action:                        pool CUSTOMER_PUBLIC_IP
Status:                        Enabled
--------------------------------------------------------------------------------
Order:                         20
Description:                   Static | RT-HUB-1
Matching pattern:
    Protocol:                  any
    Source address:            10.0.0.2/32
    Destination address:       any
Action:                        netmap 203.0.113.4/32
Status:                        Enabled
--------------------------------------------------------------------------------
Order:                         30
Description:                   Source | DMVPN Cloud
Matching pattern:
    Protocol:                  any
    Source address:            192.168.11.0/24, 192.168.12.0/24, 192.168.13.0/24
    Destination address:       any
Action:                        pool CUSTOMER_PUBLIC_IP
Status:                        Enabled
--------------------------------------------------------------------------------
RT-GW-1#

Команда «show ip nat translations» отображает список текущих отслеживаемых NAT-сессий:

show ip nat translations

RT-GW-1# show ip nat translations 
Prot   Inside source           Inside destination      Outside source          Outside destination     Pkts         Bytes        
----   ---------------------   ---------------------   ---------------------   ---------------------   ----------   ----------   
udp    203.0.114.130:4500      10.0.0.2:4500           203.0.114.130:4500      203.0.113.4:4500        --           --           
udp    203.0.115.2:5064        10.0.0.2:4500           203.0.115.2:5064        203.0.113.4:4500        --           --           
udp    203.0.114.2:4500        10.0.0.2:4500           203.0.114.2:4500        203.0.113.4:4500        --           --           
RT-GW-1#

Приложения

Приложение А. Полные конфигурации оборудования по окончанию настройки

Конфигурации оборудования в центральном офисе

RT-GW-1

hostname RT-GW-1

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit
object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

object-group network CUSTOMER_POOL
  description "LAN | CUSTOMER"
  ip prefix 10.100.0.0/24
exit
object-group network DMVPN_HUB_1
  description "DMZ | RT-HUB-1"
  ip prefix 10.0.0.2/32
exit
object-group network DMVPN_INET_POOL
  description "DMZ | DMVPN Cloud Remote LANs"
  ip prefix 192.168.11.0/24
  ip prefix 192.168.12.0/24
  ip prefix 192.168.13.0/24
exit
object-group network ISP_1_PROXY
  description "ISP-1 | ARP PROXY"
  ip address-range 203.0.113.3
  ip address-range 203.0.113.4
exit

security zone UNTRUSTED
  description "ISP-1 | Uplink"
exit
security zone MGMT
  description "MGMT | Management"
exit
security zone CUSTOMER
  description "LAN | CUSTOMER"
exit
security zone DMVPN_ISP_1
  description "DMZ | RT-HUB-1 uplink"
exit
security zone DMVPN_LAN
  description "DMZ | RT-HUB-1 downlink"
exit

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

route-map DMVPN_LAN_OUT
  rule 10
    description "DMZ | Default for DMVPN Hub"
    match ip address 0.0.0.0/0
    action set metric bgp 300 track 1 default 100
  exit
exit

router bgp 65500
  peer-group DMVPN_LAN
    update-source port-channel 1.300
    fall-over bfd
    address-family ipv4 unicast
      route-map DMVPN_LAN_OUT out
      default-originate
      enable
    exit
  exit
  neighbor 10.0.0.19
    description "DMZ | RT-HUB-1"
    remote-as 65001
    peer-group DMVPN_LAN
    enable
  exit
  neighbor 10.0.0.20
    description "DMZ | RT-HUB-2"
    remote-as 65002
    peer-group DMVPN_LAN
    enable
  exit
  enable
exit

interface port-channel 1
exit
interface port-channel 1.250
  description "MGMT | Management link"
  security-zone MGMT
  ip address 10.250.0.1/24
exit
interface port-channel 1.100
  description "LAN | CUSTOMER"
  security-zone CUSTOMER
  ip address 10.100.0.253/24
  vrrp 1
    ip address 10.100.0.1/24
    priority 101
    priority track 1 decrement 10
    group 1
    preempt disable
    enable
  exit
exit
interface port-channel 1.210
  description "DMZ | RT-HUB-1 uplink to ISP-1"
  security-zone DMVPN_ISP_1
  ip address 10.0.0.1/30
exit
interface port-channel 1.300
  description "DMZ | RT-HUB-1 dowlink"
  security-zone DMVPN_LAN
  ip address 10.0.0.17/29
exit
interface gigabitethernet 1/0/1
  description "ISP-1 | Uplink"
  security-zone UNTRUSTED
  ip address 203.0.113.2/25
  ip nat proxy-arp ISP_1_PROXY
exit
interface gigabitethernet 1/0/3
  mode switchport
  channel-group 1 mode auto
  lldp transmit
  lldp receive
exit
interface gigabitethernet 1/0/4
  mode switchport
  channel-group 1 mode auto
  lldp transmit
  lldp receive
exit

security zone-pair MGMT self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit
security zone-pair CUSTOMER self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | VRRP | From ANY | To ANY"
    action permit
    match protocol vrrp
    enable
  exit
exit
security zone-pair CUSTOMER UNTRUSTED
  rule 10
    description "Permit | ANY | From CUSTOMER | To ISP-1"
    action permit
    match source-address object-group network CUSTOMER_POOL
    enable
  exit
exit
security zone-pair DMVPN_ISP_1 self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit
security zone-pair UNTRUSTED DMVPN_ISP_1
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | IKE/IPsec | From ISP-1 | To RT-HUB-1"
    action permit
    match protocol udp
    match destination-address object-group network DMVPN_HUB_1
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
exit
security zone-pair DMVPN_ISP_1 UNTRUSTED
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | IKE/IPsec | From RT-HUB-1 | To ISP-1"
    action permit
    match protocol udp
    match source-address object-group network DMVPN_HUB_1
    match source-port object-group IKE_AND_IPSEC
    enable
  exit
exit
security zone-pair DMVPN_LAN self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit
security zone-pair DMVPN_LAN CUSTOMER
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To CUSTOMER"
    action permit
    match source-address object-group network DMVPN_INET_POOL
    enable
  exit
exit
security zone-pair CUSTOMER DMVPN_LAN
  rule 10
    description "Permit | ANY | From CUSTOMER | To DMVPN Cloud"
    action permit
    match destination-address object-group network DMVPN_INET_POOL
    enable
  exit
exit
security zone-pair DMVPN_LAN UNTRUSTED
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To ISP-1"
    action permit
    match source-address object-group network DMVPN_INET_POOL
    enable
  exit
exit

nat source
  pool CUSTOMER_PUBLIC_IP
    ip address-range 203.0.113.3
  exit
  ruleset SNAT
    to zone UNTRUSTED
    rule 10
      description "Source | CUSTOMER"
      match source-address object-group network CUSTOMER_POOL
      action source-nat pool CUSTOMER_PUBLIC_IP
      enable
    exit
    rule 20
      description "Static | RT-HUB-1"
      match source-address object-group network DMVPN_HUB_1
      action source-nat netmap 203.0.113.4/32 static
      enable
    exit
    rule 30
      description "Source | DMVPN Cloud"
      match source-address object-group network DMVPN_INET_POOL
      action source-nat pool CUSTOMER_PUBLIC_IP
      enable
    exit
  exit
exit

ip route 0.0.0.0/0 203.0.113.1 name ISP-1

ip sla
ip sla logging status
ip sla test 1
  description "PING | Google DNS"
  icmp-echo 8.8.4.4 source-ip 203.0.113.2 num-packets 5
  enable
exit
ip sla test 2
  description "PING | ya.ru"
  icmp-echo 77.88.44.242 source-ip 203.0.113.2 num-packets 5
  enable
exit
ip sla schedule all life forever start-time now

track 1
  description "REACHABLE | ISP-1"
  track sla test 1 mode state fail
  track sla test 2 mode state fail
  enable
exit

RT-GW-2

hostname RT-GW-2

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit
object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

object-group network CUSTOMER_POOL
  description "LAN | CUSTOMER"
  ip prefix 10.100.0.0/24
exit
object-group network DMVPN_HUB_2
  description "DMZ | RT-HUB-2"
  ip prefix 10.0.0.10/32
exit
object-group network DMVPN_INET_POOL
  description "DMZ | DMVPN Cloud Remote LANs"
  ip prefix 192.168.11.0/24
  ip prefix 192.168.12.0/24
  ip prefix 192.168.13.0/24
exit
object-group network ISP_2_PROXY
  description "ISP-2 | ARP PROXY"
  ip address-range 203.0.113.131
  ip address-range 203.0.113.132
exit

security zone UNTRUSTED
  description "ISP-2 | Uplink"
exit
security zone MGMT
  description "MGMT | Management"
exit
security zone CUSTOMER
  description "LAN | CUSTOMER"
exit
security zone DMVPN_ISP_2
  description "DMZ | RT-HUB-2 uplink"
exit
security zone DMVPN_LAN
  description "DMZ | RT-HUB-2 downlink"
exit

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

route-map DMVPN_LAN_OUT
  rule 10
    description "DMZ | Default for DMVPN Hub"
    match ip address 0.0.0.0/0
    action set metric bgp 200
  exit
exit

router bgp 65500
  peer-group DMVPN_LAN
    update-source port-channel 1.300
    fall-over bfd
    address-family ipv4 unicast
      route-map DMVPN_LAN_OUT out
      default-originate
      enable
    exit
  exit
  neighbor 10.0.0.19
    description "DMZ | RT-HUB-1"
    remote-as 65001
    peer-group DMVPN_LAN
    enable
  exit
  neighbor 10.0.0.20
    description "DMZ | RT-HUB-2"
    remote-as 65002
    peer-group DMVPN_LAN
    enable
  exit
  enable
exit

interface port-channel 1
exit
interface port-channel 1.250
  description "MGMT | Management link"
  security-zone MGMT
  ip address 10.250.0.2/24
exit
interface port-channel 1.100
  description "LAN | CUSTOMER"
  security-zone CUSTOMER
  ip address 10.100.0.254/24
  vrrp 1
    ip address 10.100.0.1/24
    group 1
    preempt disable
    enable
  exit
exit
interface port-channel 1.220
  description "DMZ | RT-HUB-2 uplink to ISP-2"
  security-zone DMVPN_ISP_2
  ip address 10.0.0.9/30
exit
interface port-channel 1.300
  description "DMZ | RT-HUB-2 dowlink"
  security-zone DMVPN_LAN
  ip address 10.0.0.18/29
exit
interface gigabitethernet 1/0/1
  description "ISP-2 | Uplink"
  security-zone UNTRUSTED
  ip address 203.0.113.130/25
  ip nat proxy-arp ISP_2_PROXY
exit
interface gigabitethernet 1/0/3
  mode switchport
  channel-group 1 mode auto
  lldp transmit
  lldp receive
exit
interface gigabitethernet 1/0/4
  mode switchport
  channel-group 1 mode auto
  lldp transmit
  lldp receive
exit

security zone-pair MGMT self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit
security zone-pair CUSTOMER self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | VRRP | From ANY | To ANY"
    action permit
    match protocol vrrp
    enable
  exit
exit
security zone-pair CUSTOMER UNTRUSTED
  rule 10
    description "Permit | ANY | From CUSTOMER | To ISP-1"
    action permit
    match source-address object-group network CUSTOMER_POOL
    enable
  exit
exit
security zone-pair DMVPN_ISP_2 self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit
security zone-pair UNTRUSTED DMVPN_ISP_2
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | IKE/IPsec | From ISP-2 | To RT-HUB-2"
    action permit
    match protocol udp
    match destination-address object-group network DMVPN_HUB_2
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
exit
security zone-pair DMVPN_ISP_2 UNTRUSTED
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | IKE/IPsec | From RT-HUB-2 | To ISP-2"
    action permit
    match protocol udp
    match source-address object-group network DMVPN_HUB_2
    match source-port object-group IKE_AND_IPSEC
    enable
  exit
exit
security zone-pair DMVPN_LAN self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit
security zone-pair DMVPN_LAN CUSTOMER
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To CUSTOMER"
    action permit
    match source-address object-group network DMVPN_INET_POOL
    enable
  exit
exit
security zone-pair CUSTOMER DMVPN_LAN
  rule 10
    description "Permit | ANY | From CUSTOMER | To DMVPN Cloud"
    action permit
    match destination-address object-group network DMVPN_INET_POOL
    enable
  exit
exit
security zone-pair DMVPN_LAN UNTRUSTED
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To ISP-2"
    action permit
    match source-address object-group network DMVPN_INET_POOL
    enable
  exit
exit

nat source
  pool CUSTOMER_PUBLIC_IP
    ip address-range 203.0.113.131
  exit
  ruleset SNAT
    to zone UNTRUSTED
    rule 10
      description "Source | CUSTOMER"
      match source-address object-group network CUSTOMER_POOL
      action source-nat pool CUSTOMER_PUBLIC_IP
      enable
    exit
    rule 20
      description "Static | RT-HUB-2"
      match source-address object-group network DMVPN_HUB_2
      action source-nat netmap 203.0.113.132/32 static
      enable
    exit
    rule 30
      description "Source | DMVPN Cloud"
      match source-address object-group network DMVPN_INET_POOL
      action source-nat pool CUSTOMER_PUBLIC_IP
      enable
    exit
  exit
exit

ip route 0.0.0.0/0 203.0.113.129 name ISP-2

SW-CORE-1

hostname SW-CORE-1
!
vlan database
 vlan 100,210,220,250,300
exit
!
vpc domain 1
 peer detection
 peer detection ipaddr 1.1.1.2 1.1.1.1
 peer keepalive
 role priority 1
 peer link port-channel 1
exit
!
vpc
!
vpc group 2
 domain 1
 vpc-port port-channel 2
exit
!
vpc group 3
 domain 1
 vpc-port port-channel 3
exit
!
vpc group 4
 domain 1
 vpc-port port-channel 4
exit
!
vpc group 5
 domain 1
 vpc-port port-channel 5
exit
!
vpc group 6
 domain 1
 vpc-port port-channel 6
exit
!
vpc group 7
 domain 1
 vpc-port port-channel 7
exit
!
!
interface TenGigabitEthernet1/0/1
 ip address 1.1.1.1 255.255.255.252
exit
!
interface TenGigabitEthernet1/0/2
 channel-group 1 mode auto
exit
!
interface TenGigabitEthernet1/0/3
 channel-group 1 mode auto
exit
!
interface TenGigabitEthernet1/0/4
 channel-group 2 mode auto
exit
!
interface TenGigabitEthernet1/0/5
 channel-group 3 mode auto
exit
!
interface TenGigabitEthernet1/0/6
 channel-group 4 mode auto
exit
!
interface TenGigabitEthernet1/0/7
 channel-group 5 mode auto
exit
!
interface TenGigabitEthernet1/0/8
 channel-group 6 mode auto
exit
!
interface TenGigabitEthernet1/0/9
 channel-group 7 mode auto
exit
!
interface range Port-Channel1
 switchport mode general
 switchport general allowed vlan add 100,210,220,250,300 tagged
exit
!
interface range Port-Channel2-3
 switchport mode general
 switchport general allowed vlan add 100,210,220,250,300 tagged
exit
!
interface range Port-Channel4-5
 switchport mode general
 switchport general allowed vlan add 100,250 tagged
exit
!
interface range Port-Channel6-7
 switchport mode general
 switchport general allowed vlan add 210,220,250,300 tagged
exit
!
interface vlan 100
 name Internet
exit
!
interface vlan 250
 name Management
 ip address 10.250.0.10 255.255.255.0
exit
!
!
end

SW-CORE-2

hostname SW-CORE-2
!
vlan database
 vlan 100,210,220,250,300
exit
!
vpc domain 1
 peer detection
 peer detection ipaddr 1.1.1.1 1.1.1.2
 peer keepalive
 role priority 1
 peer link port-channel 1
exit
!
vpc
!
vpc group 2
 domain 1
 vpc-port port-channel 2
exit
!
vpc group 3
 domain 1
 vpc-port port-channel 3
exit
!
vpc group 4
 domain 1
 vpc-port port-channel 4
exit
!
vpc group 5
 domain 1
 vpc-port port-channel 5
exit
!
vpc group 6
 domain 1
 vpc-port port-channel 6
exit
!
vpc group 7
 domain 1
 vpc-port port-channel 7
exit
!
!
interface TenGigabitEthernet1/0/1
 ip address 1.1.1.2 255.255.255.252
exit
!
interface TenGigabitEthernet1/0/2
 channel-group 1 mode auto
exit
!
interface TenGigabitEthernet1/0/3
 channel-group 1 mode auto
exit
!
interface TenGigabitEthernet1/0/4
 channel-group 2 mode auto
exit
!
interface TenGigabitEthernet1/0/5
 channel-group 3 mode auto
exit
!
interface TenGigabitEthernet1/0/6
 channel-group 4 mode auto
exit
!
interface TenGigabitEthernet1/0/7
 channel-group 5 mode auto
exit
!
interface TenGigabitEthernet1/0/8
 channel-group 6 mode auto
exit
!
interface TenGigabitEthernet1/0/9
 channel-group 7 mode auto
exit
!
interface range Port-Channel1
 switchport mode general
 switchport general allowed vlan add 100,210,220,250,300 tagged
exit
!
interface range Port-Channel2-3
 switchport mode general
 switchport general allowed vlan add 100,210,220,250,300 tagged
exit
!
interface range Port-Channel4-5
 switchport mode general
 switchport general allowed vlan add 100,250 tagged
exit
!
interface range Port-Channel6-7
 switchport mode general
 switchport general allowed vlan add 210,220,250,300 tagged
exit
!
interface vlan 100
 name Internet
exit
!
interface vlan 250
 name Management
 ip address 10.250.0.11 255.255.255.0
exit
!
!
end

SW-AGGR (Unit 1)

stack configuration unit-id 1
!
stack configuration links te1-2
!
stack nsf

SW-AGGR (Unit 2)

stack configuration unit-id 2
!
stack configuration links te1-2
!
stack nsf

SW-AGGR (Config)

hostname SW-AGGR
!
vlan database
 vlan 100,250
exit
!
interface GigabitEthernet1/0/1
 channel-group 1 mode auto
exit
!
interface GigabitEthernet1/0/2
 channel-group 2 mode auto
exit
!
interface GigabitEthernet1/0/3
 channel-group 3 mode auto
exit                                                 
!
interface GigabitEthernet1/0/4
 channel-group 4 mode auto
exit
!
interface GigabitEthernet2/0/1
 channel-group 1 mode auto
exit
!
interface GigabitEthernet2/0/2
 channel-group 2 mode auto
exit
!
interface GigabitEthernet2/0/3
 channel-group 3 mode auto
exit
!
interface GigabitEthernet2/0/4
 channel-group 4 mode auto
exit
!
interface range Port-Channel1-4                              
 switchport mode general
 switchport general allowed vlan add 100,250 tagged
 switchport forbidden default-vlan
exit                                          
!
interface vlan 100
 name Internet
exit
!
interface vlan 250
 name Management
 ip address 10.250.0.20 255.255.255.0
exit
!
!
end

SW-DMZ (Unit 1)

stack configuration unit-id 1
!
stack configuration links te1-2
!
stack nsf

SW-DMZ (Unit 2)

security zone Untrusted
exit
 
interface gigabitethernet 1/0/1
  description "ISP1"
  security-zone Untrusted
  ip address 203.0.113.2/25
exit

SW-DMZ (Config)

hostname SW-DMZ
!
vlan database
 vlan 210,220,250,300
exit
!
interface GigabitEthernet1/0/1
 channel-group 1 mode auto
exit
!
interface GigabitEthernet1/0/2
 channel-group 2 mode auto
exit
!
interface GigabitEthernet1/0/3
 channel-group 3 mode auto
exit
!
interface GigabitEthernet1/0/4
 channel-group 4 mode auto
exit
!
interface GigabitEthernet2/0/1
 channel-group 1 mode auto
exit
!
interface GigabitEthernet2/0/2
 channel-group 2 mode auto
exit
!
interface GigabitEthernet2/0/3
 channel-group 3 mode auto
exit
!
interface GigabitEthernet2/0/4
 channel-group 4 mode auto
exit
!
interface range Port-Channel1-2
 switchport mode general
 switchport general allowed vlan add 210,220,250,300 tagged
 switchport forbidden default-vlan
exit
!
interface range Port-Channel3-4
 switchport mode general
 switchport general allowed vlan add 210,220,250,300 tagged
 switchport forbidden default-vlan
exit
!
interface vlan 250
 name Management
 ip address 10.250.0.40 255.255.255.0
exit
!
!
end

SW-DIST-1

hostname SW-DIST-1
!
vlan database
 vlan 100,250
exit
!
loopback-detection enable
loopback-detection mode multicast-mac-addr
loopback-detection interval 1
!
errdisable recovery cause loopback-detection
!
ip dhcp snooping
ip dhcp snooping vlan 100
!
!                                                    
ip arp inspection
ip arp inspection vlan 100
!
ip ssh server
!
no ip telnet server
!
interface range gigabitethernet1/0/1-24
 loopback-detection enable
 ip dhcp snooping limit clients 2
 storm-control broadcast kbps 2048 trap
 storm-control unicast kbps 2048 trap
 storm-control multicast kbps 2048 trap
 spanning-tree disable
 spanning-tree bpdu filtering
 switchport mode general
 switchport general allowed vlan add 100 untagged
 switchport general pvid 100
 switchport protected-port
 voice vlan enable
exit
!
interface tengigabitethernet1/0/1
 channel-group 1 mode auto
exit
!
interface tengigabitethernet1/0/2
 channel-group 1 mode auto
exit
!
interface Port-channel1
 ip arp inspection trust
 ip dhcp snooping trust
 switchport mode general
 switchport general allowed vlan add 100,250 tagged
 switchport forbidden default-vlan
exit
!
interface vlan 100
 name Internet
exit
!
interface vlan 250
 name Management
 ip address 10.250.0.31 255.255.255.0
exit
!
!
end

SW-DIST-2

hostname SW-DIST-2
!
vlan database
 vlan 100,250
exit
!
loopback-detection enable
loopback-detection mode multicast-mac-addr
loopback-detection interval 1
!
errdisable recovery cause loopback-detection
!
ip dhcp snooping
ip dhcp snooping vlan 100
!
!                                                    
ip arp inspection
ip arp inspection vlan 100
!
ip ssh server
!
no ip telnet server
!
interface range gigabitethernet1/0/1-24
 loopback-detection enable
 ip dhcp snooping limit clients 2
 storm-control broadcast kbps 2048 trap
 storm-control unicast kbps 2048 trap
 storm-control multicast kbps 2048 trap
 spanning-tree disable
 spanning-tree bpdu filtering
 switchport mode general
 switchport general allowed vlan add 100 untagged
 switchport general pvid 100
 switchport protected-port
 voice vlan enable
exit
!
interface tengigabitethernet1/0/1
 channel-group 1 mode auto
exit
!
interface tengigabitethernet1/0/2
 channel-group 1 mode auto
exit
!
interface Port-channel1
 ip arp inspection trust
 ip dhcp snooping trust
 switchport mode general
 switchport general allowed vlan add 100,250 tagged
 switchport forbidden default-vlan
exit
!
interface vlan 100
 name Internet
exit
!
interface vlan 250
 name Management
 ip address 10.250.0.32 255.255.255.0
exit
!
!
end

RT-HUB-1

hostname RT-HUB-1

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit
object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

ip vrf ISP_1
exit

security zone DMVPN_ISP_1
  description "ISP-1 | Uplink"
  ip vrf forwarding ISP_1
exit
security zone DMVPN_LAN
  description "DMVPN | Downlink to RT-GW"
exit
security zone DMVPN_NET_1
  description "DMVPN | Cloud 1"
exit

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

route-map DMVPN_NET_1_OUT
  rule 10
    description "DMZ | Default for DMVPN Spokes"
    match ip address 0.0.0.0/0
    action set metric bgp 100
  exit
exit
route-map DMVPN_LAN_OUT
  rule 10
    description "DMVPN | Redistribute to RT-GW"
    action set metric bgp 100
  exit
exit

router bgp log-neighbor-changes

router bgp 65001
  peer-group DMVPN_LAN
    remote-as 65500
    update-source port-channel 1.300
    fall-over bfd
    address-family ipv4 unicast
      route-map DMVPN_LAN_OUT out
      enable
    exit
  exit
  peer-group DMVPN_NET_1
    remote-as 65000
    update-source gre 10
    fall-over bfd
    address-family ipv4 unicast
      route-map DMVPN_NET_1_OUT out
      default-originate
      enable
    exit
  exit
  neighbor 10.0.0.17
    description "DMZ | RT-GW-1"
    peer-group DMVPN_LAN
    enable
  exit
  neighbor 10.0.0.18
    description "DMZ | RT-GW-2"
    peer-group DMVPN_LAN
    enable
  exit
  listen-range 172.16.1.0/24
    peer-group DMVPN_NET_1
    enable
  exit
  address-family ipv4 unicast
    network 172.16.1.0/24
  exit
  enable
exit

interface port-channel 1
exit
interface port-channel 1.210
  description "ISP-1 | Uplink"
  ip vrf forwarding ISP_1
  description "DMVPN_ISP_1"
  security-zone DMVPN_ISP_1
  ip address 10.0.0.2/30
exit
interface port-channel 1.300
  description "DMVPN | Downlink to RT-GW"
  security-zone DMVPN_LAN
  ip address 10.0.0.19/29
exit
interface gigabitethernet 1/0/1
  mode switchport
  channel-group 1 mode auto
exit
interface gigabitethernet 1/0/2
  mode switchport
  channel-group 1 mode auto
exit

tunnel gre 10
  description "DMVPN | Cloud 1"
  key 1000
  ttl 64
  mtu 1400
  multipoint
  security-zone DMVPN_NET_1
  tunnel-source vrf ISP_1
  local interface port-channel 1.210
  ip address 172.16.1.1/24
  ip tcp adjust-mss 1360
  ip nhrp authentication encrypted 8CB5107EA7005AFF
  ip nhrp redirect
  ip nhrp ipsec DMVPN_IPSEC_VPN dynamic
  ip nhrp multicast dynamic
  ip nhrp enable
  enable
exit

security zone-pair DMVPN_ISP_1 self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | IKE/IPsec | From ISP-1 | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
  rule 30
    description "Permit | GRE | From ANY | To ANY"
    action permit
    match protocol gre
    enable
  exit
exit
security zone-pair DMVPN_LAN self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit
security zone-pair DMVPN_NET_1 self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit
security zone-pair DMVPN_NET_1 DMVPN_LAN
  rule 10
    description "Permit | ANY | From DMVPN Cloud 1 | To DMVPN Downlink"
    action permit
    enable
  exit
exit
security zone-pair DMVPN_LAN DMVPN_NET_1
  rule 10
    description "Permit | ANY | From DMVPN Downlink | To DMVPN Cloud 1"
    action permit
    enable
  exit
exit

security ike proposal DMVPN_IKE_PROP_1
  description "DMVPN | IKE proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  dh-group 19
exit

security ike keyring DMVPN_IKE_KEYRING
  description "DMVPN | IKE keyring"
  identity dns *.company.loc pre-shared-key ascii-text encrypted 8CB5107EA7005AFF
exit

security ike policy DMVPN_IKE_POL
  description "DMVPN | IKE policy"
  lifetime seconds 86400
  keyring DMVPN_IKE_KEYRING
  authentication method keyring
  proposal DMVPN_IKE_PROP_1
exit

security ike gateway DMVPN_IKE_GW
  description "DMVPN | IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface port-channel 1.210
  local network dynamic protocol gre 
  local id dns "hub1.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike session uniqueids replace

security ipsec proposal DMVPN_IPSEC_PROP_1
  description "DMVPN | IPsec proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  pfs dh-group 19
exit

security ipsec policy DMVPN_IPSEC_POL
  description "DMVPN | IPsec policy"
  lifetime seconds 28800
  lifetime kilobytes 4608000
  proposal DMVPN_IPSEC_PROP_1
exit

security ipsec vpn DMVPN_IPSEC_VPN
  description "DMVPN | IPsec VPN profile"
  type transport
  ip vrf forwarding ISP_1
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit

ip route vrf ISP_1 0.0.0.0/0 10.0.0.1 name ISP-1

RT-HUB-2

hostname RT-HUB-2

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit
object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

ip vrf ISP_2
exit

security zone DMVPN_ISP_2
  description "ISP-2 | Uplink"
  ip vrf forwarding ISP_2
exit
security zone DMVPN_LAN
  description "DMVPN | Downlink to RT-GW"
exit
security zone DMVPN_NET_2
  description "DMVPN | Cloud 2"
exit

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

route-map DMVPN_NET_2_OUT
  rule 10
    description "DMZ | Default for DMVPN Spokes"
    match ip address 0.0.0.0/0
    action set metric bgp 200
  exit
exit
route-map DMVPN_LAN_OUT
  rule 10
    description "DMVPN | Redistribute to RT-GW"
    action set metric bgp 200
  exit
exit

router bgp log-neighbor-changes

router bgp 65002
  peer-group DMVPN_LAN
    remote-as 65500
    update-source port-channel 1.300
    fall-over bfd
    address-family ipv4 unicast
      route-map DMVPN_LAN_OUT out
      enable
    exit
  exit
  peer-group DMVPN_NET_2
    remote-as 65000
    update-source gre 10
    fall-over bfd
    address-family ipv4 unicast
      route-map DMVPN_NET_2_OUT out
      default-originate
      enable
    exit
  exit
  neighbor 10.0.0.17
    description "DMZ | RT-GW-1"
    peer-group DMVPN_LAN
    enable
  exit
  neighbor 10.0.0.18
    description "DMZ | RT-GW-2"
    peer-group DMVPN_LAN
    enable
  exit
  listen-range 172.16.2.0/24
    peer-group DMVPN_NET_2
    enable
  exit
  address-family ipv4 unicast
    network 172.16.2.0/24
  exit
  enable
exit

interface port-channel 1
exit
interface port-channel 1.220
  description "ISP-2 | Uplink"
  ip vrf forwarding ISP_2
  description "DMVPN_ISP_2"
  security-zone DMVPN_ISP_2
  ip address 10.0.0.10/30
exit
interface port-channel 1.300
  description "DMVPN | Downlink to RT-GW"
  description "DMVPN_LAN"
  security-zone DMVPN_LAN
  ip address 10.0.0.20/29
exit
interface gigabitethernet 1/0/1
  mode switchport
  channel-group 1 mode auto
exit
interface gigabitethernet 1/0/2
  mode switchport
  channel-group 1 mode auto
exit

tunnel gre 10
  description "DMVPN | Cloud 2"
  key 2000
  ttl 64
  mtu 1400
  multipoint
  security-zone DMVPN_NET_2
  tunnel-source vrf ISP_2
  local interface port-channel 1.220
  ip address 172.16.2.1/24
  ip tcp adjust-mss 1360
  ip nhrp authentication encrypted 8CB5107EA7005AFF
  ip nhrp redirect
  ip nhrp ipsec DMVPN_IPSEC_VPN dynamic
  ip nhrp multicast dynamic
  ip nhrp enable
  enable
exit

security zone-pair DMVPN_ISP_2 self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | IKE/IPsec | From ISP-1 | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
  rule 30
    description "Permit | GRE | From ANY | To ANY"
    action permit
    match protocol gre
    enable
  exit
exit
security zone-pair DMVPN_LAN self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit
security zone-pair DMVPN_NET_2 self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit
security zone-pair DMVPN_NET_2 DMVPN_LAN
  rule 10
    description "Permit | ANY | From DMVPN Cloud 2 | To DMVPN Downlink"
    action permit
    enable
  exit
exit
security zone-pair DMVPN_LAN DMVPN_NET_2
  rule 10
    description "Permit | ANY | From DMVPN Downlink | To DMVPN Cloud 2"
    action permit
    enable
  exit
exit

security ike proposal DMVPN_IKE_PROP_1
  description "DMVPN | IKE proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  dh-group 19
exit

security ike keyring DMVPN_IKE_KEYRING
  description "DMVPN | IKE keyring"
  identity dns *.company.loc pre-shared-key ascii-text encrypted 8CB5107EA7005AFF
exit

security ike policy DMVPN_IKE_POL
  description "DMVPN | IKE policy"
  lifetime seconds 86400
  keyring DMVPN_IKE_KEYRING
  authentication method keyring
  proposal DMVPN_IKE_PROP_1
exit

security ike gateway DMVPN_IKE_GW
  description "DMVPN | IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface port-channel 1.220
  local network dynamic protocol gre 
  local id dns "hub2.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike session uniqueids replace

security ipsec proposal DMVPN_IPSEC_PROP_1
  description "DMVPN | IPsec proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  pfs dh-group 19
exit

security ipsec policy DMVPN_IPSEC_POL
  description "DMVPN | IPsec policy"
  lifetime seconds 28800
  lifetime kilobytes 4608000
  proposal DMVPN_IPSEC_PROP_1
exit

security ipsec vpn DMVPN_IPSEC_VPN
  description "DMVPN | IPsec VPN profile"
  type transport
  ip vrf forwarding ISP_2
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit

ip route vrf ISP_2 0.0.0.0/0 10.0.0.9 name ISP-2

Конфигурации оборудования в дочернем офисе №1

RT-OFFICE-1

hostname RT-OFFICE-1

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit
object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

ip vrf ISP
exit

security zone CUSTOMER
  description "LAN | CUSTOMER"
exit
security zone UNTRUSTED
  description "ISP | Uplink"
  ip vrf forwarding ISP
exit
security zone DMVPN_NET
  description "DMVPN | Cloud"
exit

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

route-map DMVPN_NET_OUT
  rule 10
    description "DMZ | LAN for DMVPN Hub"
    match ip address 192.168.11.0/24
  exit
exit

router bgp log-neighbor-changes

router bgp 65000
  neighbor 172.16.1.1
    description "DMVPN | RT-HUB-1"
    remote-as 65001
    update-source gre 11
    fall-over bfd
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
      enable
    exit
    enable
  exit
  neighbor 172.16.2.1
    description "DMVPN | RT-HUB-2"
    remote-as 65002
    update-source gre 12
    fall-over bfd
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
      enable
    exit
    enable
  exit
  address-family ipv4 unicast
    network 192.168.11.0/24
  exit
  enable
exit

interface gigabitethernet 1/0/1
  description "ISP | Uplink"
  ip vrf forwarding ISP
  security-zone UNTRUSTED
  ip address 203.0.114.2/25
exit
interface gigabitethernet 1/0/2.100
  description "LAN | CUSTOMER"
  security-zone CUSTOMER
  ip address 192.168.11.1/24
exit

tunnel gre 11
  description "DMVPN | Cloud 1"
  key 1000
  ttl 64
  mtu 1400
  multipoint
  security-zone DMVPN_NET
  tunnel-source vrf ISP
  local interface gigabitethernet 1/0/1
  ip address 172.16.1.11/24
  ip tcp adjust-mss 1360
  ip nhrp authentication encrypted 8CB5107EA7005AFF
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp map 172.16.1.1 203.0.113.4
  ip nhrp nhs 172.16.1.1
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_1 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES dynamic
  ip nhrp multicast nhs
  ip nhrp enable
  enable
exit
tunnel gre 12
  description "DMVPN | Cloud 2"
  key 2000
  ttl 64
  mtu 1400
  multipoint
  security-zone DMVPN_NET
  tunnel-source vrf ISP
  local interface gigabitethernet 1/0/1
  ip address 172.16.2.11/24
  ip tcp adjust-mss 1360
  ip nhrp authentication encrypted 8CB5107EA7005AFF
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp map 172.16.2.1 203.0.113.132
  ip nhrp nhs 172.16.2.1
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_2 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES dynamic
  ip nhrp multicast nhs
  ip nhrp enable
  enable
exit

security zone-pair CUSTOMER self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit
security zone-pair UNTRUSTED self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | IKE/IPsec | From ISP | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
  rule 30
    description "Permit | ESP | From ISP | To ANY"
    action permit
    match protocol esp
    enable
  exit
  rule 40
    description "Permit | ESP | From GRE | To ANY"
    action permit
    match protocol gre
    enable
  exit
exit
security zone-pair DMVPN_NET self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit
security zone-pair DMVPN_NET CUSTOMER
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To CUSTOMER"
    action permit
    enable
  exit
exit
security zone-pair CUSTOMER DMVPN_NET
  rule 10
    description "Permit | ANY | From CUSTOMER | To DMVPN Cloud"
    action permit
    enable
  exit
exit

security ike proposal DMVPN_IKE_PROP_1
  description "DMVPN | IKE proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  dh-group 19
exit

security ike keyring DMVPN_IKE_KEYRING
  description "DMVPN | IKE keyring"
  identity dns *.company.loc pre-shared-key ascii-text encrypted 8CB5107EA7005AFF
exit

security ike policy DMVPN_IKE_POL
  description "DMVPN | IKE policy"
  lifetime seconds 86400
  keyring DMVPN_IKE_KEYRING
  authentication method keyring
  proposal DMVPN_IKE_PROP_1
exit

security ike gateway DMVPN_IKE_GW_HUB_1
  description "DMVPN | RT-HUB-1 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke1.company.loc"
  remote id dns "hub1.company.loc"
  remote address 203.0.113.4
  remote network 203.0.113.4/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit
security ike gateway DMVPN_IKE_GW_HUB_2
  description "DMVPN | RT-HUB-2 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke1.company.loc"
  remote id dns "hub2.company.loc"
  remote address 203.0.113.132
  remote network 203.0.113.132/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit
security ike gateway DMVPN_IKE_GW_SPOKES
  description "DMVPN | Spokes IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke1.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike session uniqueids replace

security ipsec proposal DMVPN_IPSEC_PROP_1
  description "DMVPN | IPsec proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  pfs dh-group 19
exit

security ipsec policy DMVPN_IPSEC_POL
  description "DMVPN | IPsec policy"
  lifetime seconds 28800
  lifetime kilobytes 4608000
  proposal DMVPN_IPSEC_PROP_1
exit

security ipsec vpn DMVPN_IPSEC_VPN_HUB_1
  description "DMVPN | RT-HUB-1 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_1
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit
security ipsec vpn DMVPN_IPSEC_VPN_HUB_2
  description "DMVPN | RT-HUB-2 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_2
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit
security ipsec vpn DMVPN_IPSEC_VPN_SPOKES
  description "DMVPN | Spokes IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_SPOKES
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit

ip route vrf ISP 0.0.0.0/0 203.0.114.1 name ISP

SW-OFFICE-1

hostname SW-OFFICE-1
!
vlan database
 vlan 100
exit
!
interface range GigabitEthernet1/0/1-24
 switchport mode general
 switchport general allowed vlan add 100 untagged
 switchport general pvid 100
 switchport protected-port
exit
!
interface TenGigabitEthernet1/0/1
 switchport mode general
 switchport general allowed vlan add 100 tagged
 switchport forbidden default-vlan
exit

Конфигурации оборудования в дочернем офисе №2

RT-OFFICE-2

hostname RT-OFFICE-2

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit
object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

ip vrf ISP
exit

security zone CUSTOMER
  description "LAN | CUSTOMER"
exit
security zone UNTRUSTED
  description "ISP | Uplink"
  ip vrf forwarding ISP
exit
security zone DMVPN_NET
  description "DMVPN | Cloud"
exit

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

route-map DMVPN_NET_OUT
  rule 10
    description "DMZ | LAN for DMVPN Hub"
    match ip address 192.168.12.0/24
  exit
exit

router bgp log-neighbor-changes

router bgp 65000
  neighbor 172.16.1.1
    description "DMVPN | RT-HUB-1"
    remote-as 65001
    update-source gre 11
    fall-over bfd
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
      enable
    exit
    enable
  exit
  neighbor 172.16.2.1
    description "DMVPN | RT-HUB-2"
    remote-as 65002
    update-source gre 12
    fall-over bfd
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
      enable
    exit
    enable
  exit
  address-family ipv4 unicast
    network 192.168.12.0/24
  exit
  enable
exit

interface gigabitethernet 1/0/1
  ip vrf forwarding ISP
  description "ISP | Uplink"
  security-zone UNTRUSTED
  ip address dhcp
exit
interface gigabitethernet 1/0/2.100
  description "LAN | CUSTOMER"
  security-zone CUSTOMER
  ip address 192.168.12.1/24
exit

tunnel gre 11
  description "DMVPN | Cloud 1"
  key 1000
  ttl 64
  mtu 1400
  multipoint
  security-zone DMVPN_NET
  tunnel-source vrf ISP
  local interface gigabitethernet 1/0/1
  ip address 172.16.1.12/24
  ip tcp adjust-mss 1360
  ip nhrp authentication encrypted 8CB5107EA7005AFF
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp map 172.16.1.1 203.0.113.4
  ip nhrp nhs 172.16.1.1
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_1 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES dynamic
  ip nhrp multicast nhs
  ip nhrp enable
  enable
exit
tunnel gre 12
  description "DMVPN | Cloud 2"
  key 2000
  ttl 64
  mtu 1400
  multipoint
  security-zone DMVPN_NET
  tunnel-source vrf ISP
  local interface gigabitethernet 1/0/1
  ip address 172.16.2.12/24
  ip tcp adjust-mss 1360
  ip nhrp authentication encrypted 8CB5107EA7005AFF
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp map 172.16.2.1 203.0.113.132
  ip nhrp nhs 172.16.2.1
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_2 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES dynamic
  ip nhrp multicast nhs
  ip nhrp enable
  enable
exit

security zone-pair CUSTOMER self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit
security zone-pair UNTRUSTED self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | IKE/IPsec | From ISP | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
  rule 30
    description "Permit | ESP | From ISP | To ANY"
    action permit
    match protocol esp
    enable
  exit
  rule 40
    description "Permit | ESP | From GRE | To ANY"
    action permit
    match protocol gre
    enable
  exit
exit
security zone-pair DMVPN_NET self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit
security zone-pair DMVPN_NET CUSTOMER
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To CUSTOMER"
    action permit
    enable
  exit
exit
security zone-pair CUSTOMER DMVPN_NET
  rule 10
    description "Permit | ANY | From CUSTOMER | To DMVPN Cloud"
    action permit
    enable
  exit
exit

security ike proposal DMVPN_IKE_PROP_1
  description "DMVPN | IKE proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  dh-group 19
exit

security ike keyring DMVPN_IKE_KEYRING
  description "DMVPN | IKE keyring"
  identity dns *.company.loc pre-shared-key ascii-text encrypted 8CB5107EA7005AFF
exit

security ike policy DMVPN_IKE_POL
  description "DMVPN | IKE policy"
  keyring DMVPN_IKE_KEYRING
  authentication method keyring
  proposal DMVPN_IKE_PROP_1
exit

security ike gateway DMVPN_IKE_GW_HUB_1
  description "DMVPN | RT-HUB-1 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke2.company.loc"
  remote id dns "hub1.company.loc"
  remote address 203.0.113.4
  remote network 203.0.113.4/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit
security ike gateway DMVPN_IKE_GW_HUB_2
  description "DMVPN | RT-HUB-2 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke2.company.loc"
  remote id dns "hub2.company.loc"
  remote address 203.0.113.132
  remote network 203.0.113.132/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit
security ike gateway DMVPN_IKE_GW_SPOKES
  description "DMVPN | Spokes IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke2.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike session uniqueids replace

security ipsec proposal DMVPN_IPSEC_PROP_1
  description "DMVPN | IPsec proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  pfs dh-group 19
exit

security ipsec policy DMVPN_IPSEC_POL
  description "DMVPN | IPsec policy"
  lifetime seconds 28800
  lifetime kilobytes 4608000
  proposal DMVPN_IPSEC_PROP_1
exit

security ipsec vpn DMVPN_IPSEC_VPN_HUB_1
  description "DMVPN | RT-HUB-1 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_1
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit
security ipsec vpn DMVPN_IPSEC_VPN_HUB_2
  description "DMVPN | RT-HUB-2 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_2
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit
security ipsec vpn DMVPN_IPSEC_VPN_SPOKES
  description "DMVPN | Spokes IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_SPOKES
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit

SW-OFFICE-2

hostname SW-OFFICE-2
!
vlan database
 vlan 100
exit
!
interface range GigabitEthernet1/0/1-24
 switchport mode general
 switchport general allowed vlan add 100 untagged
 switchport general pvid 100
 switchport protected-port
exit
!
interface TenGigabitEthernet1/0/1
 switchport mode general
 switchport general allowed vlan add 100 tagged
 switchport forbidden default-vlan
exit

Конфигурации оборудования в дочернем офисе №3

RT-OFFICE-3

hostname RT-OFFICE-3

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit
object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

ip vrf ISP
exit

security zone CUSTOMER
  description "LAN | CUSTOMER"
exit
security zone UNTRUSTED
  description "ISP | Uplink"
  ip vrf forwarding ISP
exit
security zone DMVPN_NET
  description "DMVPN | Cloud"
exit

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

route-map DMVPN_NET_OUT
  rule 10
    description "DMZ | LAN for DMVPN Hub"
    match ip address 192.168.13.0/24
  exit
exit

router bgp log-neighbor-changes

router bgp 65000
  neighbor 172.16.1.1
    description "DMVPN | RT-HUB-1"
    remote-as 65001
    update-source gre 11
    fall-over bfd
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
      enable
    exit
    enable
  exit
  neighbor 172.16.2.1
    description "DMVPN | RT-HUB-2"
    remote-as 65002
    update-source gre 12
    fall-over bfd
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
      enable
    exit
    enable
  exit
  address-family ipv4 unicast
    network 192.168.13.0/24
  exit
  enable
exit

interface gigabitethernet 1/0/1
  ip vrf forwarding ISP
  description "ISP | PPPoE source-interface"
exit
interface gigabitethernet 1/0/2.100
  description "LAN | CUSTOMER"
  security-zone CUSTOMER
  ip address 192.168.13.1/24
exit

tunnel gre 11
  description "DMVPN | Cloud 1"
  key 1000
  ttl 64
  mtu 1400
  multipoint
  security-zone DMVPN_NET
  tunnel-source vrf ISP
  local interface pppoe 1
  ip address 172.16.1.13/24
  ip tcp adjust-mss 1360
  ip nhrp authentication encrypted 8CB5107EA7005AFF
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp map 172.16.1.1 203.0.113.4
  ip nhrp nhs 172.16.1.1
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_1 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES dynamic
  ip nhrp multicast nhs
  ip nhrp enable
  enable
exit
tunnel gre 12
  description "DMVPN | Cloud 2"
  key 2000
  ttl 64
  mtu 1400
  multipoint
  security-zone DMVPN_NET
  tunnel-source vrf ISP
  local interface pppoe 1
  ip address 172.16.2.13/24
  ip tcp adjust-mss 1360
  ip nhrp authentication encrypted 8CB5107EA7005AFF
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp map 172.16.2.1 203.0.113.132
  ip nhrp nhs 172.16.2.1
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_2 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES dynamic
  ip nhrp multicast nhs
  ip nhrp enable
  enable
exit
tunnel pppoe 1
  ip vrf forwarding ISP
  interface gigabitethernet 1/0/1
  description "ISP | Uplink"
  security-zone UNTRUSTED
  username user password ascii-text encrypted 8CB5107EA7005AFF
  enable
exit

security zone-pair CUSTOMER self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit
security zone-pair UNTRUSTED self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | IKE/IPsec | From ISP | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
  rule 30
    description "Permit | ESP | From ISP | To ANY"
    action permit
    match protocol esp
    enable
  exit
  rule 40
    description "Permit | ESP | From GRE | To ANY"
    action permit
    match protocol gre
    enable
  exit
exit
security zone-pair DMVPN_NET self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit
security zone-pair DMVPN_NET CUSTOMER
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To CUSTOMER"
    action permit
    enable
  exit
exit
security zone-pair CUSTOMER DMVPN_NET
  rule 10
    description "Permit | ANY | From CUSTOMER | To DMVPN Cloud"
    action permit
    enable
  exit
exit

security ike proposal DMVPN_IKE_PROP_1
  description "DMVPN | IKE proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  dh-group 19
exit

security ike keyring DMVPN_IKE_KEYRING
  description "DMVPN | IKE keyring"
  identity dns *.company.loc pre-shared-key ascii-text encrypted 8CB5107EA7005AFF
exit

security ike policy DMVPN_IKE_POL
  description "DMVPN | IKE policy"
  lifetime seconds 86400
  keyring DMVPN_IKE_KEYRING
  authentication method keyring
  proposal DMVPN_IKE_PROP_1
exit

security ike gateway DMVPN_IKE_GW_HUB_1
  description "DMVPN | RT-HUB-1 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local tunnel pppoe 1
  local network dynamic protocol gre 
  local id dns "spoke3.company.loc"
  remote id dns "hub1.company.loc"
  remote address 203.0.113.4
  remote network 203.0.113.4/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit
security ike gateway DMVPN_IKE_GW_HUB_2
  description "DMVPN | RT-HUB-2 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local tunnel pppoe 1
  local network dynamic protocol gre 
  local id dns "spoke3.company.loc"
  remote id dns "hub2.company.loc"
  remote address 203.0.113.132
  remote network 203.0.113.132/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit
security ike gateway DMVPN_IKE_GW_SPOKES
  description "DMVPN | Spokes IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local tunnel pppoe 1
  local network dynamic protocol gre 
  local id dns "spoke3.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike session uniqueids replace

security ipsec proposal DMVPN_IPSEC_PROP_1
  description "DMVPN | IPsec proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  pfs dh-group 19
exit

security ipsec policy DMVPN_IPSEC_POL
  description "DMVPN | IPsec policy"
  lifetime seconds 28800
  lifetime kilobytes 4608000
  proposal DMVPN_IPSEC_PROP_1
exit

security ipsec vpn DMVPN_IPSEC_VPN_HUB_1
  description "DMVPN | RT-HUB-1 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_1
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit
security ipsec vpn DMVPN_IPSEC_VPN_HUB_2
  description "DMVPN | RT-HUB-2 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_2
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit
security ipsec vpn DMVPN_IPSEC_VPN_SPOKES
  description "DMVPN | Spokes IPsec VPN profile"
  type transport
  ip vrf forwarding ISP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_SPOKES
  ike ipsec-policy DMVPN_IPSEC_POL
  ike rekey margin kilobytes 86400
  ike rekey margin seconds 3600
  enable
exit

SW-OFFICE-3

hostname SW-OFFICE-3
!
vlan database
 vlan 100
exit
!
interface range GigabitEthernet1/0/1-24
 switchport mode general
 switchport general allowed vlan add 100 untagged
 switchport general pvid 100
 switchport protected-port
exit
!
interface TenGigabitEthernet1/0/1
 switchport mode general
 switchport general allowed vlan add 100 tagged
 switchport forbidden default-vlan
exit

Конфигурации оборудования в дочернем офисе №4

RT-OFFICE-4

hostname RT-OFFICE-4

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit
object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

ip vrf ISP-CORE
exit
ip vrf ISP-BACKUP
exit

security zone CUSTOMER
  description "LAN | CUSTOMER"
exit
security zone CORE
  description "ISP-CORE | Uplink"
  ip vrf forwarding ISP-CORE
exit
security zone BACKUP
  description "ISP-BACKUP | Uplink"
  ip vrf forwarding ISP-BACKUP
exit
security zone DMVPN_NET
  description "DMVPN | Cloud"
exit

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

route-map DMVPN_NET_OUT
  rule 10
    description "DMZ | LAN for DMVPN Hub"
    match ip address 192.168.14.0/24
  exit
exit

router bgp log-neighbor-changes

router bgp 65000
  neighbor 172.16.1.1
    description "DMVPN | RT-HUB-1"
    remote-as 65001
    update-source gre 11
    fall-over bfd
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
      enable
    exit
    enable
  exit
  neighbor 172.16.2.1
    description "DMVPN | RT-HUB-2"
    remote-as 65002
    update-source gre 12
    fall-over bfd
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
      enable
    exit
    enable
  exit
  address-family ipv4 unicast
    network 192.168.14.0/24
  exit
  enable
exit

interface gigabitethernet 1/0/1
  ip vrf forwarding ISP-BACKUP
  description "ISP-BACKUP | Uplink"
  security-zone BACKUP
  ip address 203.10.0.2/24
exit
interface gigabitethernet 1/0/2
  ip vrf forwarding ISP-CORE
  description "ISP-CORE | Uplink"
  security-zone CORE
  ip address 203.10.1.2/24
exit
interface gigabitethernet 1/0/3.100
  description "LAN | CUSTOMER"
  security-zone CUSTOMER
  ip address 192.168.111.1/24
exit
interface gigabitethernet 1/0/4
  ip firewall disable
  ip address 192.168.47.141/20
exit

tunnel gre 11
  description "DMVPN | Cloud 1"
  key 1000
  ttl 64
  mtu 1400
  multipoint
  security-zone DMVPN_NET
  tunnel-source vrf ISP-BACKUP
  local interface gigabitethernet 1/0/1
  ip address 172.16.1.14/24
  ip tcp adjust-mss 1360
  ip nhrp authentication encrypted 8CB5107EA7005AFF
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp map 172.16.1.1 203.0.113.4
  ip nhrp nhs 172.16.1.1
  ip nhrp enable
  enable
exit
tunnel gre 12
  description "DMVPN | Cloud 2"
  key 2000
  ttl 64
  mtu 1400
  multipoint
  security-zone DMVPN_NET
  tunnel-source vrf ISP-CORE
  local interface gigabitethernet 1/0/2
  ip address 172.16.2.14/24
  ip tcp adjust-mss 1360
  ip nhrp authentication encrypted 8CB5107EA7005AFF
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp map 172.16.2.1 203.0.113.132
  ip nhrp nhs 172.16.2.1
  ip nhrp multicast nhs
  ip nhrp enable
  enable
exit

security zone-pair CUSTOMER self
  rule 10
    description "Permit | ICMP | From LAN | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit
security zone-pair BACKUP self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | IKE/IPsec | From ISP | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
  rule 30
    description "Permit | ESP | From ISP | To ANY"
    action permit
    match protocol esp
    enable
  exit
  rule 40
    description "Permit | ESP | From GRE | To ANY"
    action permit
    match protocol gre
    enable
  exit
exit
security zone-pair CORE self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | IKE/IPsec | From ISP | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
  rule 30
    description "Permit | ESP | From ISP | To ANY"
    action permit
    match protocol esp
    enable
  exit
  rule 40
    description "Permit | ESP | From GRE | To ANY"
    action permit
    match protocol gre
    enable
  exit
exit
security zone-pair DMVPN_NET self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit
security zone-pair DMVPN_NET CUSTOMER
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To CUSTOMER"
    action permit
    enable
  exit
exit
security zone-pair CUSTOMER DMVPN_NET
  rule 10
    description "Permit | ANY | From CUSTOMER | To DMVPN Cloud"
    action permit
    enable
  exit
exit

security ike proposal DMVPN_IKE_PROP_1
  description "DMVPN | IKE proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  dh-group 19
exit

security ike keyring DMVPN_IKE_KEYRING
  description "DMVPN | IKE keyring"
  identity dns *.company.loc pre-shared-key ascii-text encrypted 8CB5107EA7005AFF
exit

security ike policy DMVPN_IKE_POL
  description "DMVPN | IKE policy"
  lifetime seconds 86400
  keyring DMVPN_IKE_KEYRING
  authentication method keyring
  proposal DMVPN_IKE_PROP_1
exit

security ike gateway DMVPN_IKE_GW_HUB_1
  description "DMVPN | RT-HUB-1 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke4.company.loc"
  remote id dns "hub1.company.loc"
  remote address 203.0.113.4
  remote network 203.0.113.4/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit
security ike gateway DMVPN_IKE_GW_HUB_2
  description "DMVPN | RT-HUB-2 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/2
  local network dynamic protocol gre 
  local id dns "spoke4.company.loc"
  remote id dns "hub2.company.loc"
  remote address 203.0.113.132
  remote network 203.0.113.132/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit
security ike gateway DMVPN_IKE_GW_SPOKES_1
  description "DMVPN | Spokes IKE gateway via ISP-BACKUP"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke4.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit
security ike gateway DMVPN_IKE_GW_SPOKES_2
  description "DMVPN | Spokes IKE gateway via ISP-CORE"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/2
  local network dynamic protocol gre 
  local id dns "spoke4.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike session uniqueids replace

security ipsec proposal DMVPN_IPSEC_PROP_1
  description "DMVPN | IPsec proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  pfs dh-group 19
exit

security ipsec policy DMVPN_IPSEC_POL
  description "DMVPN | IPsec policy"
  lifetime seconds 28800
  lifetime kilobytes 4608000
  proposal DMVPN_IPSEC_PROP_1
exit

security ipsec vpn DMVPN_IPSEC_VPN_HUB_1
  description "DMVPN | RT-HUB-1 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP-BACKUP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_1
  ike ipsec-policy DMVPN_IPSEC_POL
  enable
exit
security ipsec vpn DMVPN_IPSEC_VPN_HUB_2
  description "DMVPN | RT-HUB-2 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP-CORE
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_2
  ike ipsec-policy DMVPN_IPSEC_POL
  enable
exit
security ipsec vpn DMVPN_IPSEC_VPN_SPOKES_1
  description "DMVPN | Spokes IPsec VPN profile via ISP-BACKUP"
  type transport
  ip vrf forwarding ISP-BACKUP
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_SPOKES_1
  ike ipsec-policy DMVPN_IPSEC_POL
  enable
exit
security ipsec vpn DMVPN_IPSEC_VPN_SPOKES_2
  description "DMVPN | Spokes IPsec VPN profile via ISP-CORE"
  type transport
  ip vrf forwarding ISP-CORE
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_SPOKES_2
  ike ipsec-policy DMVPN_IPSEC_POL
  enable
exit

ip route vrf ISP-BACKUP 0.0.0.0/0 203.10.0.1 name ISP-BACKUP
ip route vrf ISP-CORE 0.0.0.0/0 203.10.1.1 name ISP-CORE

SW-OFFICE-4

hostname SW-OFFICE-4
!
vlan database
 vlan 100
exit
!
interface range GigabitEthernet1/0/1-24
 switchport mode general
 switchport general allowed vlan add 100 untagged
 switchport general pvid 100
 switchport protected-port
exit
!
interface TenGigabitEthernet1/0/1
 switchport mode general
 switchport general allowed vlan add 100 tagged
 switchport forbidden default-vlan
exit

Конфигурации оборудования в дочернем офисе №5

RT-OFFICE-5

hostname RT-OFFICE-5

object-group service IKE_AND_IPSEC
  description "IKE, IKE encrypted, ESP encap UDP"
  port-range 500
  port-range 4500
exit
object-group service BGP
  description "BGP"
  port-range 179
exit
object-group service BFD
  description "BFD"
  port-range 3784
exit

ip vrf ISP-CORE
exit
ip vrf ISP-MODEM
exit

security zone CUSTOMER
  description "LAN | CUSTOMER"
exit
security zone CORE
  description "ISP-CORE | Uplink"
  ip vrf forwarding ISP-CORE
exit
security zone MODEM
  description "ISP-MODEM | Uplink"
  ip vrf forwarding ISP-MODEM
exit
security zone DMVPN_NET
  description "DMVPN | Cloud"
exit

ip bfd log-adjacency-changes
ip bfd min-rx-interval 1000
ip bfd min-tx-interval 1000
ip bfd multiplier 8

route-map DMVPN_NET_OUT
  rule 10
    description "DMZ | LAN for DMVPN Hub"
    match ip address 192.168.15.0/24
  exit
exit

router bgp log-neighbor-changes

router bgp 65000
  neighbor 172.16.1.1
    description "DMVPN | RT-HUB-1"
    remote-as 65001
    update-source gre 11
    fall-over bfd
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
      enable
    exit
    enable
  exit
  neighbor 172.16.2.1
    description "DMVPN | RT-HUB-2"
    remote-as 65002
    update-source gre 12
    fall-over bfd
    address-family ipv4 unicast
      route-map DMVPN_NET_OUT out
      enable
    exit
    enable
  exit
  address-family ipv4 unicast
    network 192.168.15.0/24
  exit
  enable
exit

cellular profile 1
  APN internet
exit

interface gigabitethernet 1/0/1
  ip vrf forwarding ISP-CORE
  description "ISP-CORE | Uplink"
  security-zone CORE
  ip address 203.11.1.2/24
exit
interface gigabitethernet 1/0/3.100
  description "LAN | CUSTOMER"
  security-zone CUSTOMER
  ip address 192.168.15.1/24
exit
cellular modem 1
  ip vrf forwarding ISP-MODEM
  description "ISP-MODEM | Uplink"
  device 3-1
  security-zone MODEM
  profile 1
  allowed-mode 3g
  allowed-mode 4g
  enable
exit

tunnel gre 11
  description "DMVPN | Cloud 1"
  key 1000
  ttl 64
  mtu 1400
  multipoint
  security-zone DMVPN_NET
  tunnel-source vrf ISP-CORE
  local interface gigabitethernet 1/0/1
  ip address 172.16.1.15/24
  ip tcp adjust-mss 1360
  ip nhrp authentication encrypted 8CB5107EA7005AFF
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp map 172.16.1.1 203.0.113.4
  ip nhrp nhs 172.16.1.1
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_1 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES_1 dynamic
  ip nhrp multicast nhs
  ip nhrp enable
  enable
exit
tunnel gre 12
  description "DMVPN | Cloud 2"
  key 2000
  ttl 64
  mtu 1400
  multipoint
  security-zone DMVPN_NET
  tunnel-source vrf ISP-MODEM
  local interface modem 1
  ip address 172.16.2.15/24
  ip tcp adjust-mss 1360
  ip nhrp authentication encrypted 8CB5107EA7005AFF
  ip nhrp holding-time 600
  ip nhrp shortcut
  ip nhrp map 172.16.2.1 203.0.113.132
  ip nhrp nhs 172.16.2.1
  ip nhrp ipsec DMVPN_IPSEC_VPN_HUB_2 static
  ip nhrp ipsec DMVPN_IPSEC_VPN_SPOKES_2 dynamic
  ip nhrp multicast nhs
  ip nhrp enable
  enable
exit

security zone-pair CUSTOMER self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
exit
security zone-pair CORE self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | IKE/IPsec | From ISP | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
  rule 30
    description "Permit | ESP | From ISP | To ANY"
    action permit
    match protocol esp
    enable
  exit
  rule 40
    description "Permit | ESP | From GRE | To ANY"
    action permit
    match protocol gre
    enable
  exit
exit
security zone-pair MODEM self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | IKE/IPsec | From ISP | To ANY"
    action permit
    match protocol udp
    match destination-port object-group IKE_AND_IPSEC
    enable
  exit
  rule 30
    description "Permit | ESP | From ISP | To ANY"
    action permit
    match protocol esp
    enable
  exit
  rule 40
    description "Permit | ESP | From GRE | To ANY"
    action permit
    match protocol gre
    enable
  exit
exit
security zone-pair DMVPN_NET self
  rule 10
    description "Permit | ICMP | From ANY | To ANY"
    action permit
    match protocol icmp
    enable
  exit
  rule 20
    description "Permit | BGP | From ANY | To ANY"
    action permit
    match protocol tcp
    match destination-port object-group BGP
    enable
  exit
  rule 30
    description "Permit | BFD | From ANY | To ANY"
    action permit
    match protocol udp
    match destination-port object-group BFD
    enable
  exit
exit
security zone-pair DMVPN_NET CUSTOMER
  rule 10
    description "Permit | ANY | From DMVPN Cloud | To CUSTOMER"
    action permit
    enable
  exit
exit
security zone-pair CUSTOMER DMVPN_NET
  rule 10
    description "Permit | ANY | From CUSTOMER | To DMVPN Cloud"
    action permit
    enable
  exit
exit

security ike proposal DMVPN_IKE_PROP_1
  description "DMVPN | IKE proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  dh-group 19
exit

security ike keyring DMVPN_IKE_KEYRING
  description "DMVPN | IKE keyring"
  identity dns *.company.loc pre-shared-key ascii-text encrypted 8CB5107EA7005AFF
exit

security ike policy DMVPN_IKE_POL
  description "DMVPN | IKE policy"
  lifetime seconds 86400
  keyring DMVPN_IKE_KEYRING
  authentication method keyring
  proposal DMVPN_IKE_PROP_1
exit

security ike gateway DMVPN_IKE_GW_HUB_1
  description "DMVPN | RT-HUB-1 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke5.company.loc"
  remote id dns "hub1.company.loc"
  remote address 203.0.113.4
  remote network 203.0.113.4/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit
security ike gateway DMVPN_IKE_GW_HUB_2
  description "DMVPN | RT-HUB-2 IKE gateway"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface modem 1
  local network dynamic protocol gre 
  local id dns "spoke4.company.loc"
  remote id dns "hub2.company.loc"
  remote address 203.0.113.132
  remote network 203.0.113.132/32 protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit
security ike gateway DMVPN_IKE_GW_SPOKES_1
  description "DMVPN | Spokes IKE gateway via ISP-CORE"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface gigabitethernet 1/0/1
  local network dynamic protocol gre 
  local id dns "spoke5.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit
security ike gateway DMVPN_IKE_GW_SPOKES_2
  description "DMVPN | Spokes IKE gateway via ISP-MODEM"
  version v2-only
  ike-policy DMVPN_IKE_POL
  local interface modem 1
  local network dynamic protocol gre 
  local id dns "spoke5.company.loc"
  remote address any
  remote network any protocol gre 
  mode policy-based
  mobike disable
  dead-peer-detection action clear
  dead-peer-detection interval 40
  dead-peer-detection timeout 160
exit

security ike session uniqueids replace

security ipsec proposal DMVPN_IPSEC_PROP_1
  description "DMVPN | IPsec proposal #1"
  authentication algorithm sha2-256
  encryption algorithm aes256
  pfs dh-group 19
exit

security ipsec policy DMVPN_IPSEC_POL
  description "DMVPN | IPsec policy"
  lifetime seconds 28800
  lifetime kilobytes 4608000
  proposal DMVPN_IPSEC_PROP_1
exit

security ipsec vpn DMVPN_IPSEC_VPN_HUB_1
  description "DMVPN | RT-HUB-1 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP-CORE
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_1
  ike ipsec-policy DMVPN_IPSEC_POL
  enable
exit
security ipsec vpn DMVPN_IPSEC_VPN_HUB_2
  description "DMVPN | RT-HUB-2 IPsec VPN profile"
  type transport
  ip vrf forwarding ISP-MODEM
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_HUB_2
  ike ipsec-policy DMVPN_IPSEC_POL
  enable
exit
security ipsec vpn DMVPN_IPSEC_VPN_SPOKES_1
  description "DMVPN | Spokes IPsec VPN profile via ISP-CORE"
  type transport
  ip vrf forwarding ISP-CORE
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_SPOKES_1
  ike ipsec-policy DMVPN_IPSEC_POL
  enable
exit
security ipsec vpn DMVPN_IPSEC_VPN_SPOKES_2
  description "DMVPN | Spokes IPsec VPN profile via ISP-MODEM"
  type transport
  ip vrf forwarding ISP-MODEM
  ike establish-tunnel route
  ike gateway DMVPN_IKE_GW_SPOKES_2
  ike ipsec-policy DMVPN_IPSEC_POL
  enable
exit

ip route vrf ISP-CORE 0.0.0.0/0 203.11.1.1 name ISP-CORE
ip route vrf ISP-MODEM 0.0.0.0/0 interface modem 1 name ISP-MODEM

SW-OFFICE-5

hostname SW-OFFICE-5
!
vlan database
 vlan 100
exit
!
interface range GigabitEthernet1/0/1-24
 switchport mode general
 switchport general allowed vlan add 100 untagged
 switchport general pvid 100
 switchport protected-port
exit
!
interface TenGigabitEthernet1/0/1
 switchport mode general
 switchport general allowed vlan add 100 tagged
 switchport forbidden default-vlan
exit

В статье упоминается

Межсетевые экраны ФСТЭК

Маршрутизаторы ESR