Настройка пула SNAT (SNAT Pool)#
Введение#
Пул SNAT (SNAT Pool, Source Network Address Translation Pool) — это набор IP-адресов, которые Angie ADC использует для подмены исходных IP-адресов клиентов при передаче трафика на серверы. SNAT-пулы применяются в высоконагруженных средах с большим количеством одновременно открытых сессий. Они позволяют обойти ограничение на количество одновременных подключений (около 65000 на один IP-адрес). Ограничение связано с количеством доступных клиентских сокетов (TCP- и UDP-портов), используемых для установки соединений. SNAT-пулы могут использоваться как для L4-, так и для L7-балансировки.
Примечание
Также возможен подход, основанный на горизонтальном масштабировании за счет установки нескольких Angie ADC и распределения трафика между ними. Этот подход позволяет решить проблему не только с ограничением количества сессий, но и снять ограничение на производительность системы, например, когда при больших объемах трафика необходимо обрабатывать данные на скоростях более 10 Гбит/с.
Ручная настройка SNAT-пулов#
Настройка вручную создаваемых SNAT-пулов происходит в три этапа:
Выбор пула адресов и их настройка.
Настройка маршрутизации.
Настройка правил балансировки.
Пример простой схемы с одним Angie ADC представлен на рисунке ниже:

Рис. 1 Размер пула адресов напрямую зависит от количества сессий, которые требуется одновременно поддерживать.
Чем больше сессий должно работать одновременно, тем больше IP-адресов должно входить в пул. Выбор адресов условно свободный, можно использовать адреса из разных подсетей.
Мы не рекомендуем использовать чужие валидные адреса, чтобы избежать случайных пересечений с адресами клиентов.
Также лучше выбирать адреса не из произвольного диапазона, а выделить конкретную подсеть,
которая будет полностью использоваться в пуле. Это упростит дальнейшую настройку маршрутизации. В примере ниже мы будем использовать подсеть Пример конфигурации представлен ниже. Адреса назначаются с маской Примечание В этом примере между апстримами и Angie ADC размещен маршрутизатор. Ситуация, когда апстримы и один
из интерфейсов Angie ADC размещены в одной подсети, будет рассмотрена отдельно (см. Заключение ниже). В этом примере мы будем использовать протокол BGP для динамической маршрутизации. Настройка других протоколов динамической маршрутизации выполняется аналогично. Анонсируем в BGP все четыре адреса пула (четыре префикса с маской Настройку BGP-соседей опустим для краткости (подробнее о настройке BGP см. BGP-маршрутизация). Примечание На представленной выше схеме BGP-соседом должен стать маршрутизатор Internal router, так как трафик от серверов будет возвращаться через него. Убедитесь, что BGP-сосед получил четыре префикса Для распределения клиентов по адресам из пула можно использовать различные модули,
например Geo, Geo IP, Map, Split Clients. Рассмотрим несколько типовых сценариев
с описанием используемых модулей. Стандартная ситуация, когда на Angie ADC попадают подключения пользователей из интернета напрямую.
Предполагается, что пользователи распределяются равномерно по всему пространству адресов.
В этом случае для настройки можно использовать модуль Split Clients
(применяется в контексте Пример конфигурации: Примечание К адресу клиента добавлен текст Возможна ситуация, когда перед Angie ADC с точки зрения трафика, идущего от клиентов, расположен другой балансировщик: Рис. 2 Если этот балансировщик использует SNAT-пул, то переменная Пример конфигурации (восемь адресов из предыдущего пула привязываются к четырем адресам пула SNAT): Для балансировки HTTP-трафика можно использовать подход, при котором не важно,
используется ли какой-либо NAT/PAT или прокси между реальным клиентом и Angie ADC.
Для распределения клиентов будет использоваться модуль Split Clients
и хэш от переменной Пример конфигурации: Примечание При использовании этого метода разные сессии одного и того же клиента могут привязываться к различным адресам из пула.
Это не должно быть большой проблемой, так как современные веб-системы используют
заголовок Теперь с помощью директивы proxy_bind укажем, где и как использовать указанное распределение клиентов.
Директиву можно задать в контекстах Пример:1. Выбор пула адресов и их настройка#
192.168.12.20/30, включающую в себя четыре адреса.
Так как все четыре адреса будут использоваться в качестве адресов отправителя пакетов на участке сети
между Angie ADC и апстримами, то необходимо все эти четыре адреса назначить на сетевой интерфейс системы,
например на интерфейс lo./32. Это нужно,
чтобы система обрабатывала возвращающийся от серверов трафик и устанавливала полноценные соединения.$$ configuration
## set system interface lo ip address 192.168.12.20/32
## set system interface lo ip address 192.168.12.21/32
## set system interface lo ip address 192.168.12.22/32
## set system interface lo ip address 192.168.12.23/32
2. Настройка маршрутизации#
/32).
Список префиксов snat отбирает их одной записью для всей подсети пула.
BGP на узле должен быть уже запущен командой routing bgp asn и иметь соседей
(см. Настройка динамической маршрутизации):$$ configuration
## routing prefix-list snat seq 5 permit 192.168.12.20/30 le 32
## routing route-map snat permit 10 match-prefix-list snat
## routing bgp redistribute connected route-map snat
/32 из подсети 192.168.12.20/30,
например командой show ip bgp на маршрутизаторе Internal router.3. Настройка правил балансировки#
Сценарий A: использование модуля Split Clients#
http). split_clients работает как при L7-, так и при L4-балансировке.split_clients "${remote_addr}AAA" $variant {
25% 192.168.12.20;
25% 192.168.12.21;
25% 192.168.12.22;
25% 192.168.12.23;
}
AAA. Это нужно для изменения значения, выдаваемого хэш-функцией.
Если потребуется поменять распределение клиентов по адресам из пула, можно поменять добавляемый текст.Сценарий B: использование модуля Map#

remote_addr
может не обеспечить достаточного разнообразия. Это может привести к коллизиям —
перекосу в распределении клиентов по адресам из пула SNAT.
Решить указанную проблему можно, например, используя модуль Map, с помощью которого
можно в явном виде задать соответствие «старого» и «нового» адресов отправителя.
Метод map работает как при L7-, так и при L4-балансировке.map $remote_addr $variant {
"10.10.10.0" "192.168.12.20";
"10.10.10.1" "192.168.12.20";
"10.10.10.2" "192.168.12.21";
"10.10.10.3" "192.168.12.21";
"10.10.10.4" "192.168.12.22";
"10.10.10.5" "192.168.12.22";
"10.10.10.6" "192.168.12.23";
"10.10.10.7" "192.168.12.23";
}
Сценарий C: модуль Split Clients и хэш переменной $request_id#
$request_id. Значение переменной генерируется автоматически
и, по сути, является случайным числом.
Этот метод имеет ограниченную область применения — L7-балансировка для протокола HTTP.split_clients "${request_id}" $variant {
25% 192.168.12.20;
25% 192.168.12.21;
25% 192.168.12.22;
25% 192.168.12.23;
}
X-Forwarded-For для определения адреса клиента и не смотрят на адрес отправителя в IP-пакете.http, server или location.location / {
proxy_pass http://backend ;
proxy_bind ${variant};
}
Заключение#
Предложенные выше способы ручного создания SNAT-пула позволят уверенно перешагнуть ограничение в 65000 одновременных сессий как для L4-, так и для L7-балансировки. Однако следует все же понимать, что ограничение количества одновременно поддерживаемых сессий зависит не только от количества сокетов, но и от объемов использования целого ряда других системных ресурсов.
Чтобы адаптировать используемый подход к ситуации, когда один из интерфейсов Angie ADC расположен в одной подсети с апстрим-серверами, потребуется следующее:
не использовать динамическую маршрутизацию;
настроить адреса из пула на физическом интерфейсе, а не на loopback-интерфейсе (адреса должны быть из той же IP-подсети, в которой расположены серверы);
для обеспечения отказоустойчивости можно использовать несколько Angie ADC, а для каждого IP-адреса из пула создать отдельную группу VRRP (со своим VRID) на интерфейсе в подсети серверов, вместо того чтобы назначать адреса непосредственно на физический интерфейс.