Upstream Queue#

Ставит в очередь запросы к группам серверов HTTP-модуля Upstream, если ни один сервер не может принять запрос с первой попытки. Директива модуля задается в блоке upstream.

Пример конфигурации#

upstream backend {
    zone backend 1m;
    server backend1.example.com:8080 max_conns=100;
    server backend2.example.com:8080 max_conns=100;

    queue 50 timeout=10s;
}

Директивы#

queue#

Синтаксис

queue число [timeout=время];

По умолчанию

—

Контекст

upstream

Если для запроса не удается назначить проксируемый сервер с первой попытки (например, при краткосрочном перебое в работе или всплеске нагрузки с достижением предела max_conns), запрос не отклоняется; вместо этого Angie пытается поставить его в очередь на обработку.

Численный параметр директивы задает максимальное количество запросов в очереди рабочего процесса. Если очередь целиком заполнена, клиенту отдается ошибка 502 (Bad Gateway).

В Angie ADC у директивы есть необязательный параметр priority=$переменная; полный синтаксис: queue число [timeout=время] [priority=$переменная].

При этом, если задана приоритизация запросов (priority=$var), то новые приоритетные запросы будут вытеснять из очереди старые низкоприоритетные. Таким образом, новые приоритетные запросы будут обрабатываться в первую очередь и не будут теряться в условиях критической перегрузки.

Параметр priority=$переменная позволяет задать приоритизацию запросов в очереди и обрабатывать только запросы с наивысшим приоритетом. Переменная, из которой берется значение приоритета запроса, должна быть целым положительным числом; большее значение означает более высокий приоритет, а отсутствующее или некорректное значение трактуется как 0. Первыми обрабатываются запросы с наибольшим текущим приоритетом; запросы с меньшим приоритетом ждут, пока в очереди есть более приоритетные, а при переполнении очереди отбрасываются первыми. Это позволяет в условиях критической перегрузки сохранить обслуживание наиболее важных клиентов, отсекая второстепенные запросы. В качестве критерия для определения приоритета запроса могут использоваться GeoIP-данные (страна, определенная подсеть) или авторизация пользователя на сервисе и пр.

Пример наивысшего приоритета запросам из определенной страны:

map $geoip_country_code $priority_val {
    "RU"    100;
    default 1;
}

upstream backend {
    zone backend 1m;
    server backend.example.com:8080;
    queue 100 priority=$priority_val;
}

Пример понижения приоритета запросам от ботов:

map $http_user_agent $is_bot {
    default             0;

    # Регистронезависимый (~*) маппинг для распространенных вредоносных ботов и скраперов
    ~*malicious_bot     1;
    ~*scraping_bot      1;
    ~*bingbot           1;
    ~*curl              1;
    ~*wget              1;
    ~*libwww-perl       1;

    # ИИ-краулеры (если необходимо)
    ~*GPTBot            1;
    ~*ClaudeBot         1;

    # Пустые User-Agent-ы
    ""                  1;
}

map $is_bot $priority_val {
    default            100;
    0                  100;
    1                  0;
}

upstream backend {
    zone backend 1m;
    server backend.example.com:8080;
    queue 100 priority=$priority_val;
}

Примечание

К запросам в очереди также применяется логика директивы proxy_next_upstream. В частности, если для запроса был выбран сервер, но передать его туда не удалось, то он может вернуться в очередь.

Если сервер для передачи запроса в очереди не был выбран за время timeout (по умолчанию — 60 секунд), клиенту отдается ошибка 502 (Bad Gateway). Еще из очереди удаляются запросы от клиентов, преждевременно закрывших соединение; в API есть счетчики состояний запросов, проходящих через очередь. Время, которое запрос провел в очереди, хранится в переменной $upstream_queue_time HTTP-модуля Upstream.

Предупреждение

Директива queue должна использоваться после всех директив, задающих тот или иной метод балансировки нагрузки, иначе она не будет работать.