Подсети облака Amazon AWS / EC2 (AS16509)

Подсети облака Amazon AWS / EC2 (AS16509) — Глобальная инфраструктура виртуальных серверов Amazon Web Services (EC2, Elastic Beanstalk, Lambda). В отличие от официального краулера Amazonbot, общие вычислительные пулы AWS EC2 используются сотнями тысяч сторонних разработчиков для запуска бессерверных скрейперов, кластеров распределенного парсинга, сканеров безопасности и ротации IP-адресов. Запросы из сетей AWS EC2 к публичным веб-сайтам в 99% случаев носят машинный характер.

1. Общие сведения и профиль сетевой активности

Диапазоны адресов закреплены за инфраструктурой AS16509 (Amazon.com, Inc.). Входящий трафик из этих сетей исходит от серверных виртуальных машин (VPS), контейнеров и выделенных серверов. Живые пользователи интернета не используют серверные IP-адреса для веб-серфинга (за редким исключением частных VPN-туннелей). По статистике AntiBotCore WAF, свыше 90–95% запросов из подсетей AWS EC2 (Cloud) к публичным сайтам являются автоматизированными скриптами: парсерами цен конкурентов, скрейперами контента, краулерами на базе Selenium/Puppeteer, спам-ботами и сканерами уязвимостей.

2. Диапазоны IPv4 (CIDR)

Актуальный перечень IPv4-подсетей провайдера для добавления в правила блокировки или ограничения:

3. Диапазоны IPv6 (CIDR)

Для веб-серверов с активированным IPv6 добавьте следующие диапазоны:

4. Проверка подлинности (Reverse DNS / PTR)

PTR-запись указывает на compute.amazonaws.com. Внимание: не путать с официальным Amazonbot (rdns amazonbot.amazon.com). Если бот с User-Agent поисковика или браузера исходит из общих подсетей compute.amazonaws.com — это сторонний скрейпер.

# 1. Получаем PTR запись проверяемого IP:
$ dig -x <IP-АДРЕС> +short

# 2. Проверяем прямую A-запись полученного хоста:
$ dig <ПОЛУЧЕННЫЙ_ХОСТ> +short

# Если возвращенный хост оканчивается на *.compute.amazonaws.com, *.compute-1.amazonaws.com — запрос исходит из серверного пула хостинга.
# Любой поисковый User-Agent (YandexBot, Googlebot) с такого адреса является подделкой (spoofing).

5. Конфигурации для веб-серверов

Используйте готовые директивы для блокировки или ограничения трафика с подсетей данного хостинга:

# Поместите в блок server { ... } или location / { ... }
deny 3.80.0.0/12;
deny 3.96.0.0/13;
deny 18.184.0.0/13;
deny 18.192.0.0/12;
deny 18.204.0.0/14;
deny 18.216.0.0/13;
deny 34.192.0.0/12;
deny 34.208.0.0/12;
deny 34.224.0.0/12;
deny 35.156.0.0/14;
deny 35.160.0.0/13;
deny 35.176.0.0/13;
deny 52.0.0.0/11;
deny 52.32.0.0/11;
deny 52.64.0.0/11;
deny 54.64.0.0/11;
deny 54.96.0.0/11;
deny 54.144.0.0/12;
deny 54.160.0.0/11;
deny 54.192.0.0/11;
deny 54.224.0.0/11;
deny 2600:1f00::/24;

# Или через модуль geo (контекст http):
geo $is_bad_aws_ec2 {
    default 0;
    3.80.0.0/12 1;
    3.96.0.0/13 1;
    18.184.0.0/13 1;
    18.192.0.0/12 1;
    18.204.0.0/14 1;
    18.216.0.0/13 1;
    34.192.0.0/12 1;
    34.208.0.0/12 1;
    34.224.0.0/12 1;
    35.156.0.0/14 1;
    # ...
}

<RequireAll>
    Require all granted
    Require not ip 3.80.0.0/12
    Require not ip 3.96.0.0/13
    Require not ip 18.184.0.0/13
    Require not ip 18.192.0.0/12
    Require not ip 18.204.0.0/14
    Require not ip 18.216.0.0/13
    Require not ip 34.192.0.0/12
    Require not ip 34.208.0.0/12
    Require not ip 34.224.0.0/12
    Require not ip 35.156.0.0/14
    Require not ip 35.160.0.0/13
    Require not ip 35.176.0.0/13
    Require not ip 52.0.0.0/11
    Require not ip 52.32.0.0/11
    Require not ip 52.64.0.0/11
    Require not ip 54.64.0.0/11
    Require not ip 54.96.0.0/11
    Require not ip 54.144.0.0/12
    Require not ip 54.160.0.0/11
    Require not ip 54.192.0.0/11
    Require not ip 54.224.0.0/11
    Require not ip 2600:1f00::/24
</RequireAll>

(ip.src in {
    3.80.0.0/12 3.96.0.0/13 18.184.0.0/13 18.192.0.0/12
    18.204.0.0/14 18.216.0.0/13 34.192.0.0/12 34.208.0.0/12
    34.224.0.0/12 35.156.0.0/14 35.160.0.0/13 35.176.0.0/13
    52.0.0.0/11 52.32.0.0/11 52.64.0.0/11 54.64.0.0/11
    54.96.0.0/11 54.144.0.0/12 54.160.0.0/11 54.192.0.0/11
    54.224.0.0/11 2600:1f00::/24
})

# Блокировка входящего трафика подсетей хостинга:
iptables -A INPUT -s 3.80.0.0/12 -j DROP
iptables -A INPUT -s 3.96.0.0/13 -j DROP
iptables -A INPUT -s 18.184.0.0/13 -j DROP
iptables -A INPUT -s 18.192.0.0/12 -j DROP
iptables -A INPUT -s 18.204.0.0/14 -j DROP
iptables -A INPUT -s 18.216.0.0/13 -j DROP
iptables -A INPUT -s 34.192.0.0/12 -j DROP
iptables -A INPUT -s 34.208.0.0/12 -j DROP
iptables -A INPUT -s 34.224.0.0/12 -j DROP
iptables -A INPUT -s 35.156.0.0/14 -j DROP
iptables -A INPUT -s 35.160.0.0/13 -j DROP
iptables -A INPUT -s 35.176.0.0/13 -j DROP
# Для массовой загрузки сотен подсетей без замедления используйте ipset:
# ipset create aws_ec2 hash:net
# iptables -I INPUT -m set --match-set aws_ec2 src -j DROP

6. Автоматизация фильтрации в AntiBotCore WAF