AntiBotCore WAF
База подтвержденных сетевых диапазонов: официальные подсети поисковых систем (Яндекс, Google, Bing) и авторизованных ИИ-краулеров для белых списков (Allow), а также пулы хостинг-провайдеров и облачных дата-центров (Hetzner, OVH, DigitalOcean, Vultr, Selectel, AWS) для блокировки парсеров и ботнетов (Block / Challenge).
Двухуровневая модель фильтрации сетевого трафика:
Заголовок User-Agent свободно подделывается скриптами на базе ZennoPoster, BAS или Python Requests. Никогда не доверяйте боту только по User-Agent. Официальные роботы верифицируются по принадлежности к белым CIDR и контролю PTR-записей (rDNS). Напротив, входящие запросы из подсетей серверных дата-центров (Hetzner, OVH, DigitalOcean, Vultr, Selectel, AWS) с вероятностью более 90% являются автоматизированными парсерами цен, краулерами или сканерами уязвимостей.
Официальные диапазоны IP-адресов поисковых роботов Яндекса (основной краулер YandexBot, индексатор картинок YandexImages, видеоробот YandexVideo, сервис проверк...
*.yandex.ru, *.yandex.net, *.yandex.com
Официальные подсети поисковой системы Google. Включают основной краулер Googlebot (Desktop и Smartphone), сканер структуры Google-InspectionTool, бота проверки ...
*.googlebot.com, *.google.com
Диапазоны IP-адресов поисковой платформы Microsoft Bing, включая краулер Bingbot, предпросмотр ссылок BingPreview и индексаторы мультимедиа MSNBot. Подсети разм...
*.search.msn.com
Диапазоны сетевых адресов холдинга VK, используемые поисковым ботом Mail.ru, сервисами почтового превью ссылок, сниппет-ботом ВКонтакте (vkShare) и антивирусным...
*.mail.ru, *.vk.com
Официальные подсети компании OpenAI, из которых осуществляют запросы краулер сбора обучающих датасетов GPTBot, пользовательский агент взаимодействия в реальном ...
Сверка по официальному JSON OpenAI
Выделенный диапазон сетевых адресов исследовательской лаборатории Anthropic, используемый для сбора обучающих материалов ИИ-моделей семейства Claude (ClaudeBot)...
*.anthropic.com
Диапазоны сетевых адресов корпорации Apple, используемые краулерами Applebot и Applebot-Extended для индексации контента для поисковых подсказок Siri, Spotlight...
*.applebot.apple.com
Глобальные сетевые диапазоны корпорации Meta Platforms. Используются краулером предварительного просмотра ссылок facebookexternalhit, ботом индексации контента ...
*.meta.com, *.fbsv.net, *.tfbnw.net
Официальные адреса краулера конфиденциальной поисковой платформы DuckDuckGo. Робот выполняет сбор данных для поддержания поисковой выдачи и генерации быстрых от...
*.duckduckgo.com
Сетевые диапазоны ведущей китайской поисковой системы Baidu (краулеры Baiduspider, Baiduspider-image, Baiduspider-render). Трафик сосредоточен в китайских дата-...
*.baidu.com, *.baidu.jp
Официальные диапазоны сетевых адресов Amazonbot, используемые корпорацией Amazon для индексации общедоступных веб-сайтов в интересах голосового ассистента Alexa...
*.amazonbot.amazon.com
Единый консолидированный белый список проверенных диапазонов IP-адресов всех ключевых поисковых систем и сервисных краулеров интернета (Яндекс, Google, Bing, Ma...
Специфично для каждого поискового оператора
Крупнейший немецкий хостинг-провайдер и дата-центр (Falkenstein, Nuremberg, Helsinki, Ashburn). Из-за низкой стоимости аренды серверов и безлимитного скоростног...
*.your-server.de, *.hetzner.com
Глобальный французский облачный провайдер и оператор дата-центров (Франция, Канада, Германия, Польша, Великобритания). Включает бренды Kimsufi и SoYouStart с ул...
*.ovh.net, *.kimsufi.com, *.soyoustart.com
Американский облачный хостинг с дата-центрами в США, Европе (Амстердам, Франкфурт, Лондон), Сингапуре и Индии. Мгновенное развертывание виртуальных серверов (Dr...
*.digitalocean.com
Популярный облачный VPS-провайдер с более чем 32 локациями дата-центров по всему миру. За счет анонимности регистрации, оплаты криптовалютой и дешевых микро-инс...
*.vultrusercontent.com, *.choopa.net
Крупнейший независимый российский провайдер облачной инфраструктуры и выделенных серверов (Санкт-Петербург, Москва, Новосибирск). Из-за прямой связности с росси...
*.selectel.ru
Глобальная инфраструктура виртуальных серверов Amazon Web Services (EC2, Elastic Beanstalk, Lambda). В отличие от официального краулера Amazonbot, общие вычисли...
*.compute.amazonaws.com, *.compute-1.amazonaws.com
Консолидированный черный список основных диапазонов IP-адресов ключевых хостинг-провайдеров и облачных дата-центров (Hetzner, OVH, DigitalOcean, Vultr, Selectel...
Серверные PTR зоны дата-центров
Директива geo сопоставляет IP-адрес клиента со списком доверенных CIDR и присваивает переменной соответствующее значение. Это самый быстрый и оптимизированный по памяти способ фильтрации трафика на уровне Nginx:
# Размещается в контексте http { ... }
geo $is_trusted_search_bot {
default 0;
# Яндекс
5.45.192.0/18 1;
5.255.192.0/18 1;
77.88.0.0/18 1;
87.250.224.0/19 1;
93.158.128.0/18 1;
95.108.128.0/17 1;
213.180.192.0/19 1;
2a02:6b8::/32 1;
# Googlebot
66.249.64.0/19 1;
66.102.0.0/20 1;
209.85.128.0/17 1;
216.58.192.0/19 1;
2001:4860::/32 1;
# Microsoft Bing
20.36.0.0/14 1;
40.77.167.0/24 1;
157.55.39.0/24 1;
}
# Внутри контекста server { ... }
server {
listen 80;
server_name example.com;
location / {
# Роботы из белого списка не попадают под rate-limit
set $rate_limit_key $binary_remote_addr;
if ($is_trusted_search_bot) {
set $rate_limit_key "";
}
limit_req zone=one burst=20 nodelay;
proxy_pass http://backend;
}
}
Для защиты каталогов интернет-магазинов и контентных медиа от автоматического граббинга используйте файл блокировки подсетей дата-центров. Вы можете подключить выгруженный список CIDR напрямую через директиву geo:
# В контексте http { ... }:
geo $is_bad_datacenter {
default 0;
# Подсети Hetzner
65.108.0.0/16 1;
95.216.0.0/16 1;
# Подсети DigitalOcean
138.68.0.0/16 1;
159.65.0.0/16 1;
# Подсети OVH
51.254.0.0/15 1;
141.94.0.0/15 1;
}
server {
# Блокировка или возврат 403 Forbidden
if ($is_bad_datacenter) {
return 403 "Forbidden: Datacenter traffic restricted.";
}
}
Если в access-логах вашего сервера зафиксирован подозрительный запрос с User-Agent поисковика, проверьте его с помощью утилит host или dig:
# Шаг 1: Обратный запрос к IP-адресу (Reverse DNS)
$ host 5.255.250.25
25.250.255.5.in-addr.arpa domain name pointer yandex-25.yandex.ru.
# Шаг 2: Прямой запрос к полученному доменному имени (Forward DNS)
$ host yandex-25.yandex.ru
yandex-25.yandex.ru has address 5.255.250.25
# Итог: IP-адрес совпал — бот подлинный.
# Если обратное имя указывает на your-server.de (Hetzner) или ovh.net — это поддельный бот (fake bot).