Официальные IP-сети поискового робота Baiduspider
Официальные IP-сети поискового робота Baiduspider — Сетевые диапазоны ведущей китайской поисковой системы Baidu (краулеры Baiduspider, Baiduspider-image, Baiduspider-render). Трафик сосредоточен в китайских дата-центрах и требует избирательной фильтрации при отсутствии китайской аудитории.
1. Общие сведения и профиль сетевой активности
Диапазоны адресов закреплены за автономной системой AS4134, AS4837 (Baidu Online Network). Запросы из этих сетей генерируются официальными роботами и сервисами индексации. При настройке фаерволов и WAF рекомендуется вносить эти адреса в белый список (Whitelist), чтобы избежать блокировки поисковой индексации и генерации сниппетов.
Важное правило безопасности:
Никогда не разрешайте доступ только по строке User-Agent. Спам-боты и скрипты кликфрода свободно подставляют User-Agent поисковых роботов. Надежная фильтрация требует сопоставления IP-клиента с приведенным ниже списком подсетей либо выполнения процедуры обратного DNS-запроса (rDNS).
2. Диапазоны IPv4 (CIDR)
Актуальный перечень подтвержденных IPv4-подсетей вендора для белого списка:
| Подсеть (CIDR) | Сетевая маска | Количество IP-адресов | Действие |
|---|---|---|---|
| 116.179.32.0/20 | 255.255.240.0 | 4 096 | |
| 123.125.71.0/24 | 255.255.255.0 | 256 | |
| 180.76.0.0/16 | 255.255.0.0 | 65 536 | |
| 220.181.108.0/24 | 255.255.255.0 | 256 | |
| 220.181.38.0/24 | 255.255.255.0 | 256 |
3. Проверка подлинности (Reverse DNS / PTR)
rDNS PTR запрос к настоящему Baiduspider завершается доменом baidu.com или baidu.jp. Фальшивые боты из европейских хостингов с заголовком Baiduspider не имеют PTR в домене baidu.
# 1. Получаем PTR запись проверяемого IP:
$ dig -x <IP-АДРЕС> +short
# 2. Проверяем прямую A-запись полученного хоста:
$ dig <ПОЛУЧЕННЫЙ_ХОСТ> +short
# Если возвращенный IP совпадает с исходным и хост оканчивается на *.baidu.com, *.baidu.jp — бот подлинный.
4. Конфигурации для веб-серверов
Используйте готовые директивы для добавления диапазонов в белый список вашего веб-сервера или WAF:
geo $is_baidu {
default 0;
116.179.32.0/20 1;
123.125.71.0/24 1;
180.76.0.0/16 1;
220.181.108.0/24 1;
220.181.38.0/24 1;
}
Поместите блок geo в контекст http { ... } (например, в /etc/nginx/conf.d/search_bots.conf) и используйте переменную для снятия rate-limit ограничений.
<RequireAny>
Require ip 116.179.32.0/20
Require ip 123.125.71.0/24
Require ip 180.76.0.0/16
Require ip 220.181.108.0/24
Require ip 220.181.38.0/24
</RequireAny>
Директива <RequireAny> разрешает доступ клиентам, чей IP-адрес входит в любую из указанных подсетей.
(ip.src in {
116.179.32.0/20 123.125.71.0/24 180.76.0.0/16 220.181.108.0/24
220.181.38.0/24
})Создайте Custom Rule в Cloudflare Dashboard: Security → WAF → Custom rules с действием: Skip / Allow (Пропуск без проверки).