Официальные IP-сети Googlebot и сервисов Google
Официальные IP-сети Googlebot и сервисов Google — Официальные подсети поисковой системы Google. Включают основной краулер Googlebot (Desktop и Smartphone), сканер структуры Google-InspectionTool, бота проверки интернет-магазинов StoreBot, рекламные краулеры AdsBot-Google и сервисные сканеры GoogleOther. Корпорация Google централизованно публикует машинно-читаемый список IP своих краулеров по адресу developers.google.com/search/apis/ipranges/googlebot.json. Важно: широкие диапазоны AS15169 (Gmail, YouTube, Google Cloud) в данный список не включены — они не относятся к поисковому краулеру.
1. Общие сведения и профиль сетевой активности
Диапазоны адресов закреплены за автономной системой AS15169 (Google LLC). Запросы из этих сетей генерируются официальными роботами и сервисами индексации. При настройке фаерволов и WAF рекомендуется вносить эти адреса в белый список (Whitelist), чтобы избежать блокировки поисковой индексации и генерации сниппетов.
Важное правило безопасности:
Никогда не разрешайте доступ только по строке User-Agent. Спам-боты и скрипты кликфрода свободно подставляют User-Agent поисковых роботов. Надежная фильтрация требует сопоставления IP-клиента с приведенным ниже списком подсетей либо выполнения процедуры обратного DNS-запроса (rDNS).
2. Диапазоны IPv4 (CIDR)
Актуальный перечень подтвержденных IPv4-подсетей вендора для белого списка:
| Подсеть (CIDR) | Сетевая маска | Количество IP-адресов | Действие |
|---|---|---|---|
| 66.249.64.0/19 | 255.255.224.0 | 8 192 | |
| 66.249.80.0/20 | 255.255.240.0 | 4 096 | |
| 66.249.64.0/20 | 255.255.240.0 | 4 096 | |
| 66.102.0.0/20 | 255.255.240.0 | 4 096 | |
| 209.85.128.0/17 | 255.255.128.0 | 32 768 | |
| 216.58.192.0/19 | 255.255.224.0 | 8 192 | |
| 216.239.32.0/19 | 255.255.224.0 | 8 192 | |
| 64.233.160.0/19 | 255.255.224.0 | 8 192 |
3. Диапазоны IPv6 (CIDR)
Для веб-серверов с активированным IPv6 добавьте следующие диапазоны:
| IPv6 подсеть (CIDR) | Длина префикса | Действие |
|---|---|---|
| 2001:4860::/32 | 32 бит | |
| 2a00:1450::/32 | 32 бит |
4. Проверка подлинности (Reverse DNS / PTR)
Подлинность Googlebot подтверждается через rDNS: обратный просмотр IP должен указывать на хост в доменной зоне *.googlebot.com или *.google.com. Команда host <домен> должна возвращать проверяемый IP-адрес. В современных WAF-системах рекомендуется комбинировать сверку официального диапазона CIDR и DNS-верификацию.
# 1. Получаем PTR запись проверяемого IP:
$ dig -x <IP-АДРЕС> +short
# 2. Проверяем прямую A-запись полученного хоста:
$ dig <ПОЛУЧЕННЫЙ_ХОСТ> +short
# Если возвращенный IP совпадает с исходным и хост оканчивается на *.googlebot.com, *.google.com — бот подлинный.
5. Конфигурации для веб-серверов
Используйте готовые директивы для добавления диапазонов в белый список вашего веб-сервера или WAF:
geo $is_google {
default 0;
66.249.64.0/19 1;
66.249.80.0/20 1;
66.249.64.0/20 1;
66.102.0.0/20 1;
209.85.128.0/17 1;
216.58.192.0/19 1;
216.239.32.0/19 1;
64.233.160.0/19 1;
2001:4860::/32 1;
2a00:1450::/32 1;
}
Поместите блок geo в контекст http { ... } (например, в /etc/nginx/conf.d/search_bots.conf) и используйте переменную для снятия rate-limit ограничений.
<RequireAny>
Require ip 66.249.64.0/19
Require ip 66.249.80.0/20
Require ip 66.249.64.0/20
Require ip 66.102.0.0/20
Require ip 209.85.128.0/17
Require ip 216.58.192.0/19
Require ip 216.239.32.0/19
Require ip 64.233.160.0/19
Require ip 2001:4860::/32
Require ip 2a00:1450::/32
</RequireAny>
Директива <RequireAny> разрешает доступ клиентам, чей IP-адрес входит в любую из указанных подсетей.
(ip.src in {
66.249.64.0/19 66.249.80.0/20 66.249.64.0/20 66.102.0.0/20
209.85.128.0/17 216.58.192.0/19 216.239.32.0/19 64.233.160.0/19
2001:4860::/32 2a00:1450::/32
})Создайте Custom Rule в Cloudflare Dashboard: Security → WAF → Custom rules с действием: Skip / Allow (Пропуск без проверки).