AdsBot-Google / AdsBot-Google-Mobile

AdsBot-Google / AdsBot-Google-Mobile — Проверяет качество целевых страниц для рекламы Google Ads. Блокировка может снизить Quality Score и приостановить показ объявлений.

1. Общие сведения и назначение бота

AdsBot-Google — специализированный робот Google, проверяющий целевые страницы рекламных объявлений Google Ads на соответствие требованиям качества (Quality Score). Бот сканирует скорость загрузки, релевантность контента и техническое состояние страницы. AdsBot-Google-Mobile выполняет те же функции, но эмулирует мобильное устройство (iPhone). Важно: в отличие от Googlebot, AdsBot НЕ соблюдает директиву User-agent: * в robots.txt — для него нужно явное правило.

Оператором и разработчиком бота выступает Google LLC. Основная функциональная задача робота — систематический сбор данных, анализ гиперссылок и выкачивание текстовой информации со страниц сайтов. В зависимости от используемых скриптов бот может запрашивать как статические HTML-файлы, так и инициировать рендеринг тяжелых динамических страниц.

2. Сигнатуры User-Agent и сетевой профиль

В журналах веб-сервера (access.log) бот обычно идентифицирует себя следующими сигнатурами в заголовке User-Agent:

AdsBot-Google (+http://www.google.com/adsbot.html)

Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

3. Создаваемая нагрузка и последствия для сайта

Нерегулируемая активность краулера может приводить к ощутимым проблемам как для технической инфраструктуры, так и для бизнес-показателей проекта:

• Блокировка снижает показатель качества (Quality Score) объявлений и увеличивает стоимость клика
• Объявления с заблокированными целевыми страницами могут быть отклонены Google
• Скрытая блокировка (CAPTCHA вместо 403) приводит к тому, что Google считает страницу «плохой»

Когда робот генерирует десятки параллельных запросов в секунду, каждый такой запрос инициирует запуск интерпретатора PHP, подключение к СУБД MySQL и генерацию HTML-страницы. На виртуальных хостингах это мгновенно исчерпывает лимиты тарифного плана (CPU, оперативная память, процессы PHP-FPM), из-за чего реальные посетители сталкиваются с медленной загрузкой или ошибками 502/504 Bad Gateway.

4. Влияние на поисковые позиции и рекламу

5. Проверка визитов бота в журналах сервера

Чтобы узнать, заходит ли данный робот на ваш сайт прямо сейчас и как часто он сканирует разделы, достаточно выполнить команду в консоли веб-сервера:

grep -i 'AdsBot-Google' /var/log/nginx/access.log | tail -20

Примечание: если у вас обычный виртуальный хостинг без доступа по SSH (Beget, TimeWeb, Reg.ru, cPanel), откройте панель управления, найдите раздел «Журнал посещений» (или «Свежие логи») и воспользуйтесь поиском по названию бота или строке его User-Agent.

6. Рекомендация по обработке трафика

7. Способы ручной блокировки

Если вы хотите заблокировать робота на уровне веб-сервера вручную, используйте следующие директивы конфигурации:

# Whitelist для AdsBot-Google:
map $http_user_agent $is_adsbot {
    default              0;
    ~*AdsBot-Google      1;
}

server {
    if ($is_adsbot) {
        # Разрешить без ограничений
    }
}

# Whitelist для AdsBot — добавьте ДО общих блокировок:
<IfModule mod_rewrite.c>
  RewriteEngine On
  RewriteCond %{HTTP_USER_AGENT} AdsBot-Google [NC]
  RewriteRule .* - [L]
</IfModule>

(http.user_agent contains "AdsBot-Google / AdsBot-Google-Mobile")

# ВАЖНО: AdsBot не соблюдает User-agent: *
# Нужно явное правило!
User-agent: AdsBot-Google
Allow: /

User-agent: AdsBot-Google-Mobile
Allow: /

8. Причины неэффективности стандартных методов

В реальных условиях блокировка по User-Agent и директивы robots.txt защищают сайт лишь от примитивных скриптов. Продвинутые краулеры и парсеры обходят эти фильтры за счет трех факторов:

1. Подмена заголовков (спуфинг): бот отправляет User-Agent популярного десктопного браузера, из-за чего веб-сервер принимает его за обычного посетителя.
2. Ротация IP-адресов: запросы распределяются через сотни тысяч резидентных и мобильных прокси, делая блокировку по статическим IP неэффективной.
3. Headless-движки (Chromium, Puppeteer): эмуляторы полноценно исполняют JavaScript, проходя большинство поверхностных проверок.

9. Автоматическая нейтрализация в AntiBotCore

10. Часто задаваемые вопросы (FAQ)

11. Похожие сетевые боты и краулеры

Боты со схожим поведением или относящиеся к категории «Рекламные сервисы»: