Справочник сетевых ботов, краулеров и сканеров

Энциклопедия автоматических ботов и краулеров: 1 533 профилей роботов. Анализ сигнатур User-Agent, создаваемая нагрузка, влияние на SEO и готовые правила блокировки в Nginx, Apache и robots.txt.

YandexBot (Робот Яндекса) Доверенный

Яндекс (Yandex LLC) • Поисковые роботы (Верификация)

Официальный робот поисковика Яндекс. Внимание: до 40% запросов с этим User-Agent шлют фальшивые боты!

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

Кураторский обзор Открыть статью →

Googlebot (Робот Google) Доверенный

Google LLC • Поисковые роботы (Верификация)

Официальный робот Google. Также часто подвергается маскировке и подделке спам-ботами.

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Кураторский обзор Открыть статью →

Bingbot Доверенный

Microsoft Corporation • Поисковые роботы (Верификация)

Официальный робот поисковой системы Microsoft Bing и помощника Microsoft Copilot.

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Кураторский обзор Открыть статью →

Mail.ru Bot Доверенный

VK (Mail.ru Group) • Поисковые роботы (Верификация)

Официальный робот портала и поисковой системы Mail.ru (холдинг VK).

Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)

Кураторский обзор Открыть статью →

YandexImages / YandexMedia Безопасный

Яндекс • Поисковые системы

Краулер Яндекса для индексации изображений, медиаконтента и видео. Обеспечивает попадание картинок сайта в Яндекс.Картинки.

Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)

Кураторский обзор Открыть статью →

YandexMarket / YandexAntivirus Безопасный

Яндекс • Поисковые системы

Краулер Яндекс.Маркета для парсинга цен, остатков и характеристик товаров. YandexAntivirus проверяет сайты на вредоносный код.

Mozilla/5.0 (compatible; YandexMarket/1.0; +http://yandex.com/bots)

Кураторский обзор Открыть статью →

YandexMetrika / YandexWebmaster Безопасный

Яндекс • Поисковые системы

Боты Яндекса для проверки установки счётчиков Яндекс.Метрики и валидации кода в Яндекс.Вебмастере.

Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots)

Кураторский обзор Открыть статью →

Googlebot-Image / Googlebot-Video Безопасный

Google LLC • Поисковые системы

Специализированные краулеры Google для индексации картинок и видео в Google Images и Google Video. Отвечают за трафик из изображений.

Googlebot-Image/1.0

Кураторский обзор Открыть статью →

Google-InspectionTool / Google-Site-Verification Безопасный

Google LLC • Поисковые системы

Запускается при проверке URL через Google Search Console URL Inspection Tool и Rich Results Test. Эмулирует десктоп и мобильный рендер.

Mozilla/5.0 (compatible; Google-InspectionTool/1.0; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)

Кураторский обзор Открыть статью →