Справочник сетевых ботов, краулеров и сканеров

Энциклопедия автоматических ботов и краулеров: 1 533 профилей роботов. Анализ сигнатур User-Agent, создаваемая нагрузка, влияние на SEO и готовые правила блокировки в Nginx, Apache и robots.txt.

AhrefsBot Высокий

Ahrefs Pte. Ltd. • SEO-парсеры и аудит сайтов

Самый мощный коммерческий SEO-краулер. Выкачивает ссылки, анкоры и структуру сайта в пользу ваших конкурентов.

Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)

Кураторский обзор Открыть статью →

SemrushBot Высокий

SEMrush Inc. • SEO-парсеры и аудит сайтов

Агрессивный краулер конкурентной разведки SEMrush. Парсит ключевые фразы, мета-теги и контент.

Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)

Кураторский обзор Открыть статью →

MJ12bot Высокий

Majestic-12 Ltd. • SEO-парсеры и аудит сайтов

Распределенный краулер Majestic SEO. Сканирует сайты с сотен тысяч домашних и серверных IP-адресов.

Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)

Кураторский обзор Открыть статью →

MegaIndex Spider Средний

MegaIndex (МегаИндекс) • SEO-парсеры и аудит сайтов

Робот сервиса поисковой аналитики MegaIndex. Проверяет индексацию и ссылки сайтов Рунета.

Mozilla/5.0 (compatible; MegaIndex.ru/2.0; +http://megaindex.com/er)

Кураторский обзор Открыть статью →

DotBot (Moz Backlink Crawler) Средний

Moz Inc. (SEO Platform) • SEO-парсеры и аудиторы

Поисковый краулер сервиса Moz (Open Site Explorer). Обходит ссылки, параметры фильтрации и пагинацию интернет-магазинов, создавая паразитную нагрузку на базу данных.

Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot, help@moz.com)

Кураторский обзор Открыть статью →

PetalBot (Huawei Petal Search) Высокий

Aspiegel SE / Huawei Technologies • SEO-парсеры и аудиторы

Поисковый робот мобильной экосистемы Huawei (Petal Search). Известен экстремальной агрессивностью обхода и частыми отказами серверов из-за лавинообразных запросов.

Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)

Кураторский обзор Открыть статью →

BLEXBot (WebMeUp Crawler) Высокий

WebMeUp / BLEXBot SEO Engine • SEO-парсеры и аудиторы

Агрессивный краулер зарубежного ссылочного сервиса WebMeUp. Игнорирует директивы вежливости и бесконечно перебирает динамические URL.

Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)

Кураторский обзор Открыть статью →

Serpstatbot (Serpstat SEO Platform) Средний

Serpstat / Netpeak Group • SEO-парсеры и аудиторы

Поисковый краулер популярной платформы Serpstat. Сканирует обратные ссылки, структуру сайтов и сниппеты для SEO-аналитики конкурентов.

Mozilla/5.0 (compatible; Serpstatbot/2.1; +http://serpstatbot.com/)

Кураторский обзор Открыть статью →

Screaming Frog SEO Spider Средний

Screaming Frog Ltd. • SEO-парсеры

Самый популярный десктопный SEO-аудитор. Запускается SEO-специалистами для анализа вашего сайта, конкурентами или автоматизированными сканерами.

Screaming Frog SEO Spider/19.0

Кураторский обзор Открыть статью →

Sitebulb / Deepcrawl / Lumar Средний

Sitebulb Ltd. / Lumar • SEO-парсеры

Популярные десктопные и облачные SEO-аудиторы. Сканируют сайты целиком для анализа технических ошибок — используются SEO-агентствами и конкурентами.

Mozilla/5.0 (compatible; Sitebulb/1.0; +https://sitebulb.com)

Кураторский обзор Открыть статью →