AntiBotCore WAF
Энциклопедия автоматических ботов и краулеров: 1 533 профилей роботов. Анализ сигнатур User-Agent, создаваемая нагрузка, влияние на SEO и готовые правила блокировки в Nginx, Apache и robots.txt.
Проверяет доступность и качество целевых страниц для рекламы Яндекс.Директ. Блокировка мгновенно останавливает показ объявлений.
Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
Проверяет качество целевых страниц для рекламы Google Ads. Блокировка может снизить Quality Score и приостановить показ объявлений.
AdsBot-Google (+http://www.google.com/adsbot.html)
Бот Microsoft Advertising (Bing Ads) для проверки целевых страниц рекламных объявлений на качество. Аналог AdsBot-Google для экосистемы Bing.
Mozilla/5.0 (compatible; adidxbot/2.0; +http://www.bing.com/bots)
Краулер рекламной платформы Criteo для индексации товарного каталога и генерации динамических ретаргетинг-баннеров с реальными ценами и наличием.
Mozilla/5.0 (compatible; CriteoBot/0.1; +https://www.criteo.com/criteo-crawler/)
Бот Google Mobile Ads для сканирования мобильных страниц для показа таргетированной рекламы.
AdsBot-Google-Mobile
Бот Google Mediapartners для сканирования AdSense и AdMob
Mediapartners-Google
Вариант бота Google Mediapartners для сканирования AdSense и AdMob
Mediapartners \(Googlebot\)
Проксимический веб-сканер для анализа контента
proximic
Веб-сканер Grapeshot для анализа контента
GrapeshotCrawler
Веб-сканер CXense для анализа контента
cXensebot
Веб-сканер семантического анализатора ADmantX
ADmantX
Веб-сканер AdvBot для анализа рекламы
AdvBot
Бот для мгновенного веб-сканирования Google AdWords
Google-Adwords-Instant
Веб-сканер AdBeat для анализа рекламы
adbeat_bot
Веб-сканер Moat для анализа рекламы
moatbot
Веб-сканер Outclicks для отслеживания ссылок
OutclicksBot
Бот компании Integral Ad Science, Inc.
IAS crawler
Веб-сканер AdScanner для анализа рекламы
adscanner
Веб-сканер ContextAd для рекламы
ContextAd Bot
Веб-сканер AdsTxt для проверки файлаads.txt
AdsTxtCrawler
Веб-сканер Pulsepoint для обнаружения контента
Pulsepoint
Веб-сканер Outbrain для обнаружения контента
outbrain
Бот-сканер Clickagy Intelligence
Clickagy
Веб-сканер Eyeota для сбора данных об аудитории
Eyeotabot
Веб-сканер BidSwitch для рекламы
bidswitchbot
Веб-сканер Taboola для обнаружения контента
Taboolabot
Веб-сканер Voluum DSP для рекламы
VoluumDSP-content-bot
Веб-сканер Criteo для рекламы
CriteoBot
Бот-сканер каталога Facebook
facebookcatalog\/
Бот-сканер мета-внешних объявлений
meta-externalads\/
Веб-сканер конверсий Google Рекламы
Google-Ads-Conversions
Сканер данных о недвижимости Area360
A360-Search
Поисковый робот рекламных технологий Adkernel
AdkernelTopicCrawler
Удивительный поисковый робот для платформы электронной коммерции
Amazing-SearchBot
Сканер таргетированной рекламы Audigent
AudigentAdBot
Поисковый робот Awario для мониторинга социальных сетей
AwarioRendererBot
Поисковый робот Channable для автоматизации маркетинга в электронной коммерции
channable
Поисковый робот Mobian с контекстной разведкой
ContextualBot[\s\S]*outcomes\.net
Поисковый робот Центра проверки авторских прав
ds9
Сканер DoubleVerify для проверки рекламы
DVbot
Сканер рейтингов устойчивого развития EcoVadis
EcoVadisSustainabilityBot
Сканер для оптимизации веб-сайтов Ezoic
EzLynx
Сканер платформы монетизации рекламы Ezoic
EzoicBot
MКонтекстный рекламный таргетинговый сканер
McontextualBot
Сканер бизнес-аналитики MixRank
MixrankBot
Поисковый робот для таргетинга рекламы Nano Interactive
NanoInteractive
Сканер опросов веб-серверов Netcraft
Netcraft Web Server Survey
Поисковый робот NetSeer для сбора разведывательной информации
NetSeer crawler