AntiBotCore WAF
Энциклопедия автоматических ботов и краулеров: 1 533 профилей роботов. Анализ сигнатур User-Agent, создаваемая нагрузка, влияние на SEO и готовые правила блокировки в Nginx, Apache и robots.txt.
Коммерческий API-сервис, через который сотни SaaS-платформ выкачивают каталоги товаров и цены.
Mozilla/5.0 (compatible; DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot)
Сервисы взлома антиботов с миллионами ротируемых мобильных и резидентных прокси.
ScraperAPI
Самая популярная библиотека в мире для написания спам-ботов, брутфорсеров админок и парсеров.
python-requests/2.31.0
Консольные утилиты Linux. Используются для клонирования сайтов, поиска уязвимостей и спама.
curl/7.88.1
Управляемые headless-браузеры. Главный инструмент накрутчиков ПФ в Яндекс и скликивания рекламы.
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/122.0.0.0 Safari/537.36
Эмулятор браузера на базе Chrome/Chromium, управляемый софтом Browser Automation Studio. Применяется для скликивания рекламы в Яндекс.Директе и Google Ads.
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36
Программный комплекс автоматизации веб-браузеров. Используется для регистрации поддельных аккаунтов, накрутки ПФ и рассылки спама через формы сайта.
Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:128.0) Gecko/20100101 Firefox/128.0
Ботнеты для манипуляции поисковой выдачей Яндекса. Имитируют переходы из поисковой строки, прогревают профили куками и создают фальшивые визиты.
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Известный софт для массового автоматического спама по форумам, гостевым книгам, формам обратной связи и комментариям блогов.
Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.0
Популярнейший визуальный инструмент для настройки автоматического парсинга интернет-магазинов, каталогов недвижимости, объявлений и карточек товаров.
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 (Octoparse)
Облачный сервис автоматического скрапинга сложных веб-сайтов с JavaScript, формами поиска, раскрывающимися блоками и авторизацией.
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 (ParseHub)
Самый популярный в мире фреймворк на языке Python для создания быстрых многопоточных скраперов и краулеров.
Scrapy/2.11.X (+https://scrapy.org)
Облачная платформа промышленного скрапинга на базе Node.js, Playwright и Puppeteer. Используется для коммерческого мониторинга цен и социальных сетей.
Mozilla/5.0 (compatible; ApifyBot/1.0; +https://apify.com/bot)
Автоматизированные скрейперы цен, остатков складов и карточек товаров. Каждые 5-15 минут выкачивают каталоги магазинов, вызывая деградацию базы данных.
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 (MarketplaceScraper/3.2)
Selenium и другие WebDriver-фреймворки управляют реальным браузером. Детектируются не по UA, а по JavaScript-признакам: navigator.webdriver=true, отсутствию плагинов и нестандартным API.
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36