AntiBotCore WAF
Энциклопедия автоматических ботов и краулеров: 1 533 профилей роботов. Анализ сигнатур User-Agent, создаваемая нагрузка, влияние на SEO и готовые правила блокировки в Nginx, Apache и robots.txt.
GuzzleHttp — стандартный PHP HTTP-клиент. В логах означает автоматизированный PHP-скрипт, чаще всего парсер цен, контента или спам-бот.
GuzzleHttp/7
Стандартный HTTP-клиент языка Go. В логах чаще всего означает массовый сканер, уязвимостный эксплойт или высокоскоростной парсер.
Go-http-client/1.1
Инструмент командной строки GNU Wget для загрузки веб-контента
[wW]get
Встроенная библиотека URL-адресов Python для HTTP-запросов.
Python-urllib
Асинхронная клиентская библиотека HTTP для Python
aiohttp
Современный HTTP-клиент Python с поддержкой асинхронности
httpx
Библиотека Perl для выполнения HTTP-запросов и сканирования веб-страниц.
libwww-perl
Библиотека Java для автоматического тестирования веб-приложений
httpunit
PHP-библиотека веб-сканера для парсинга веб-сайтов
phpcrawl
Веб-сканер Internet Archive Wayback Machine
ia_archiver
Бот для мониторинга и сканирования веб-сайтов Webmon
webmon
Копировщик веб-сайтов HTTrack для просмотра в автономном режиме
HTTrack
Академический веб-бот CiteSeerX
citeseerxbot
Веб-сканер Turnitin для обнаружения плагиата
Turnitin
Платформа веб-сканера Heritrix от Internet Archive
heritrix
Веб-сканер Европейского архива для сохранения
europarchive\.org
Веб-искатель веб-архива для сохранения
web-archive-net\.com\.bot
Веб-сканер IntegromeDB для исследований
integromedb
Веб-сканер ChangeDetection для мониторинга
changedetection
Веб-сканер метаданных Creative Commons
CC Metadata Scaper
Простая платформа веб-сканера Crawler
SimpleCrawler
Веб-сканер BNF Французской национальной библиотеки
bnf\.fr_bot
Веб-сканер Semantic Scholar для академического контента
SemanticScholarBot
Платформа веб-сканера BUbiNG для исследований
BUbiNG
Веб-сканер Archive.org для сохранения
archive\.org_bot
Crawler4j Java-фреймворк для веб-сканирования
crawler4j
Капсульный веб-сканер для проверки ссылок
CapsuleChecker
Веб-сканер Trove для обнаружения контента
Trove
Библиотека веб-сканера Pcore HTTP
Pcore-HTTP
Веб-сканер Pingdom для мониторинга веб-сайтов
[pP]ingdom
Бот-сканер Microsoft AppInsights
AppInsights
Безголовый веб-сканер PhantomJS для браузера
PhantomJS
Веб-сканер LinkArchiver для архивирования
LinkArchiver
Веб-сканер Mediatoolkit для мониторинга
Mediatoolkitbot
OkHttp Java HTTP-клиентская библиотека
okhttp
Библиотека Java асинхронного HTTP-клиента для HTTP-запросов
AHC\/
Java-библиотека Apache HTTP Client для запросов
^Apache-HttpClient
Клиентская библиотека HTTP веб-сервера Jetty
Jetty
Веб-сканер Thinklab для исследований
Thinklab
Инструмент командной строки HTTP GET для запросов
http_get
Плагин мониторинга Nagios check_http
check_http
Веб-сканер ICC для языковых исследований
ICC-Crawler
Веб-сканер Archive Team для сохранения
ArchiveBot
Веб-сканер Leipzig Corpora Collection
^LCC
Веб-сканер Hypefactors для мониторинга СМИ
Buck\/
Библиотека парсинга газет на Python
newspaper\/
Бот-сканер Sentry для отслеживания ошибок
(^| )sentry\/
Веб-сканер для мониторинга веб-сайтов UptimeRobot
UptimeRobot