AntiBotCore WAF
Энциклопедия автоматических ботов и краулеров: 1 533 профилей роботов. Анализ сигнатур User-Agent, создаваемая нагрузка, влияние на SEO и готовые правила блокировки в Nginx, Apache и robots.txt.
Обучающий и поисковый робот нейросети Grok компании xAI Илона Маска. Сканирует сайты и статьи для датасетов LLM.
Mozilla/5.0 (compatible; GrokBot/1.0; +https://x.ai/grokbot)
Китайский обучающий робот Alibaba Cloud для моделей Qwen. Выкачивает международный и русскоязычный контент.
Mozilla/5.0 (compatible; QwenBot/1.0; +https://www.alibabacloud.com/help/en/model-studio/user-guide/qwen-bot)
Краулер европейского разработчика нейросетей Mistral AI (модели Mistral Large, Codestral, Le Chat).
Mozilla/5.0 (compatible; MistralBot/1.0; +https://mistral.ai/crawler/)
Робот DuckDuckGo для суммаризации ответов и генеративного поиска DuckAssist.
DuckAssistBot/1.0; (+https://duckduckgo.com/duckassistbot)
Сверх-агрессивный краулер ByteDance (TikTok). Массово выкачивает контент сайтов, вызывая 100% нагрузку на CPU сервера.
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)
Официальный краулер компании OpenAI. Выкачивает страницы для обучения моделей GPT-4, GPT-5 и поисковика SearchGPT.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)
Краулер компании Anthropic, собирающий тексты и данные для обучения моделей Claude 3.5 / 3.7 Sonnet и Opus.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
Бот китайской нейросети DeepSeek, активно индексирующий рунет для обучения моделей серии R1 и V3.
Mozilla/5.0 (compatible; DeepSeekBot/1.0; +https://www.deepseek.com/)
Бот диалоговой поисковой системы Perplexity AI для проверки фактов и онлайн-поиска в реальном времени.
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Официальный веб-краулер корпорации Amazon. Собирает контент для голосового помощника Alexa и обучения нейросетевых сервисов AWS.
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 (compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
Официальный веб-краулер компании Apple. Индексирует сайты для поиска Spotlight в iOS/macOS, предложений Siri и функций Apple Intelligence.
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Краулер корпорации Meta. Выкачивает веб-страницы для обучения семейств языковых моделей LLaMA и работы Meta AI.
Mozilla/5.0 (compatible; Meta-ExternalAgent/1.1; +https://developers.facebook.com/docs/sharing/webmasters/crawler)
Краулер канадской исследовательской платформы Cohere для тренировки корпоративных языковых моделей (LLM) и систем эмбеддингов.
Mozilla/5.0 (compatible; cohere-ai)
Коммерческий грабер структуры сайтов. Автоматически извлекает каталоги товаров, цены, статьи и структурирует их в виде графа знаний для перепродажи.
Mozilla/5.0 (compatible; Diffbot/0.1; +http://www.diffbot.com)
Краулер некоммерческой организации Common Crawl. Массово выкачивает петабайты веб-страниц для создания публичного архива интернета, на котором обучаются почти все современные нейросети.
CCBot/2.0 (https://commoncrawl.org/faq.html; ccbot@commoncrawl.org)
Поисковый бот ChatGPT для реального времени поиска в интернете. ChatGPT-User — агентный бот, посещающий сайты по запросам пользователей ChatGPT.
OAI-SearchBot/1.0 (+https://openai.com/searchbot)