Справочник сетевых ботов, краулеров и сканеров

Обучающий и поисковый робот нейросети Grok компании xAI Илона Маска. Сканирует сайты и статьи для датасетов LLM.

Китайский обучающий робот Alibaba Cloud для моделей Qwen. Выкачивает международный и русскоязычный контент.

Краулер европейского разработчика нейросетей Mistral AI (модели Mistral Large, Codestral, Le Chat).

Робот DuckDuckGo для суммаризации ответов и генеративного поиска DuckAssist.

Сверх-агрессивный краулер ByteDance (TikTok). Массово выкачивает контент сайтов, вызывая 100% нагрузку на CPU сервера.

Официальный краулер компании OpenAI. Выкачивает страницы для обучения моделей GPT-4, GPT-5 и поисковика SearchGPT.

Краулер компании Anthropic, собирающий тексты и данные для обучения моделей Claude 3.5 / 3.7 Sonnet и Opus.

Бот китайской нейросети DeepSeek, активно индексирующий рунет для обучения моделей серии R1 и V3.

Бот диалоговой поисковой системы Perplexity AI для проверки фактов и онлайн-поиска в реальном времени.

Самый мощный коммерческий SEO-краулер. Выкачивает ссылки, анкоры и структуру сайта в пользу ваших конкурентов.

Агрессивный краулер конкурентной разведки SEMrush. Парсит ключевые фразы, мета-теги и контент.

Распределенный краулер Majestic SEO. Сканирует сайты с сотен тысяч домашних и серверных IP-адресов.

Робот сервиса поисковой аналитики MegaIndex. Проверяет индексацию и ссылки сайтов Рунета.

Коммерческий API-сервис, через который сотни SaaS-платформ выкачивают каталоги товаров и цены.

Сервисы взлома антиботов с миллионами ротируемых мобильных и резидентных прокси.

Самая популярная библиотека в мире для написания спам-ботов, брутфорсеров админок и парсеров.

Консольные утилиты Linux. Используются для клонирования сайтов, поиска уязвимостей и спама.

Управляемые headless-браузеры. Главный инструмент накрутчиков ПФ в Яндекс и скликивания рекламы.

Хакерский инструмент для автоматического поиска и эксплуатации SQL-инъекций и выгрузки баз данных.

Автоматические сканеры дыр в WordPress, плагинах, файлах .env и уязвимостях веб-сервера.

Официальный робот поисковика Яндекс. Внимание: до 40% запросов с этим User-Agent шлют фальшивые боты!

Официальный робот Google. Также часто подвергается маскировке и подделке спам-ботами.

Официальный робот поисковой системы Microsoft Bing и помощника Microsoft Copilot.

Официальный робот портала и поисковой системы Mail.ru (холдинг VK).

Эмулятор браузера на базе Chrome/Chromium, управляемый софтом Browser Automation Studio. Применяется для скликивания рекламы в Яндекс.Директе и Google Ads.

Программный комплекс автоматизации веб-браузеров. Используется для регистрации поддельных аккаунтов, накрутки ПФ и рассылки спама через формы сайта.

Ботнеты для манипуляции поисковой выдачей Яндекса. Имитируют переходы из поисковой строки, прогревают профили куками и создают фальшивые визиты.

Известный софт для массового автоматического спама по форумам, гостевым книгам, формам обратной связи и комментариям блогов.

Официальный веб-краулер корпорации Amazon. Собирает контент для голосового помощника Alexa и обучения нейросетевых сервисов AWS.

Официальный веб-краулер компании Apple. Индексирует сайты для поиска Spotlight в iOS/macOS, предложений Siri и функций Apple Intelligence.

Краулер корпорации Meta. Выкачивает веб-страницы для обучения семейств языковых моделей LLaMA и работы Meta AI.

Краулер канадской исследовательской платформы Cohere для тренировки корпоративных языковых моделей (LLM) и систем эмбеддингов.

Коммерческий грабер структуры сайтов. Автоматически извлекает каталоги товаров, цены, статьи и структурирует их в виде графа знаний для перепродажи.

Краулер некоммерческой организации Common Crawl. Массово выкачивает петабайты веб-страниц для создания публичного архива интернета, на котором обучаются почти все современные нейросети.

Популярнейший визуальный инструмент для настройки автоматического парсинга интернет-магазинов, каталогов недвижимости, объявлений и карточек товаров.

Облачный сервис автоматического скрапинга сложных веб-сайтов с JavaScript, формами поиска, раскрывающимися блоками и авторизацией.

Самый популярный в мире фреймворк на языке Python для создания быстрых многопоточных скраперов и краулеров.

Облачная платформа промышленного скрапинга на базе Node.js, Playwright и Puppeteer. Используется для коммерческого мониторинга цен и социальных сетей.

Поисковая система по сетевым устройствам и серверам интернета. Сканирует открытые порты, SSL-сертификаты и заголовки веб-сервера.

Всемирно известный сканер подключенных к сети устройств. Сканирует серверы на открытые порты, баннеры веб-серверов и уязвимости конфигурации.

Вредоносный сканер, круглосуточно перебирающий стандартные пути к панелям администрирования баз данных (phpMyAdmin, pma, admin) и файлам паролей.

Сверхбыстрый сканер диапазонов IP-адресов, способный просканировать весь интернет за несколько минут. Используется злоумышленниками для первичной разведки целей.

Поисковый краулер сервиса Moz (Open Site Explorer). Обходит ссылки, параметры фильтрации и пагинацию интернет-магазинов, создавая паразитную нагрузку на базу данных.

Поисковый робот мобильной экосистемы Huawei (Petal Search). Известен экстремальной агрессивностью обхода и частыми отказами серверов из-за лавинообразных запросов.

Агрессивный краулер зарубежного ссылочного сервиса WebMeUp. Игнорирует директивы вежливости и бесконечно перебирает динамические URL.

Поисковый краулер популярной платформы Serpstat. Сканирует обратные ссылки, структуру сайтов и сниппеты для SEO-аналитики конкурентов.

Автоматизированные скрейперы цен, остатков складов и карточек товаров. Каждые 5-15 минут выкачивают каталоги магазинов, вызывая деградацию базы данных.

Специализированные ботнеты, нацеленные на взлом CMS WordPress через интерфейс xmlrpc.php и перебор паролей на странице wp-login.php.