Парсеры цен и товаров маркетплейсов

Парсеры цен и товаров маркетплейсов — Автоматизированные скрейперы цен, остатков складов и карточек товаров. Каждые 5-15 минут выкачивают каталоги магазинов, вызывая деградацию базы данных.

1. Общие сведения и назначение бота

Парсеры интернет-магазинов и маркетплейсов — скрипты, нацеленные на промышленный шпионаж за ценами, промо-акциями, скидками и складскими остатками интернет-магазинов. Они работают круглосуточно, совершая десятки тысяч запросов в час. В отличие от легитимных поисковиков, парсеры товаров отправляют запросы к наиболее ресурсоемким страницам: фильтрам по цене, наличию, поисковым подсказкам и оформлению корзины, что приводит к зависанию MySQL и падению сайта для живых покупателей.

Оператором и разработчиком бота выступает Парсеры цен (MPStats, Маяк, SellerFox, кастомные парсеры). Основная функциональная задача робота — систематический сбор данных, анализ гиперссылок и выкачивание текстовой информации со страниц сайтов. В зависимости от используемых скриптов бот может запрашивать как статические HTML-файлы, так и инициировать рендеринг тяжелых динамических страниц.

2. Сигнатуры User-Agent и сетевой профиль

В журналах веб-сервера (access.log) бот обычно идентифицирует себя следующими сигнатурами в заголовке User-Agent:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 (MarketplaceScraper/3.2)

WildberriesPriceScraper/2.1 (+https://market-parser.pro)

Mozilla/5.0 (compatible; OzonPriceMonitor/1.0)

MarketParserBot/3.0

3. Создаваемая нагрузка и последствия для сайта

Нерегулируемая активность краулера может приводить к ощутимым проблемам как для технической инфраструктуры, так и для бизнес-показателей проекта:

• Демпинг: конкуренты в автоматическом режиме снижают цены на 1 рубль ниже ваших
• Кража авторских описаний товаров, характеристик и уникальных фотографий
• Скручивание лимитов хостинга и процессорной мощности веб-сервера
• Искажение внутренней аналитики и метрик конверсии интернет-магазина

Когда робот генерирует десятки параллельных запросов в секунду, каждый такой запрос инициирует запуск интерпретатора PHP, подключение к СУБД MySQL и генерацию HTML-страницы. На виртуальных хостингах это мгновенно исчерпывает лимиты тарифного плана (CPU, оперативная память, процессы PHP-FPM), из-за чего реальные посетители сталкиваются с медленной загрузкой или ошибками 502/504 Bad Gateway.

4. Влияние на поисковые позиции и рекламу

5. Проверка визитов бота в журналах сервера

Чтобы узнать, заходит ли данный робот на ваш сайт прямо сейчас и как часто он сканирует разделы, достаточно выполнить команду в консоли веб-сервера:

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -n 20

Примечание: если у вас обычный виртуальный хостинг без доступа по SSH (Beget, TimeWeb, Reg.ru, cPanel), откройте панель управления, найдите раздел «Журнал посещений» (или «Свежие логи») и воспользуйтесь поиском по названию бота или строке его User-Agent.

6. Рекомендация по обработке трафика

7. Способы ручной блокировки

Если вы хотите заблокировать робота на уровне веб-сервера вручную, используйте следующие директивы конфигурации:

if ($http_user_agent ~* (MarketplaceScraper|PriceMonitor|MarketParser)) {
    return 403;
}

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (MarketplaceScraper|PriceMonitor|MarketParser) [NC]
RewriteRule .* - [F,L]

(http.user_agent contains "MarketplaceScraper") or (http.user_agent contains "PriceMonitor")

User-agent: *
# Парсеры маркетплейсов и цен никогда не читают robots.txt и маскируются под обычный браузер Chrome.

8. Причины неэффективности стандартных методов

В реальных условиях блокировка по User-Agent и директивы robots.txt защищают сайт лишь от примитивных скриптов. Продвинутые краулеры и парсеры обходят эти фильтры за счет трех факторов:

1. Подмена заголовков (спуфинг): бот отправляет User-Agent популярного десктопного браузера, из-за чего веб-сервер принимает его за обычного посетителя.
2. Ротация IP-адресов: запросы распределяются через сотни тысяч резидентных и мобильных прокси, делая блокировку по статическим IP неэффективной.
3. Headless-движки (Chromium, Puppeteer): эмуляторы полноценно исполняют JavaScript, проходя большинство поверхностных проверок.

9. Автоматическая нейтрализация в AntiBotCore

10. Часто задаваемые вопросы (FAQ)

11. Похожие сетевые боты и краулеры

Боты со схожим поведением или относящиеся к категории «Парсинг-API и сбор цен»: