Selenium WebDriver / Automated Browser

Selenium WebDriver / Automated Browser — Selenium и другие WebDriver-фреймворки управляют реальным браузером. Детектируются не по UA, а по JavaScript-признакам: navigator.webdriver=true, отсутствию плагинов и нестандартным API.

1. Общие сведения и назначение бота

Selenium WebDriver, Playwright, Cypress и Puppeteer (без stealth) управляют браузером программно. В отличие от простых HTTP-клиентов, они выполняют JavaScript, имитируют пользовательские действия (клики, скролл, ввод) и обходят большинство базовых антибот-защит. Однако автоматизированные браузеры оставляют характерные следы в JavaScript-среде: navigator.webdriver === true, chrome.runtime отсутствует или ненастоящий, window.Notification не совпадает с обычным, отпечаток Canvas/WebGL имеет отклонения. Методы обнаружения основаны на анализе поведения и JS-среды, а не User-Agent.

Оператором и разработчиком бота выступает Различные (тестировщики, парсеры, кликфрод). Основная функциональная задача робота — систематический сбор данных, анализ гиперссылок и выкачивание текстовой информации со страниц сайтов. В зависимости от используемых скриптов бот может запрашивать как статические HTML-файлы, так и инициировать рендеринг тяжелых динамических страниц.

2. Сигнатуры User-Agent и сетевой профиль

В журналах веб-сервера (access.log) бот обычно идентифицирует себя следующими сигнатурами в заголовке User-Agent:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/120.0.0.0 Safari/537.36

3. Создаваемая нагрузка и последствия для сайта

Нерегулируемая активность краулера может приводить к ощутимым проблемам как для технической инфраструктуры, так и для бизнес-показателей проекта:

• Обход любых форм, включая антифрод и авторизацию, через имитацию пользователя
• Массовая регистрация аккаунтов, спам-рассылки через формы обратной связи
• Кликфрод: автоматические клики по рекламным объявлениям
• Парсинг контента, защищённого JavaScript-рендерингом и lazy-load
• Credential stuffing: перебор паролей через форму входа

Когда робот генерирует десятки параллельных запросов в секунду, каждый такой запрос инициирует запуск интерпретатора PHP, подключение к СУБД MySQL и генерацию HTML-страницы. На виртуальных хостингах это мгновенно исчерпывает лимиты тарифного плана (CPU, оперативная память, процессы PHP-FPM), из-за чего реальные посетители сталкиваются с медленной загрузкой или ошибками 502/504 Bad Gateway.

4. Влияние на поисковые позиции и рекламу

5. Проверка визитов бота в журналах сервера

Чтобы узнать, заходит ли данный робот на ваш сайт прямо сейчас и как часто он сканирует разделы, достаточно выполнить команду в консоли веб-сервера:

grep -i 'HeadlessChrome' /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head -10

Примечание: если у вас обычный виртуальный хостинг без доступа по SSH (Beget, TimeWeb, Reg.ru, cPanel), откройте панель управления, найдите раздел «Журнал посещений» (или «Свежие логи») и воспользуйтесь поиском по названию бота или строке его User-Agent.

6. Рекомендация по обработке трафика

7. Способы ручной блокировки

Если вы хотите заблокировать робота на уровне веб-сервера вручную, используйте следующие директивы конфигурации:

# Поведенческий rate limit:
limit_req_zone $binary_remote_addr zone=selenium_guard:10m rate=30r/m;
limit_req zone=selenium_guard burst=10 nodelay;

# Detect headless Chrome по заголовкам:
if ($http_user_agent ~* 'HeadlessChrome') {
    return 403;
}

# По UA не детектируется — Selenium использует стандартные браузерные UA.
# Защита через rate limit по IP:
<IfModule mod_evasive24.c>
  DOSHashTableSize    3097
  DOSPageCount        10
  DOSSiteCount        50
  DOSBlockingPeriod   10
</IfModule>

(http.user_agent contains "Selenium WebDriver / Automated Browser")

# robots.txt не поможет — Selenium выполняет JS и управляет браузером

8. Причины неэффективности стандартных методов

В реальных условиях блокировка по User-Agent и директивы robots.txt защищают сайт лишь от примитивных скриптов. Продвинутые краулеры и парсеры обходят эти фильтры за счет трех факторов:

1. Подмена заголовков (спуфинг): бот отправляет User-Agent популярного десктопного браузера, из-за чего веб-сервер принимает его за обычного посетителя.
2. Ротация IP-адресов: запросы распределяются через сотни тысяч резидентных и мобильных прокси, делая блокировку по статическим IP неэффективной.
3. Headless-движки (Chromium, Puppeteer): эмуляторы полноценно исполняют JavaScript, проходя большинство поверхностных проверок.

9. Автоматическая нейтрализация в AntiBotCore

10. Часто задаваемые вопросы (FAQ)

11. Похожие сетевые боты и краулеры

Боты со схожим поведением или относящиеся к категории «Скрипты и ботнеты»: