Как мы усилили Puppeteer Stealth для обхода антибот-защиты

Заказчик

Одним из наших недавних проектов стал заказ на обход продвинутых антибот-защит для парсинга данных с защищённых сайтов. И хотя Puppeteer Stealth — мощный инструмент для сокрытия бот-подобного поведения, нам предстояло пойти дальше стандартных решений и предложить уникальные доработки, чтобы максимально повысить его эффективность.

Зачем использовать Puppeteer Stealth?

Puppeteer — это библиотека для управления Chrome браузером через Node.js, которая позволяет автоматизировать действия в браузере, но она имеет свои «утечки», которые выдают автоматизацию, как, например, наличие WebDriver или режим headless. Puppeteer Stealth, расширяющий функционал Puppeteer, решает большинство таких проблем за счёт исправления этих «утечек», имитируя работу реального браузера.

Как показало тестирование, обычный Puppeteer имеет «головной индекс» в 33%, что указывает на высокую вероятность его обнаружения как автоматического браузера:

Это значит, что сайты с антибот-защитой, такие как Cloudflare или Akamai, с лёгкостью могут идентифицировать бота и заблокировать доступ.

Как мы решили проблему

Puppeteer Stealth предоставляет базовые методы обхода, но они работают лишь против простых защит. Наша команда обратила внимание на необходимость доработки существующих решений для более сложных систем защиты. Мы добавили несколько пользовательских патчей для полей navigator, таких как webdriver, userAgent, platform и userAgentData. Это позволило добиться ещё большей незаметности и избежать блокировок.

Ключевые улучшения

Патч для WebDriver

Одной из первых доработок стал патч для свойства WebDriver, которое сигнализирует сайтам, что их посещает автоматизированный браузер. Для скрытия этого сигнала мы изменили значение свойства на false, что делает Puppeteer похожим на обычный браузер.

Изменение User Agent и платформы

Для того чтобы наш бот выглядел ещё более правдоподобно, мы патчили строку User Agent, чтобы она соответствовала версии Chrome и операционной системе, на которой предположительно запущен браузер. Это важно, так как несоответствие в данных может вызвать подозрения у защитных систем.

Обработка userAgentData

Даже после изменения User Agent остаются данные, которые может вернуть метод userAgentData. Мы доработали этот момент, чтобы его значения также соответствовали изменённым параметрам платформы и версии браузера.

Отзыв заказчика

Заключение

Использование Puppeteer Stealth с дополнительными доработками позволило нам существенно повысить успех обхода антибот-защиты. Наш опыт показывает, что даже с самыми продвинутыми защитными системами можно работать эффективно, если подходить к делу с умом и использовать точные технические решения.

Если у вас есть похожие задачи или вам нужны услуги профессионального парсинга и мониторинга цен, свяжитесь с нами прямо сейчас.

Контактная информация:

Компания: ParsingMaster

Сайт: parsingmaster.com

Email: info@parsingmaster.com

Telegram: parsingmaster_manager

Телефон: +7 (920) 909-36-72