Мониторинг цен для сети аптек

Для изменения города, при каждом запросе отправлялся PUT-запрос на https://api.apteka.ru/City/UserCity с указанием ID города в теле запроса. В ходе работы столкнулись с тем, что любые запросы блокировались при открытых devtools в браузере, что усложняло автоматизацию процесса на раннем этапе.

Сложности

Вскоре стало очевидно, что наш проект не будет таким простым, как могло показаться на первый взгляд. apteka.ru активно блокировала любые попытки автоматизированного сбора данных, что требовало нового подхода. Запросы, отправляемые с открытыми devtools, немедленно блокировались, и даже частая смена прокси-серверов не давала стабильных результатов.

Решение

Для решения этой задачи мы разработали полумануальный метод сбора данных. Наш подход состоял из следующих шагов:

1. Открытие необходимой категории на сайте.
2. Нажатие кнопки «Собрать», запускающей автоматический сбор данных со страницы.
3. Автоматический переход на следующие страницы категории и сбор данных.

Этот метод позволил обойти блокировки, так как процесс имитировал поведение реального пользователя. После завершения сбора данных формировался и скачивался Excel-файл с необходимой информацией.

Результаты

В итоге наша команда успешно реализовала проект, предоставив клиенту данные по ценам и наличию товаров у конкурента. Полученная информация позволила федеральной сети аптек не только оптимизировать свои цены, но и улучшить ассортимент, что, в конечном итоге, привело к увеличению продаж и доли рынка. Примеры выгрузок есть на скриншотах.