Создание трекера цен для Amazon на Python

Задача

К нам обратился заказчик (не разглашается) с просьбой создать автоматизированный трекер цен для Amazon который должен отслеживать цены на товары в своей корзине, чтобы получать уведомления при значительном снижении стоимости.

Решение задачи

Этап 1: Подготовка к парсингу

Для разработки трекера мы задействовали основные библиотеки Python, такие как requests, BeautifulSoup, lxml
Для отправки SMS-уведомлений мы интегрировали Twilio API.
Для обхода защиты от парсинга Amazon мы испольщовали собственную разработку.

Далее мы определили атрибуты, которые будем извлекать:

Название продукта
Текущая цена

Как только мы получили необходимые данные, было важно записать их в мастер-файл для дальнейшего сравнения. Мы использовалиcsv, чтобы сохранить результаты парсинга в удобный формат.

2. Построение трекера

Следующим шагом стало создание самого трекера, который бы проверял цены каждый час и сравнивал их с начальными значениями. В случае падения цены на 10% и более, система должна была отправлять клиенту SMS.

Для этого мы добавили еще несколько библиотек, включая pandas для работы с данными и Twilio API для отправки уведомлений:

Благодаря нашему подходу клиент получил инструмент, который отслеживал изменения цен на товары и отправлял уведомления в режиме реального времени.

3. Автоматизация

Понимая, что клиент не может постоянно запускать скрипт вручную, мы добавили автоматизацию. Используя библиотеку schedule, мы настроили запуск трекера каждый час, что позволило клиенту быть в курсе всех изменений, не отвлекаясь на технические детали.

Результат

Наконец, мы записали все извлеченные данные в CSV-файл, который клиент сможет использовать для анализа.

Заключение

В ходе выполнения этого проекта мы успешно настроили систему отслеживания изменения цен в корзине Amazon, сервис SMS уведомлений и автоматизировали обновление чекера корзины.

Dudes, this is just amazing! The thing works great for the second month already. I will recommend you to my friends.

— Отзыв клиента (ориг.)