Парсинг интернет-магазинов премиальной бытовой техники

Задача клиента

Клиент обратился к Parsing Master с задачей собрать данные о ценах с нескольких интернет-магазинов премиальной бытовой техники (названия скрыты). Эти данные должны быть отредактированы и загружены на его собственный сайт для дальнейшего использования. Клиент хотел, чтобы процесс был выполнен максимально быстро и качественно, а также настоял на том, чтобы мы самостоятельно загрузили данные в его систему управления сайтом (CMS).

Сложности проекта

Хотя парсинг интернет-магазинов является достаточно рутинной задачей, несколько факторов потребовали особого внимания:

1. Разнообразие сайтов: Сайты-доноры, с которых необходимо было собрать данные, имели разную структуру и формат представления информации. Это требовало индивидуальной настройки парсера для каждого ресурса.
2. Корректность данных: Было важно не только собрать все необходимые данные, но и обеспечить их точность и соответствие требованиям CMS клиента. Заголовки столбцов в итоговом CSV-файле должны были соответствовать формату импорта CMS.
3. Загрузка данных в CMS: Заказчик пожелал, чтобы наша команда не только собрала данные, но и самостоятельно загрузила их в систему управления контентом. Это добавило дополнительный этап контроля качества на всех стадиях проекта.

Решение

Для решения задачи мы применили классический маршрут парсинга:

1. Сбор данных по категориям: Мы начали с парсинга основных категорий на каждом сайте.
2. Пагинация внутри категорий: Далее наш парсер обрабатывал все страницы в категориях, чтобы собрать полную информацию о товарах.
3. Сбор данных о товарах: На каждом этапе мы собрали всю необходимую информацию, включая описание, цены, изображения и характеристики товаров.