Парсинг цен на продукты питания: мониторинг сетей X5, Магнит, Лента

В продуктовом ритейле цена почти никогда не сводится к одному числу в карточке. На нее влияют фасовка, промо, карта лояльности, наличие, регион, зона доставки и время сбора. Поэтому мониторинг цен — это не разовая выгрузка, а система: с контекстом измерения, сопоставлением товаров, нормализацией упаковок, историей изменений и контролем качества.

Что усложняет мониторинг цен

Даже внутри одной категории сети по-разному оформляют карточки, показывают объем, бренд, наличие и акции. Прямое сравнение ломают фасовки: 900 мл и 1 л, 450 г и 500 г, упаковки по 10 и 12 штук выглядят похоже, но по сути это разные предложения.

Отдельную сложность дают промо-цены: скидки по карте, мультиакции, наборные механики. Без фиксации типа акции аналитика искажает реальную картину. Дополнительно мешают быстрые изменения availability, региональные различия, разный ассортимент онлайн- и офлайн-витрин, высокая доля СТМ и частые изменения SKU.

Главный вывод: цену нельзя интерпретировать без контекста — сети, региона, витрины, промо-статуса и времени сбора.

С чего начинать проект

Перед запуском нужен короткий аудит задачи. Он отвечает на базовые вопросы: зачем нужен мониторинг, какие категории и бренды входят в проект, какие сети нужно отслеживать, какие поля собирать, нужна ли история изменений и как товары будут сравниваться между собой.

Также важно заранее определить формат результата: Excel, CSV, BI-дашборд, API или таблица для категорийного менеджера. Итог аудита — не длинный технический документ, а понятная стратегия: что собирать, как сопоставлять, как проверять качество и как отдавать данные бизнесу.

Какие данные нужно собирать

Для рабочего мониторинга недостаточно только названия и цены. Обычно нужны:

• название товара;
• бренд;
• категория и подкатегория;
• фасовка, объем, вес;
• regular price;
• promo price;
• наличие;
• тип промо-механики;
• URL карточки;
• SKU, артикул или внутренний ID;
• регион, витрина, зона доставки;
• дата и время сбора;
• признак СТМ;
• цена за единицу измерения.

Чем меньше контекста собирается, тем выше риск принять артефакт витрины за реальный рыночный сигнал.

Почему X5, Магнит и Лента нельзя сравнивать “в лоб”

На первый взгляд задача кажется простой: выгрузить товары трех крупных сетей и сравнить цены. На практике аналитика быстро ломается из-за разной структуры каталогов, разного уровня детализации карточек, разных промо-механик и логики availability.

Даже внутри одной сети ассортимент и цена зависят от региона, формата магазина и зоны доставки. Плюс у сетей разная доля private label, а значит, сравнение “средней цены по категории” без нормализации часто вводит в заблуждение.

Сравнивать нужно не “все со всем”, а сопоставимые товары в фиксированном контексте: сеть, регион, фасовка, промо-статус и момент времени.

Как обычно получают данные

На практике используют несколько подходов:

1. Официальный API или партнерская выгрузка — самый устойчивый вариант, если есть доступ.
2. Каталоги, категории, sitemap — как реестр URL и точек входа.
3. JSON/API-запросы витрины — часто дают структурированные данные быстрее и надежнее, чем HTML.
4. HTML-парсинг карточек и листингов — подходит для классических витрин, но чувствителен к изменениям шаблонов.
5. Headless browser точечно — используется только там, где без рендера нельзя получить нужные поля.

Обычно выигрывает не самый “тяжелый” сбор, а устойчивый процесс с хорошей нормализацией, matching и историей.

Matching товаров между сетями

Именно сопоставление товаров чаще всего определяет ценность проекта. Одинаковые товары в разных сетях могут называться по-разному, а схожие по названию товары на деле отличаться по весу, упаковке или линейке.

Поэтому нельзя матчить только по имени. Нужен набор признаков: бренд, категория, объем или вес, упаковка, вкус, форма выпуска и дополнительные справочники. Для брендовых товаров обычно работают более строгие правила, для СТМ — сравнение по категории и функциональному аналогу.

Плохой matching особенно опасен тем, что выглядит не как ошибка, а как убедительный “инсайт”.

Нормализация и контроль качества

Для стабильного мониторинга нужна единая схема данных и разделение на raw и clean слои. В raw хранятся исходные карточки и ответы витрин, в clean — нормализованные товары, цены, наличие, промо и результаты matching.

Критически важны:

• нормализация единиц измерения;
• дедупликация карточек;
• раздельное хранение regular и promo price;
• history layer;
• quality gates.

Минимальные quality checks обычно включают долю пустых полей, число unmatched SKU, выбросы цен, резкие скачки ассортимента, аномалии availability, рост доли ошибок и подозрительные изменения цены за единицу.

Если таких проверок нет, мониторинг продолжает обновляться, но качество данных уже деградирует.

Как выглядит пайплайн

Базовый пайплайн обычно такой:

Сбор → Matching → Валидация → Нормализация → История → Выгрузка/BI → Алерты → Поддержка

Сбор дает карточки, цены, промо и наличие. Matching сопоставляет товары между сетями. Валидация отсекает ошибки и аномалии. Нормализация приводит данные к единой модели. История сохраняет динамику изменений. Выгрузка и BI делают результат пригодным для бизнеса. Алерты помогают замечать поломки и рыночные изменения, а поддержка удерживает систему в рабочем состоянии.

Как оценивать сроки и стоимость

Стоимость зависит не только от числа сетей, но и от сложности сравнения. На нее влияют количество категорий, глубина ассортимента, качество matching, региональный контур, требования к истории, частота обновления, интеграция в BI и доля СТМ.

Практически почти всегда лучше начинать с MVP:

• 1–2 категории;
• ограниченный список брендов или SKU;
• 2–3 сети;
• минимально нужные поля;
• пилотные matching-правила;
• history layer и базовые quality gates.

После этого масштабирование становится гораздо более управляемым.

Пошаговый план внедрения

Сначала фиксируется бизнес-задача, затем выбираются категории, сети и поля. После этого делается MVP-сбор и первая версия датасета, строится схема данных и логика matching, настраиваются quality gates, история и инкрементное обновление. Уже потом подключаются регулярный мониторинг, BI-выгрузки и поддержка.

Чек-лист перед стартом

Перед запуском стоит проверить, что:

• цель проекта понятна;
• категории и бренды определены;
• сети и витрины выбраны;
• список полей описан;
• формат сравнения согласован;
• правила matching понятны;
• история нужна или сознательно исключена;
• определен MVP-контур;
• настроены quality gates;
• понятен формат финальной выгрузки.

Как может помочь ParsingMaster

В таких проектах сложность обычно не в том, чтобы просто “получить цены”, а в том, чтобы превратить их в надежную систему наблюдения за рынком. Это включает аудит, выбор сетей и категорий, сбор нужных полей, matching товаров, нормализацию фасовок, хранение истории, quality gates и подготовку выгрузок для BI или таблиц.

ParsingMaster может взять этот контур целиком: от пилотного сбора по нескольким категориям до регулярного мониторинга сетей X5, Магнит и Лента с поддержкой качества и обновлений.