Использование данных парсинга для обучения ИИ

Дисклеймер: материал — про практику подготовки датасетов и управления качеством. Юридические вопросы (персональные данные, авторские права, условия сайтов-источников) зависят от конкретного кейса и юрисдикции — для решений “в прод” подключайте юриста/комплаенс.

Данные из парсинга — один из самых быстрых способов собрать “сырье” для ML/AI: много объектов, регулярные обновления, богатая вариативность. Но ценность здесь не в том, чтобы “выкачать побольше”, а в том, чтобы получить структуру, качество и воспроизводимость: какие поля, как нормализованы, как версионируются, как размечены и на каких источниках модель обучалась.

Какие задачи ИИ решают на данных парсинга

Вот 12 самых частых задач, где парсинг дает хорошее “топливо”:

1. Классификация категорий (taxonomy mapping)
   Автоматически раскладывать товары по дереву категорий, даже если источники используют разные названия.
2. Извлечение атрибутов из текста (information extraction)
   Вытаскивать “объем 500 мл”, “материал — хлопок”, “совместимость — iPhone 14”.
3. Нормализация названий и брендов
   Привести “Apple”, “APPLE Inc.”, “ Apple” к единому справочнику.
4. Нормализация единиц измерения
   “0.5 л” = “500 мл”, “1 kg” = “1000 г”, “12″” = “30.48 см”.
5. Сопоставление товаров между источниками (entity matching)
   Понять, что “Samsung Galaxy S23 256GB Black” в одном магазине — это тот же товар, что “S23 256 ГБ, черный” в другом.
6. Дедупликация карточек
   Находить дубли внутри каталога и сливать их корректно.
7. Поиск и ранжирование (learning to rank)
   Улучшать выдачу по поиску: релевантность по запросам и атрибутам.
8. Рекомендации “похожие товары”
   Построить эмбеддинги/сходство по атрибутам, брендам, совместимости.
9. Детектор ошибок контента
   Ловить “битые” атрибуты, нелепые цены, неверные бренды, пропуски обязательных полей.
10. Тренды/новинки
    На регулярных мониторинговых данных выявлять появление новых SKU и рост ассортимента в категориях.
11. Прогноз дефицита/наличия (если мониторите availability)
    На временных рядах “в наличии/нет” + цена/сезонность прогнозировать вероятность out of stock.
12. Генерация карточек на основе атрибутов (с осторожностью)
    Собирать структуру и “скелет” описаний из фактов — без копирования чужих текстов.

Какие данные собирать

1) Структурированные поля (must-have)

• source (источник/домен)
• url
• timestamp (время снятия)
• sku / id
• ean / gtin (если доступно)
• title (название)
• brand (как на сайте)
• category (как на сайте + ваша целевая)
• price, old_price, currency
• availability (в наличии/нет/предзаказ)
• delivery_time / delivery_price (если есть)
• seller (если маркетплейс)

2) Полуструктурированные характеристики

• список/таблица атрибутов: (name, value, unit)
• вариации: цвет/размер/комплектация

3) Текстовые поля (по задаче и рискам)

• краткое описание
• буллеты преимуществ
• спецификация (если в тексте)

Важно: тексты и изображения могут затрагивать авторские права. Часто для ML достаточно атрибутов и названий + вашей внутренней разметки, без “чужих описаний”.

4) Медиа (если есть права и цель)

• ссылки на изображения (или хэши/эмбеддинги)
• тип изображения (фото/инфографика)

Мини-чек-лист “минимальный датасет для e-commerce ML”

• title, brand, category, attributes, price, availability, url, timestamp, source
• (опционально) ean/gtin, variations, delivery_time
• (по умолчанию избегать) персональные данные, отзывы с именами/контактами, любые идентификаторы пользователей

Pipeline: от парсинга до обучения (и почему без него модели “сыпятся”)

Мини-схема:

Парсинг → Валидация → Очистка → Нормализация → Дедуп → Разметка → Dataset v1 → Train → Eval → Deploy → Мониторинг

Коротко по этапам:

1. Парсинг
   Снимаем сырье (raw) с метаданными: источник, время, URL, версия парсера.
2. Валидация
   Проверяем схемы: типы полей, обязательные колонки, допустимые значения.
3. Очистка
   Удаляем мусор: HTML-артефакты, “склеенные” значения, кривые символы, пустые карточки.
4. Нормализация
   Бренды, единицы, валюты, формат размеров, унификация атрибутов.
5. Дедупликация
   Сливаем дубли внутри источника и между источниками (по правилам/модели).
6. Разметка
   Получаем labels: категории, атрибуты, пары совпадающих товаров, релевантность для поиска.
7. Dataset v1
   Фиксируем версию датасета: что вошло, откуда, когда, сколько записей, какие фильтры.
8. Train/Eval/Deploy
   Обучаем, оцениваем, выкатываем.
9. Мониторинг
   Смотрим дрейф данных, качество входа, метрики модели, деградацию.

Качество данных: что чаще всего ломает модели (и как чинить)

Типовые проблемы

• Шум и дубли: одинаковые товары в разных карточках, разные написания.
• Неполные карточки: нет бренда/атрибутов, “title” слишком короткий.
• Единицы измерения вразнобой: “0,5”, “500ml”, “0.5 L”.
• Грязные бренды: “Sony.”, “SONY (Japan)”, “Сони”.
• Несогласованная таксономия: источники называют категории по-разному.
• Дрейф данных: сайт меняет структуру, появляются новые атрибуты, сезонные пики.
• Смещение выборки: вы собрали только “топ-магазины”, а потом модель плохо работает на “длинном хвосте”.

Data quality gates (пороговые проверки перед тем как “пускать в ML”)

• Заполненность обязательных полей: title/price/category ≥ X%
• Доля карточек без атрибутов ≤ Y%
• Доля дублей ≤ Z% (по вашему критерию)
• Валидность цен: нет отрицательных/нулевых, выбросы помечены
• Валидность единиц: все объемы приведены к мл/л, вес — к г/кг
• Стабильность распределений: цена/длина названия/кол-во атрибутов не “улетели” относительно прошлой версии
• Логи парсинга: доля ошибок/пустых ответов не выше порога

Разметка: как получить labels без дорогой ручной разметки

Полностью ручная разметка — дорого. Обычно комбинируют подходы:

1. Weak supervision (правила/хейристики)
   Правила вида “если в title есть ‘256GB’ → атрибут память=256GB”.
2. Distant supervision (внешние справочники)
   Сопоставление брендов/моделей со справочниками производителей, GTIN-базами, внутренними мастер-данными.
3. Semi-supervised / Active learning
   Модель предлагает спорные примеры, человек размечает только “трудные” случаи.
4. Human-in-the-loop
   Мини-команда размечает золотой набор (golden set) для оценки и калибровки правил.
5. Синтетика (осторожно)
   Можно генерировать вариации названий/единиц/опечаток для устойчивости, но важно не “оторваться от реальности”.

Правовые и этические риски

1) Персональные данные

Не собирайте и не используйте ПДн “на всякий случай”. Даже если они встречаются на страницах (например, в отзывах), лучше:

• исключить такие блоки из сбора,
• обезличивать/маскировать,
• ограничить доступ и сроки хранения.

2) Авторское право

Тексты описаний и изображения могут охраняться. Риски растут, если вы:

• публикуете чужой контент у себя,
• используете медиа без прав,
• делаете производные тексты, слишком близкие к исходнику.

3) Условия источников (Terms), robots, API-правила

Даже технически доступные данные могут иметь ограничения по использованию. Безопасный подход:

• выбирать источники и методы сбора, которые соответствуют правилам,
• предпочитать официальные фиды/API (если доступны),
• фиксировать “lineage”: откуда данные и на каких условиях.

Как снизить риски (короткий список):

• минимизация полей и исключение ПДн,
• лицензии/права на медиа и тексты (если они нужны),
• хранение метаданных источника и времени сбора,
• ограничение доступа к raw-слою,
• аудит датасета перед обучением.

Задача ИИ → данные → разметка → метрика → грабли

Задача	Какие данные нужны	Разметка	Метрика успеха	Типичные грабли
Классификация категорий	title, brand, attributes, source_category	ручная + weak rules	accuracy/F1	разные таксономии источников
Извлечение атрибутов	title, spec_text, attributes_raw	правила + gold set	F1 по атрибутам	единицы измерения/синонимы
Нормализация брендов	brand_raw, title	справочник + active learning	precision@k	“похожие” бренды/ошибки
Entity matching	title, brand, gtin, attributes, images_hash	пары match/non-match	ROC-AUC/F1	смещение на “простые” пары
Дедуп карточек	title, attributes, url patterns	weak + выборка руками	precision/recall	“почти дубли” по вариантам
Поиск/ранжирование	title, attributes, query logs (если есть)	клики/релевантность	NDCG/MRR	нет поведенческих данных
Рекомендации похожих	embeddings из title/attrs	implicit signals	CTR/конверсия	холодный старт, дрейф
Детектор ошибок контента	price, attrs, brand	правила + аномалии	precision на алертах	много false positives
Тренды/новинки	timestamp, new_sku, category	без разметки (TS)	hit-rate трендов	сезонность и шум
Прогноз наличия	availability_ts, price_ts	временные ряды	MAE/ROC-AUC	редкие события out-of-stock

 

Техническая реализация: хранение, версии датасетов, воспроизводимость

Чтобы модель не стала “магией”, нужны дисциплина и артефакты.

Рекомендуемая структура хранения

• Raw layer: сырые выгрузки + логи парсинга + метаданные источника
• Clean layer: очищенные и приведенные поля
• Feature/Dataset layer: финальные датасеты под конкретные модели

Версионирование и lineage

• фиксируйте версию парсера/правил нормализации;
• храните дату/время сбора и список источников;
• версионируйте датасет (условно “dataset_2026_03_04_v3”).

Как делить train/val/test

Если данные обновляются во времени (цены/наличие) — делите по времени, чтобы оценка была честной (иначе будет утечка информации из будущего).

Мониторинг дрейфа

• дрейф входных распределений (цены, длина title, количество атрибутов),
• рост доли пустых полей,
• падение качества на “свежих” данных,
• алерты на изменение структуры источника.

Мини-кейсы

Кейс 1: классификация категорий на большом каталоге
Собрали данные из нескольких источников, нормализовали бренды и атрибуты, разметили “golden set” на 5–10 тыс. карточек. Дальше — правила + активное обучение. Итог: автоматическая раскладка по таксономии ускорила онбординг ассортимента и снизила ручной труд контент-команды.

Кейс 2: entity matching товаров между 5 конкурентами
Снимали title + атрибуты + GTIN где есть, построили модель сопоставления пар. Основная проблема оказалась не в модели, а в данных: грязные бренды и единицы. После нормализации precision резко вырос, а отчеты по рынку перестали “двоить” товары.

Кейс 3: дедуп + “похожие товары” для улучшения поиска
На данных парсинга выявили дубли карточек, построили эмбеддинги по атрибутам, добавили блок “похожие товары”. Итог: меньше дублей в выдаче и более релевантные рекомендации.