Как владельцу интернет-магазина сэкономить до 80% рабочего времени с помощью парсинга

Заказчик

Система умного анализа с ИИ для снижения рисков в один клик. (Название не разглашается)

С мощностью оценки миллионов источников данных за считанные минуты, заказчик предоставляет полный обзор криминальных, юридических, регуляторных, новостных, социальных и других публичных данных.

Заказчик стремится демократизировать доверие, предоставляя бизнесам в инвестиционной сфере передовые возможности для проведения всесторонних проверок на благонадежность. Платформа заказчика, уникальная в своем роде автоматизированная SaaS система, использует ИИ и машинное обучение для решения задач, характерных для отрасли. В ближайшее время сервис выйдет с этапа тестирования и станет доступен широкой публике.

Заказчик берет на себя ответственность и документально гарантирует, что использование услуг заказчика соответствует всем применимым законодательным нормам, включая, но не ограничиваясь, ФЗ-152 и нормами о защите данных, такими как Общий регламент по защите данных (GDPR). Все клиенты заказчика обязуются соблюдать все соответствующие законы при использовании услуг.

Цели заказчика

Заказчик стремится создать лучшее решение для проверки на благонадежность, используя возможности ИИ и BigData. Их цель – предоставить самый полный и точный отчет о проверке на благонадежность, что станет основой для важных бизнес-решений.

Вызовы

Хотя некоторые сервисы лишь поверхностно собирают информацию, анализ данных с помощью ИИ заказчика охватывает больше данных за меньшее время. Одним из ключевых элементов проверки на благонадежность являются данные новостей и статей.

Сбор данных в большом объеме несёт в себе две основные сложности:

1. Получение доступа к веб-сайтам в большом масштабе без блокировок и поддержание стабильности доступа.
2. Объединение неструктурированных данных и их преобразование в структурированный формат.

Решение

Наши специалисты разработали парсеры для всего пула сайтов-доноров заказчика и спроектировали гибкую инфраструктуру для масштабирования проекта, а также для обхода защиты сайтов-доноров.

Для сбора данных из видео мы написали парсер субтитров.

Затем командой бэкенд-разработки был создан API для передачи извлечённых и структурированных данных напрямую в системы клиента.

Решение

Перечисленные выше проблемы способна купировать система автоматизации сбора информации – парсинг. Решение универсально, позволяет обрабатывать неограниченное количество источников, переформатировать собранное в заданную структуру и загружать на собственный портал. Именно поэтому мы и предложили внедрить соответствующий софт в интернет-магазин заказчика. Оно же является основной настройки динамического ценообразования.

Комплексное решение, разработанное нами, включает богатый функционал:

• автоматический парсинг с указанного перечня зарубежных ИМ (изменяемого);
• обработка собранного при помощи искусственного интеллекта с постоянным развитием;
• расчет стоимости исходя из текущих значений, корректировка при изменениях;
• загрузка на собственный сайт без участия человека, в автономном режиме.

Настроенная система способна извлекать интересующее с любого количества доноров, по списку, подключенному перед запуском. Со сканируемых площадок выгружается все, что требуется для наполнения магазина: текстовое описание, технические характеристики, изображения. Еще актуальны видеоролики, цены, складские остатки, сроки доставки. Возможности зависят только от наличия искомого на площадке-источнике.

Важным клиенту показалось формирование цены с учетом текущего валютного курса, затрат, включающих логистику, налоги и пр., заданной маржи. Он начал экономить до 70% времени, т.к. описания товаров с фотками преимущественно давно уже были скопированы, оставалось лишь включать-отключать видимость карточек. А вот плавающие цены приходилось корректировать по мере изменения у поставщиков, которые иногда за день их меняли до двух-трех раз.

Весь ручной труд мы автоматизировали. Владельцу осталось заниматься оптимизацией бизнес-процессов, поиском новых партнеров, изучением условий для решения по сотрудничеству. Предложенное решение обладает достаточной гибкостью, чтобы адаптироваться к меняющимся условиям. Например, если появится желание изменить список доноров, расширить его в десятки раз. Софт отработает любое количество независимо от сложности.

Результат

Итоги внедрения и первых тестов впечатлили. До 90% времени, раньше затрачиваемого на ручной мониторинг, стало оставаться для «размышлений». Отпала потребность обращаться к фрилансерам, которые периодами «съедали» до 20-30% прибыли. Да, контролировать программу приходится, зато она все выполняет самостоятельно, по заранее заданному и протестированному алгоритму. При фиксированном перечне доноров ничего менять не понадобится долгое время.

Новые возможности:

• изменения не остаются без внимания софта, вручную их игнорировали из-за нехватки времени на изучение всего появившегося, поменявшегося;
• никаких ошибок при копипасте, рутина, начавшая уже вызывать у собственника «нервный тик», оказалась возложенной на машинный мозг;
• рост ассортимента без увеличения загруженности, без ограничений по объему, категориям, разновидностям номенклатуры;
• всегда актуальные цены, меняющиеся в режиме реального времени, учитывающие акции и иные маркетинговые мероприятия, в том числе конкурентов;
• минимальные издержки благодаря отсутствию затрат на наемный персонал, пусть и привлекаемый только время от времени.

Владелец с первого же месяца приступил к анализу стратегии развития, применяемой до внедрения нашего проекта. Появилось время для звонков покупателям, получения-изучения обратной связи, в том числе отзывов на сторонних платформах. Перечисленное привело к взрывному росту доходов, собственник доволен результатом, т.к. удалось всерьез заняться бизнесом.

Выводы

Этот кейс – объективное доказательство того, как парсеры упрощают жизнь предпринимателям и, с виду, малоперспективное дело превращают в автоматический инструмент получения прибыли. Все, что требуется, это правильно составить техническое задание для настройки программы. Еще желательно проверить их на выборке и уже затем запускать в «свободное плавание».

Парсинг представляет собой способ избавить себя от рутины и одновременно получить бесперебойную выкладку новых товаров.