Парсинг цен конкурентов для сети строительных магазинов

Что хотел заказчик

Понимать тенденции рынка, ассортимент и цены конкурентов.

Сайты крупных строительных магазинов – это огромные каталоги с тысячами товаров в разных категориях, которые невозможно качественно анализировать вручную. Высокая конкуренция в этой сфере заставляет бизнес очень внимательно относиться к наличию тех или иных товаров и их стоимости. У покупателя есть возможность в режиме реального времени изучить интересующие позиции: сколько стоит керамический кирпич в магазинах города? Есть ли в наличии трендовый цвет от наиболее проверенного производителя?

Поставленные цели

Выявить конкурентов; собрать данные об их товарах, характеристиках товаров и ценах.

Что нужно было собрать?

• Наименование товара,
• Артикул,
• Исходную стоимость и стоимость со скидкой,
• Рейтинг,
• Участие в акциях,
• Технические характеристики,
• Факт наличия и кол-во в магазинах сети.

Сроки работы:

С момента формулировки ТЗ до готового результата – 5 рабочих дней.

Этапы работы:

• Сформировали список собираемых параметров. Эти параметры могли иметь как постоянные характеристики (например, артикул, размер товара), так и динамические характеристики (стоимость, рейтинг товара, участие в акциях, факт наличия и т.д.).
• Провели анализ структуры сайтов конкурентов. Анализ структуры сайта — определение целевых страниц, содержащих искомые данные, для каждого типа целевых страниц: формирование списка собираемых объектов DOM-дерева, анализ запросов к внешним ресурсам, анализ скриптов обработки и вывода информации.
• Провели анализ систем защиты сайтов – определение наличия систем защиты от автоматического сбора информации (авторизация, использование “капчи”, блокировка по ip-адресу), разработка решений для обхода систем защиты.
• Разработка алгоритма парсинга – определение правил формирования ссылок на целевые страницы, последовательности обхода, проверка доступности искомой информации
• Разработали структуру базы данных товаров для хранения и предоставления собранной информации в структурированном формате.
• Разработали парсер, провели тестирование и комплексную отладку.
• Запустили парсинг, наполнили базы данных полученной информацией.
• Предоставили готовый результат, получение обратной связи от заказчика по результатам выполненной работы.

Сложности, с которыми столкнулись:

Блокировка по ip-адресу при превышении количества запросов в единицу времени. Не формализованное представление данных на разных ресурсах.

Решение:

Определили оптимальное количество запросов в секунду, разделили задачи на несколько серверов, внедрили автоматическую смену ip-адресов при недоступности целевого ресурса.
Не формализованное представление данных – использование базы данных товаров, упрощающей работу со свойствами объектов (определение однотипных свойств и групповое изменение наименования характеристики товара и т.п.)

Результат, который получил клиент:

• Актуальную информацию о рынке строительных материалов. Это помогло скорректировать ассортимент магазина: закупить популярные товары, которые хорошо продаются у конкурентов, и пересмотреть ценовую политику, стараясь предложить товары дешевле.
• Также удалось определить тенденции покупательского спроса.
• Экономию ресурсов. Сокращение времени работы маркетологов за счет использования актуальной структурированной информации.
• В итоге клиент смог увеличить объем продаж.

Наглядный результат:

Для кого актуальна услуга?

Для всех тех, кто хочет автоматизировать работу с поиском и аналитикой большого объёма данных. Мы можем искать и анализировать практически любую информацию:

• с сайтов (в т.ч. с авторизацией);
• данные из Телеграм: текст, ссылки, упоминания и другой контент, который пользователи публикуют в открытых группах или каналах;
• Данные с популярных сервисов карт: Google maps, Яндекс.Карты, 2гис.

Заключение

Парсинг сайтов конкурентов даст вашему бизнесу новый толчок к развитию и пониманию рынка.

Доверьтесь нашему опыту и закажите парсинг прямо сейчас: Берёмся за решение нестандартных бизнес-задач любой сложности. Свяжитесь с нами прямо сейчас!

Контактная информация:

Компания: ParsingMaster

Сайт: parsingmaster.com

Email: info@parsingmaster.com

Telegram: parsingmaster_manager

Телефон: +7 (920) 909-36-72

Сервисы о которых мы говорили