Создание собственной системы мониторинга цен: преимущества и недостатки

Часто компании решают создать необходимый для эффективной работы бизнеса продукт своими силами: «Мы сами напишем CRM», «Мы лучше возьмем в штат программиста, он все сделает». Другие же — с самого начала работы отдают предпочтение готовым решениям.

В этом материале мы рассматриваем оба этих подхода по созданию сборщика цен для мониторинга конкурентов (его также называют парсером, ботом, спайдером, скрапером, кроулером и т. д. — программа, которая собирает данные с выбранных сайтов и доставляет заказчику).


На первый взгляд кажется, что нет ничего сложного в самостоятельном сборе данных с сайта конкурента. Однако те, кто сталкивался с этой задачей на практике (в том числе и очень толковые разработчики в штате компаний-ритейлеров, клиентов Competera), обнаруживали множество неочевидных нюансов. И далеко не все эти сложности могут быть решены программистом, который создает такой сборщик: факторов влияния слишком много.

Программы и люди

Программы эффективнее людей. Программы могут безошибочно выполнять сотни операций в секунду и не допускать ошибок. В этом сила программ и их слабость, так как дает тем, кто хочет защитить свои данные от мониторинга, инструменты борьбы с «прямолинейностью» программ.

И, если программа совершает слишком большое количество запросов за отдельный промежуток времени (эти параметры индивидуальны для каждого сайта, данные с которого вы хотели бы собирать), то сайты воспринимают чрезмерную активность как угрозу и блокируют доступ соответствующему IP-адресу.

Однако блокирование адресов при высокой нагрузке — далеко не единственный способ защиты от сборщиков цен. Вот что говорит об этом Дмитрий, Head of Data Delivery Team @Competera:

Вариантов защиты сайтов достаточно много.

Капча сегодня достаточно редко встречается на сайтах интернет-магазинов, но иногда становится преградой на пути сборщиков, и нужно быть к этому готовым. Другой, более распространенный механизм из той же категории — кнопка «узнать стоимость» на карточке товара, которая генерирует актуальную цену только после ее нажатия пользователем.

Второй по популярности метод — это Javascript-алгоритмы. Новый, часто неочевидный для программистов, но при этом эффективный и достаточно распространенный способ защитить цены от конкурентной разведки. Такие алгоритмы отслеживают активность поисковых ботов, и, при их обнаружении… меняют стоимость товара. В результате ваш сборщик «успешно» делает свою работу и доставляет вам данные — бесполезные данные.

Обход такой защиты — достаточно ресурсоемкая задача даже для полноценного IT-департамента. Поэтому фриланс-программисты, которых нанимают представители малого бизнеса, чаще всего не могут решить эту задачу, так как у заказчика просто-напросто не хватает ресурсов на то, чтобы «развернуть» сервисы, полноценно имитирующие поведение пользователя на сайте.

Поэтому мало создать сборщик цен, который будет «путешествовать» по сайтам и собирать информацию. В итоге такая программа может оказаться крайне неэффективной.

Люди и программы

Однако даже тех, кто успешно обходит защиту и собирает данные с сайтов конкурентов, ожидают новые сюрпризы. В отличие от людей, программы не могут адекватно реагировать на внештатные ситуации. Алгоритмы выполняют свою работу, несмотря на новую информацию, которая должна быть учтена при сборе.

Вот часто встречающиеся ошибки, которые влияют на качество данных и, в большинстве случаев, остаются незамеченными:

  • Нет уведомлений о нестандартных ситуациях (например, если сайт конкурента перестал работать)
  • Нет контроля за возникновением ошибок, и, даже если глобальные погрешности в собираемой информации и встречаются, получатель данных никогда об этом не узнает
  • Сборщик не сравнивает объем собранных данных с предыдущим периодом (актуальная проблема, когда у конкурента появляется что-то новое или, наоборот, товары уходят из продажи)
  • Нет технических ресурсов для добавления в мониторинг новых сайтов конкурентов или для этого понадобится длительное время

Что бы из перечисленного ни случилось, при возникновении названных ошибок вы очевидно не всегда сможете полагаться на достоверность получаемых данных, а значит не будет эффективного принятия решений по переоценке товаров, и конкурентное преимущество (необходимость в котором послужила причиной создания собственного сборщика) будет утеряно.

Программы, люди и деньги

Следует оговориться, что создание собственной системы мониторинга имеет свои плюсы для функционировании отдельных видов и степени зрелости бизнеса. «Самописный» сборщик — подходящее решение для начинающего интернет-магазина, которому нужно мониторить тысячу SKU по одному конкуренту, не нужна стопроцентная точность в собираемых данных или если индустрия не подразумевает частого изменения цен.

Но даже для того, чтобы такой «простой» сборщик функционировал бесперебойно, нужно не просто написать саму программу, но создать полноценную систему мониторинга, которая решала бы все указанные выше (и другие, не упомянутые здесь) сложности. Весь процесс должен быть масштабируемым, гибким и быстрым. Тогда и качество, и скорость обновления данных будут на высоком уровне, а значит можно будет объединять данные и выстраивать корреляции, что гораздо важнее, чем просто актуальная информация о ценах конкурентов.

Создание подобного решения, которое, помимо сбора цен сможет построить график Price Index, прописать сценарии «умной» переоценки, отправлять уведомления вендорам о нарушении MVP... заставит вас собрать отдельную команду, единственной задачей которой будет работа над этим продуктом.

Кстати, давайте вернемся к разговору о тех клиентах Competera, которые решили создать собственные системы мониторинга цен, имея в штате отличных разработчиков. В большинстве случаев через несколько месяцев они возвращались к нам, так как после создания собственного решения понимали: обратиться к профильному разработчику нужного решения (CRM, телефония, система мониторинга цен и т.д.), перенаправив ресурсы штатных разработчиков на более насущные нужды интернет-магазина, выгоднее. Компании, которые занимаются исключительно разработкой решений для intelligent-управления ценами, имеют отработанные фреймворки работы с любыми данными, сайтами и алгоритмами безопасности. Соответственно, им это обходится гораздо дешевле.

Поэтому, если ваша компания уже готова к прайсингу, основанному на актуальных и достоверных данных (проверьте себя по этому чек-листу), лучшим выбором будет полнофункциональное SaaS-решение:

  • обеспечит ваш онлайн-бизнес актуальными и визуализированными данными;
  • поможет проводить сегментацию ассортимента (на основе ABC- и KVI-анализа);
  • предложит изменение цен, на основе анализа конкурентов;
  • позволит категорийным менеджерам, топ-менеджменту и привлеченным экспертам (если это необходимо) работать вместе в едином кабинете;
  • и т. д.

Все что вам нужно — просто погуглить такое решение, сравнить все найденные опции и найти то, которое лучше всего подходит именно для вашего интернет-магазина.

P. S. Обязательно попросите у поставщиков бесплатный тестовый аккаунт, чтобы оценить реальные (а не рекламные) преимущества системы. Иначе, ввиду того что подключение стоит больше, чем ежемесячная плата, есть риск потратить деньги впустую.


Оставить комментарий