Система мониторинга цен: больше не нужно изобретать колесо!

Одной из особенностей человеческой мыслительной деятельности — изобретать колесо, или снова, и снова наступать на одни и те же грабли. Так и ритейлеры, из-за того что не знакомы с негативным опытом предшественников, пытаются время от времени сэкономить, создавая собственные системы мониторинга цен у конкурентов.

Начинаются такие истории одинаково. Несколько часов или дней изучается вопрос «Как мониторить цены конкурентов», который приводит к следующему витку вопросов «Как создать собственный универсальный сборщик цен?». После этого начинается работа по созданию этого самого сборщик (бот, спайдер, скрапер, кроулер — программа, которая собирает данные и упаковывает их, скажем, в таблицу excel).

Но такая история очень редко заканчивается хэппи эндом: «кроличья нора» оказывается гораздо глубже...



Почему мы об этом пишем

Несколько лет назад один из клиентов Competera отказался от нашего продукта, в пользу программиста, под предлогом - «он напишет то же самое за $200». Да, без сомнения, в его словах была доля правды. В том, чтобы собирать данные с сайта конкурента, при наличии толковых разработчиков которые напишут сборщик в этом нет ничего сложного. Но нюансов в создании такого сборщика гораздо больше, особенно когда речь идет о e-commerce сайтах.

Мы собрали в этой статье основные сложности, которые встречаются на пути создания такой системы.

Ваша система мониторинга цен будет воспринята как DDOS-атака

Большинство владельцев крупных сайтов создают собственные системы защиты от DDOS-атак различных видов. И если ваши боты (парсеры, скраперы, краулеры) будут осуществлять слишком большое количество запросов за небольшой промежуток времени (кол-во запросов и их частота устанавливается каждым сайтом индивидуально), они будут мгновенно заблокированы. Кстати, если вы знаете, что такое DDOS-атака, но никогда не видели ее визуализации, вот отличное видео https://www.youtube.com/watch?v=hNjdBSoIa8k.

Ваша система мониторинга будет блокироваться разными способами

Защита от DDOS-атак — далеко не единственный метод, благодаря которому ритейлеры сохраняют свою информацию в секрете. Вот еще несколько:

Есть и другие сложности при создании собственного парсера, но давайте пока на этом остановимся и перейдем к более важным вещам.

Ваша система мониторинга может превратиться в проблему

Допустим, вы справились с предыдущей задачей, и у вас получается эффективно «парсить» данные с сайтов конкурентов. Не торопитесь праздновать. Вы можете точно сказать, в какой момент ваши данные стали неактуальными? Что если:

Что бы ни случилось, вы уже не можете полагаться на достоверность получаемых данных, а значит не можете эффективно принимать решения по переоценке товаров.

В конце-концов стоимость вашей системы мониторинга будет огромна

Как мы говорили выше, найти программистов, которые создадут для вас несколько парсеров (скраперов/краулеров) не проблема. Даже скажем больше, это — прекрасное решение для начинающего интернет-магазина, которому нужно мониторить тысячу SKU от одного конкурента, или если индустрия не подразумевает частого изменения цен. Но даже для того, чтобы процесс такого парсинга функционировал бесперебойно, нужно не просто написать программу, но и создать полноценную систему мониторинга, которая решала бы все указанные выше (и другие, не упомянутые здесь) проблемы. Однако, если вы создадите такую систему мониторинга, и будете поддерживать ее функционирование, у вас просто не останется времени на вашу основную деятельность — работу интернет-магазина.



Кстати, продолжая разговор о программисте за $200. Через несколько месяцев тот клиент вернулся к нам. Подобная история повторилась еще несколько раз, и даже до сих пор бывают случаи, когда клиенты выбирают создание кастомных решений вместо использования существующих. Но, через какое-то время, попробовав создать и поддерживать жизнеспособную собственную систему, в итоге возвращаются к нам.

В качестве альтернативы, если ваша компания уже готова к репрайсингу, основанному на актуальных и достоверных данных (проверьте себя по этому чек-листу), лучшим выбором будет полнофункциональное SaaS-решение. Такой вариант обеспечит ваш онлайн-бизнес:

а) актуальными и визуализированными данными;
б) поможет проводить сегментацию вашего ассортимента (на основе ABC- и KVI-анализа);
в) предложит поменять цены, проанализировав конкурентов;
г) позволит категорийным прайсинг менеджерам, топ-менеджменту и сторонним экспертам (если это необходимо) работать как одно целое.

Все что вам нужно — просто погуглить такое решение, а затем сравнить все найденные опции и найти то, которое лучше всего подходит именно для вашего интернет-магазина. Только обязательно попросите у поставщиков решения бесплатный тестовый аккаунт, чтобы оценить реальные (не рекламные) преимущества системы. Иначе, ввиду того что подключение стоит больше, чем ежемесячная плата, есть риск потратить деньги впустую.


Оставить комментарий