Описание исследования

Проблема качества данных

Большие данные сегодня — норма, с которой нужно эффективно работать. Количество информации, которую ритейлеры вынуждены собирать о конкурентах из различных источников, соперничает только с тем объемом, который генерирует сам интернетмагазин.

В то же время переизбыток получаемой информации и ее низкое качество становятся причиной того, что ритейлеры не могут делать правильные выводы и принимать оперативные и взвешенные решения. А ведь именно качество данных определяет экономический эффект для бизнеса, влияет на стратегию ценообразования и лежит в основе рациональной переоценки:

• Сбор и обьединение данных
• Обработка и конфигурация данных
• Визуализация отчетов: закономерности, отклонения, аномалии
• Принятие решений и управление изменениями
• Измерение эффективности принимаемых решений
• Автоматизация процесса принятия решений и управления изменениями
• Оптимизация стратегии бизнеса
• Создание механизна прогнозирования результатов от принятых решений и внедренной стратегии

В этой последовательности первая фаза — сбор и объединение данных — фундамент, который прямо влияет на итоговый результат. Некачественное «сырье» приводит к ошибочным решениям, потерянной прибыли и ухудшению рыночных позиций.

200 ритейлеров из 18 стран используют продукты Competera. Согласно внутреннему опросу, 80% клиентов компании считают качество данных о конкурентах ключевым фактором, на который они ориентируются при выборе партнера для внедрения, развития и улучшения процессов ценообразования.

Цель исследования

Основная цель этого исследования — стандартизировать понятие «качество данных», чтобы представители ритейл-индустрии могли использовать эталонные показатели для оценки качества информации, получаемой от поставщиков.

В рамках исследования мы:

• Изучили понятие «качество конкурентных данных».
• Определили ключевые показатели, влияющие на качество данных.
• Провели исследование «индустриального стандарта» — оценили качество данных, которое получают лидеры ритейла по всему миру.
• Сформулировали эталонные значения для каждого индикатора и их влияние на бизнес-результаты ритейлера.

В результате были получены ответы на следующие вопросы:

1. Какие параметры влияют на качество данных?
2. Какой индустриальный стандарт данных?
3. Как изменятся бизнес-показатели ритейлера при изменении качества данных?
4. Как оценить качество данных ритейлера?

Методология исследования

Для исследования использовались данные клиентов Competera из шести стран: Великобритании, США, Нидерландов, Малайзии, России и Украины.

1. Все данные являются обезличенными и конфиденциальными.
2. Для участия в исследовании были отобраны компании, которые отслеживают и анализируют более 50 тысяч конкурентных позиций.
3. Исследование проводилось в трех индустриях: Consumer Electronics, Hypermarkets, Health&Beauty.

Ключевые элементы качества данных

Приведенные в исследовании индикаторы качества актуальны для правильно настроенного процесса сбора и обработки данных с многократными проверками на ошибки и аномалии:

В качестве входящих данных используется каталог товаров ритейлера, список конкурентов и требуемое расписание их сканирования — входящие данные обновляются по заданному графику.

После обработки входящих данных и сопоставления товаров ритейлера с товарами конкурента, генерируется обогащенный каталог позиций, который будет использоваться при сборе данных с сайтов конкурентов.

Данные собираются с выбранных веб-сайтов по предустановленному расписанию сканирования. Список ресурсов для сканирования может корректироваться после нескольких итераций, если сканируемые конкуренты не являются ключевыми (подробнее — в статье о том, как выбрать товары и конкурентов для мониторинга).

Собранные на сайтах конкурентов данные проверяются на качество, структурируются и визуализируются в нужном для ритейлера виде.

Это последний шаг во всей последовательности, который прямо влияет на оптимизацию работы ритейлера. Когда процесс получения данных правильно настроен, можно переходить к оценке их качества.

В исследовании Competera были выделены пять основных индикаторов качества данных.

Индикатор #1: Процент сопоставлений

Количество и точность полученных сопоставлений товаров с аналогичными параметрами — первый параметр, который помогает понять, насколько качественны полученные данные. И если количество сопоставлений можно измерить при помощи показателя процента сопоставлений, то на их точность влияет тип сопоставлений и их глубина.

Глубина сопоставлений учитывает все многообразие параметров товара: его цвет, технические характеристики и другие элементы, которые часто недоступны на основной карточке товара.

Идеально, когда ритейлер получает максимально глубокие и точные смешанные сопоставления. В таком случае индикатор «процент сопоставлений» будет максимально информативен.

Сопоставления бывают трех типов:

• Ручные. Позволяют максимально точно сопоставлять товары не только по текстовым параметрам (название, цена), но и по внешнему виду (особенно важно для fashion-ритейла). Недостатки — низкая скорость, высокая стоимость и большое количество ошибок, вызванных человеческим фактором.
• Автоматические. Помогают быстро собирать большие массивы данных, но не всегда делают это корректно, особенно когда на сайте конкурента изменилась верстка или появились новые механизмы защиты.
• Смешанные. При правильном использовании обеспечивают преимущества обоих подходов — скорость и безошибочность автоматических сопоставлений и качество ручных сопоставлений.

Индикатор #2: Количество ненулевых цен

Этот индикатор показывает процент найденных на сайте конкурента цен. Иногда при сканировании появляется какое-то количество нулевых цен:

• Если в момент сбора данных у конкурента закончился товар, то программа-сборщик получит информацию о том, что товара нет в наличии.
• У конкурента проблемы на сайте, поэтому программа-сборщик не может «забрать» цену.
• У конкурента нет такого товара. Возможно ритейлер неверно информирован об ассортименте конкурентов или для мониторинга выбраны не ключевые конкуренты.

Чем больше процент ненулевых цен, тем достовернее информация об ассортименте конкурента.

Индикатор #3: Свежесть данных

Некоторые ритейлеры при переоценке товаров отталкиваются от данных, которые были собраны за сутки и более до момента переоценки. Такие данные не могут быть качественной основой для анализа и принятия решений.

Ритейлерам нужно получать максимально актуальные данные к моменту принятия решений об изменении цен, поэтому важно учитывать еще один показатель качества данных — процент «свежих цен», собранных в двухчасовом диапазоне перед переоценкой.

Важно: Этот индикатор напрямую зависит от того, какая технология используется поставщиком данных для их сбора. Если поставщик собирает данные по всему каталогу конкурента, между моментом получения первой и последней цены ритейлером может пройти до 72 часов. Если же сбор происходит с привязкой к конкретным URL товаров, то процент свежих данных будет гораздо выше, а сами данные — точнее.

Индикатор #4: Процент ошибок в собранных данных

Несмотря на большую точность, сборщики данных (парсеры, краулеры — программы, которые собирают данные) не застрахованы от ошибок. Идеальный вариант — когда работу программы-сборщика проверяет другая программа и/или человек.

В таком случае система сбора данных о конкурентах не только эффективно собирает необходимые данные, проверяет их на ошибки и идентифицирует все возможные проблемы со сбором, чтобы оповестить пользователя о том, что именно стало причиной получения данных с ошибками. На основании такой информации пользователь может принять взвешенное решение о необходимых действиях.

Данные могут считаться умными, только если их качество проверено научными методами при помощи специальных алгоритмов.

Индикатор #5: Время доставки данных

Чем меньше промежуток времени, который необходим информации, чтобы попасть после сбора и обработки в ERP-cистему ритейлера, тем проще и гибче становятся все процессы ритейлера по анализу и использованию полученных данных и, как следствие, тем взаимодействие всех элементов бизнеса становится эффективнее.

Время доставки данных во внутреннюю систему ритейлера должно стремиться к минимуму.

Результаты исследования

Моделирование результатов

Теперь, когда мы рассмотрели факторы, влияющие на качество данных, и увидели показатели топ-ритейлеров из шести стран, можно смоделировать эффект, вызванный отклонением этих индикаторов от нормы.

Для примера возьмем условного ритейлера, у которого в мониторинге находится 50 тысяч товарных позиций по пяти конкурентам. В таком случае максимально возможное количество единиц в мониторинге — 250 тысяч.

Процент сопоставлений

Среди выбранных для исследования компаний процент сопоставлений составляет от 40 до 60%.

То есть для текущей модели это может быть, соответственно, 150 тысяч или в худшем 37,5 тысяч позиций. Для всех дальнейших расчетов возьмем средний показатель в 60%, что соответствует 150 тысяч позиций.

Это единственный показатель, который зависит от ритейлера (выбор конкурентов и товаров для мониторинга). Качество остальных индикаторов обеспечивает поставщик данных (даже если ритейлер работает с собственной системой сбора информации о конкурентах, то в качестве поставщика выступает внутреннее подразделение).

Количество ненулевых цен

Каждый ритейлер самостоятельно определяет, какое количество ненулевых цен выбрать стандартным показателем. Важно, чтобы этот показатель был стабильным или рос, но не уменьшался.

Появление большого количества «нулевых цен» создает «слепую зону» и для категорийного менеджера, и для алгоритмов переоценки, поэтому товары с такими данными не переоцениваются и, как следствие, не продаются.

В нашем примере допустим, что количество ненулевых цен будет колебаться на уровне 150 тысяч, а в какой-то момент резко снизится до 90 тысяч. В этом случае «слепая зона» ритейлера за один день увеличится на 60 тысяч позиций.

Свежесть данных

Как мы отмечали выше, важно, чтобы максимальное количество цен конкурентов было собрано ритейлером в двухчасовом диапазоне перед переоценкой товаров. Этот параметр определяет, какой процент цен для анализа и принятия решений доставлен в «критический» — необходимый для переоценки — период времени.

Для проведения корректной переоценки показатель свежих данных должен колебаться в диапазоне 95-98% позиций всего ассортимента. В нашем примере в двухчасовом диапазоне перед переоценкой должны быть доставлены до 147 тысяч единиц данных из всех сопоставленных позиций. Это количество — индикатор свежести цен.

Системность представления данных с фиксированной частотой и расписанием — прямо влияет на оптимизацию ценообразования. В этом случае ритейлер получает именно те данные, которые можно использовать при переоценке. Иначе он может оперировать устаревшими, «вчерашними» данными, и его продажи упадут.

Категорийный менеджер в большинстве случаев знает частоту и время переоценки конкурентов, особенно если использует в работе Price Index. Основываясь на этой информации он выбирает время для переоценки своего ассортимента, а значит конкретный промежуток времени появления данных критически важен: устаревшие данные упускают возможные изменения у конкурентов.

Процент ошибок в собранных данных

Даже минимальный процент ошибок приводит к тому, что ритейлер неправильно переоценивает свои товары. Это значит, что нужно стремиться к минимальному показателю ошибочных данных — от 5 до 2%. Если показатель выше, то в нашем примере (147 тысяч товаров в двухчасовом диапазоне) более 8,8 тысячи товаров будут переоценены с ошибками.

Поставщик данных (независимо от того, внутренний он или внешний) должен проверять качество своих данных, оценивать их на наличие ошибок, давать прозрачный доступ ритейлеру к этой информации и быстро реагировать на полученные ошибки.

Время доставки данных в ERP-систему

Показатель времени доставки данных в ERP-систему ритейлера не так критичен, как другие индикаторы. При этом он влияет на общую эффективность работы категорийных менеджеров:

Если перед менеджером не стоит задача контроля и настройки процесса получения данных и он занимается исключительно их обработкой — это снижает его времязатраты и положительно влияет на качество решений по переоценке.

Индустриальный стандарт по доставке данных от поставщика в ERP — до 30 минут (зависит от способа передачи данных и типа ERP-системы. Обычно клиенты Competera получают свежие данные в свою ERP-систему за 3-7 минут.

Чек-лист для проверки качества данных

Теперь, когда вы ознакомились с результатами исследования качества данных от Competera, вы можете проверить качество ваших данных по чек-листу ниже.

Если ваши показатели качества данных находятся в зеленой зоне, все хорошо. Если же какой-то показатель попал в оранжевую или красную зону, стоит поговорить с вашим поставщиком данных.