Авторы: доктор Ларс Бьоли (советник по технологиям), Карин Фосс (консультант по технологиям) и Стиан Микельсен (старший менеджер) в BearingPoint в Норвегии
Модели машинного обучения для прогнозирования поведения клиентов и A / B-тестирование маркетинговых действий стали ключевыми возможностями любой современной маркетинговой функции. Вместе они увеличивают влияние маркетинговых расходов, находя правильные сообщения, которые нужно доставить каждому клиенту, чтобы увеличить продажи и лояльность. К сожалению, в нашей консультационной практике мы часто видим, что методы, используемые вместе, сводят на нет ценность одного или обоих.
В этой статье мы делимся некоторыми ключевыми выводами, основанными как на теории, так и на практике, о правильном их сочетании: как выбирать экспериментальные группы, оценивать результаты и определять статистическую значимость. Описанные нами принципы являются общими и одинаково хорошо применимы, например, в рамках профилактического обслуживания, но мы продолжаем обсуждение в сфере клиентской аналитики.
Разделение выбора и действия
Независимо от того, используете ли вы передовые алгоритмы машинного обучения, обученные на огромном количестве данных о клиентах, или бизнес-правила, основанные на интуитивном чутье, суть заключается в том, чтобы найти группы клиентов, которые с высокой вероятностью будут вести себя определенным образом, и повлиять на них путем отправив правильное сообщение.
Обычно мы хотим отслеживать две вещи:
- Насколько точна аналитическая модель, т.е. насколько хороша модель при выборе группы клиентов, которые могут вести себя определенным образом? Другими словами, можем ли мы предсказать поведение?
- Насколько эффективны действия, которые мы предпринимаем, чтобы повлиять на это поведение - предпринимаем ли мы оптимальные действия для выбранной группы? В области человеческого поведения может быть очень сложно найти правильное действие, и лучшее действие сейчас может оказаться не лучшим действием в следующем месяце.
Например, в банковском деле можно построить модель для отбора клиентов, которые с высокой вероятностью поменять ипотеку на другого поставщика, а затем адаптировать путь клиента к конкретным предложениям, предназначенным для повышения лояльности в выбранной группе. Когда возможность выбора модели уменьшается, ее следует переобучить на основе свежих данных, или нам потребуется совершенно новая модель. Тот же принцип применяется к эффективности действия, когда неэффективное действие необходимо переработать. Поэтому мы хотим реализовать A / B-тестирование как модели, так и действия, чтобы различные модели (чемпион / претендент) и разные действия (классические A / B) могли оцениваться с течением времени. С правильными экспериментальными группами мы можем измерять эти две вещи независимо и в одно и то же время.
Представленный нами подход прост в реализации и уже использовался в проектах в нескольких крупных норвежских компаниях. Он основан на структурированной установке для непрерывной оценки с использованием трех или четырех различных экспериментальных групп (в зависимости от конкретного случая).
Дизайн экспериментальных групп
Рассмотрим пример оттока клиентов. Модель машинного обучения разработана для прогнозирования того, какие клиенты могут отказаться от подписки / членства (также называемого оттоком) в будущем. Чтобы предотвратить отмену, необходимо предпринять некоторые действия. Основываясь на нашей модели машинного обучения, мы разделяем клиентскую базу на взаимоисключающие экспериментальные группы, как показано на рисунке ниже.
Клиенты, которые, по мнению модели, будут отталкиваться, относятся к группе «считает, что отток», а остальные относятся к группе «считает, что не отток». Здесь нам нужно вручную определить порог, например, выбрать 5% клиентов с наивысшими баллами или клиентов с достаточно высокой вероятностью оттока клиентов по оценке модели. Эти соображения являются частью бизнес-обоснования деятельности по борьбе с оттоком клиентов, которую мы здесь не будем углубляться.
Затем мы применяем действие для предотвращения оттока к процентной доле группы «считает отток» (A), в то время как остальные (B) не учитываются в качестве контрольной группы. В этом примере клиенты, получившие действие, имеют коэффициент оттока 10%, тогда как те, у которых коэффициент оттока не равен 20%, действие сокращает отток на 50% у клиентов, выбранных моделью.
Чтобы измерить эффективность модели машинного обучения, нам нужно сравнить показатели оттока клиентов в контрольных группах «считает, что отток» и «не считает, что отток» не получают никаких действий - группы B и D. Показатели оттока для эти группы составляют 20% и 5%, соответственно, и наша примерная модель, таким образом, обнаруживает, что клиенты уйдут в четыре раза чаще, чем остальные.
Мы также можем измерить эффективность действия в группе «считает, что не оттока», отправив действие определенному проценту этих клиентов (C) и сравнив уровень оттока с остальными клиентами в группе «не считает отток» ( D). Это увеличивает сложность экспериментальной установки, но если вы видите большой положительный эффект от этого сравнения, это намек на то, что можно уменьшить избирательность модели и включить больше клиентов в группу A. В крайнем случае можно полностью отказаться от модели и отправить действие всем клиентам. В этом примере проиллюстрирован увеличенный коэффициент оттока для группы C, что означает, что действие имеет отрицательный эффект в группе «считает, что не отток» по мере увеличения оттока клиентов - лучше ориентироваться только на тех, кого выбирает модель!
Подводя итог, можно сказать, что модель выбирает группу клиентов с коэффициентом оттока в четыре раза выше, чем остальная клиентская база, и действие над целевой группой снижает уровень оттока на 50%. Заманчиво на этом закончить наш анализ и сделать вывод о том, что способность модели отбирать клиентов хороша, а действия эффективны. Однако результат необходимо оценивать более тщательно: мы должны проверить, являются ли наши результаты статистически значимыми или просто случайным шумом. Обычный подход к этому - вычисление P-значения эксперимента.
P-значения для проверки действий на статистическую значимость
P-значения - это способ объяснения и количественной оценки результатов теста; он говорит нам, насколько вероятно, что результат будет случайным. Существует бесчисленное количество статей, объясняющих P-значения, поэтому мы не будем здесь объяснять эту концепцию. Точно так же существует множество онлайн-калькуляторов P-значения, которые вы можете использовать для проверки достоверности ваших результатов, или вы можете настроить электронную таблицу Excel.
Это ни в коем случае не идеальный инструмент, и не существует такой вещи, как черно-белый значимый или незначительный результат (статистически склонный читатель может, например, прочитать эту статью, чтобы получить более подробный взгляд на P-значения). Тем не менее, P-значения по-прежнему полезны, и мы рекомендуем использовать их, чтобы понять, вызвало ли действие эффект или результат был случайным. P-значение 0,05 часто используется для определения значимости и означает, что вероятность того, что результат является случайным, составляет менее 5%.
Ниже мы отмечаем некоторые ключевые выводы для выполнения тестов на статистическую значимость:
1. Нам нужны достаточно большие тестовые группы.
Возвращаясь к нашему примеру с оттоком ипотечных кредитов, если бы целевая группа составляла только 20 клиентов, 10 из которых получали действие и 10 зарезервированы в контрольной группе, то один клиент отказался бы от группы действий A, а два клиента - в контрольной группе B. вряд ли вам что-то говорит, так как это может быть случайно. Для более реалистичного теста предположим, что две группы состояли из 100 клиентов в каждой, так что 10 клиентов ушли в группу A и 20 - в группу B. Тогда статистика теста составит -1,9803 и соответствующее P-значение (для двустороннего теста) составляет 0,0477
2. В идеале деление 50/50 между действием и контролем
Какие клиенты попадают в целевую группу, выбирается нашей моделью, и в рамках целевой группы мы решаем, сколько клиентов получат действие (A) или будут выбраны для контроля (B). Очень часто организационное давление заставляет работать с меньшей контрольной группой, чтобы привлечь больше клиентов с помощью действия, но очень важно подчеркнуть важность статистической значимости. Также возможно (и поощряется!) отправить действие клиентам в контрольной группе после того, как будет установлена эффективность действия для целевой группы.
3. Следите за чистотой экспериментов
Каждый покупатель должен быть подвергнут только одному тесту (если тесты не являются бесспорно независимыми) одновременно. Контрольную группу для одного действия также следует держать в стороне от аналогичных действий. Если клиентская база большая, аккуратное решение - разделить ее на несколько непересекающихся групп. На рисунке ниже эта проблема настройки демонстрируется для случая, когда три теста A / B с одинаковыми действиями выполняются параллельно. Для Теста 1 используется отдельная часть клиентской базы, поэтому на результаты не влияют другие тесты. Однако для тестов 2 и 3 используется одна и та же клиентская база, в результате чего получается очень небольшая контрольная группа (клиенты, которые вообще не выполняли никаких действий), и результаты одного теста трудно отличить от другого.
4. Поддерживайте дисциплинированность экспериментов
Перед проведением эксперимента определите количество клиентов в каждой из групп и результаты, которые вы будете измерять (например, клики, открытие электронной почты или покупки). Невыполнение этого требования может непреднамеренно привести к недействительным результатам: тест, дающий значение P ниже 0,05, означает, что существует 5% -ная вероятность того, что действие не было значимым. Если вы складываете несколько тестов, один из них может случайным образом дать значение P ниже 0,05 - это известно как P-взлом. В рамках клиентской аналитики возникает соблазн провести эксперимент и подвергнуть клиентов действию до тех пор, пока вы не достигнете значимости (P ‹0,05), что является формой P-взлома. Вероятность того, что наблюдаемая значимость вызвана случайной случайностью, резко превышает 5%, и результат будет вводить в заблуждение (см. Этот блог для более подробного объяснения). Существует несколько методов преодоления этих ошибок, но они выходят за рамки данной статьи.
Практические соображения
Описанный нами подход может показаться простым статистиком, аналитиком или специалистом по обработке данных. Однако в нашей консультационной практике мы столкнулись и преодолели несколько практических проблем, которые также могут быть новыми для этой группы. Здесь мы представляем наши основные советы по проведению экспериментов в реальной жизни:
1. Внедрите масштабируемую архитектуру измерения
Нам нужен план сбора и хранения данных для наших экспериментов. Важно учитывать, как маркируются клиенты в экспериментальных группах и как регистрируются результаты (покупка продукта, переход по ссылке и т. Д.). Кроме того, если организация хочет проводить несколько тестов A / B параллельно, также необходима система, основанная на политиках, гарантирующая, что клиенты не подвергаются нескольким тестам, влияющим друг на друга (как обсуждалось в предыдущем разделе). Настоятельно рекомендуется создание общей инфраструктуры для решения этих проблем и автоматического распределения клиентов по различным экспериментальным группам и расчета эффекта и статистической значимости. Это обеспечивает как масштабируемость для запуска нескольких тестов, максимально автоматизируя ручную работу, так и гарантирует, что целостность каждого теста поддерживается за счет применения общей логики.
2. Уточните бизнес-цели и ожидания
Часто функция науки о данных встречает сопротивление со стороны отдела продаж / маркетинга. Ниже мы перечисляем некоторые типичные ситуации, с которыми мы столкнулись, и вопросы, которые, возможно, стоит рассмотреть, если они возникнут:
а. Давайте пропустим контрольную группу - это важно, и мы уверены, что наше действие окажет влияние.
Удаление контрольной группы препятствует измерению воздействия - было бы неплохо узнать, какое влияние было оказано, и выступить за увеличение маркетингового бюджета в следующем году? И вы уверены, что действие нельзя оптимизировать дальше?
б. Ух ты! Действие действительно хорошо сработало для клиентов, выбранных моделью. Разошлем всем!
Возможно, это нелогично со статистической точки зрения, но с прагматической точки зрения это имеет смысл. Усилия по созданию действия (например, копирайтинг, выбор изображений, конфигурация в инструменте управления кампаниями и т. Д.) Уже израсходованы, и у компании может не быть других соответствующих сообщений для отправки своим клиентам - часто что-то лучше, чем ничего. Однако, если действие связано с каким-либо специальным предложением, экономическое обоснование может оказаться нежизнеспособным при отправке всем клиентам, а не только тем, которые выбраны моделью.
c. Несмотря на то, что нам не удалось определить, оказало ли действие статистически значимое влияние или влияние было незначительным, мы должны продолжать это делать.
Как и в предыдущей ситуации, оно все же может иметь смысл продолжать действовать с прагматической точки зрения. Однако существуют также затраты, связанные с продолжением каких-либо действий, поскольку для поддержания актуальности требуется техническое обслуживание. Например, если детали рекламируемого продукта меняются, сообщение также должно измениться, и модель / бизнес-правило, используемые для создания целевой группы, возможно, придется обновить, если источники данных изменятся.
3. Ищите долгосрочные преимущества для бизнеса и изменение культуры вместо быстрых результатов
В повседневной работе по разработке и внедрению тестов легко потерять внимание к долгосрочной цели измерения эффекта: увеличению стоимости бизнеса. Помните, что отрицательный или неубедительный тест дает полезную информацию на будущее; если действие неэффективно, бизнес может сосредоточить свое время и энергию на другом. Сообщая о результатах, имейте наготове план альтернативного следующего шага и сосредоточьтесь на том, что результаты говорят нам, а не на том, чего они не делают - возьмите на себя четкое лидерство в развитии итеративной культуры, основанной на данных, во всей организации.
Резюме
Мы объяснили, как предсказания поведения и эффект маркетинговых действий могут быть проверены независимо, правильно разработав A / B-тесты. Следует помнить о нескольких практических проблемах, которые часто возникают из-за бизнес-желаний и потребностей. Из-за стремления к быстрым результатам экспериментальные установки могут выйти из строя. Уточнение ожиданий, простая и понятная экспериментальная установка и критическая оценка результатов со статистической точки зрения помогут разработать лучшие решения, обеспечивающие долгосрочную ценность для бизнеса.
Об авторах
Доктор. Ларс Бьоли - советник по технологиям в BearingPoint Oslo, имеющий опыт в области анализа клиентов из финансовой отрасли и профилактического обслуживания железнодорожной инфраструктуры. До прихода в BearingPoint в 2016 году Ларс получил степень доктора философии. по вычислительному материаловедению Калифорнийского университета в Санта-Барбаре. Электронный адрес: [email protected].
Карин Фосс - консультант по технологиям в BearingPoint Oslo, специализируется на данных и аналитике, где у нее есть опыт A / B-тестирования в медиаиндустрии. Она имеет степень магистра прикладной физики и математики по специальности статистика Норвежского университета науки и технологий. Электронный адрес: [email protected].
Стиан Микельсен - старший менеджер BearingPoint Oslo, специализирующийся на данных и аналитике, где он имеет опыт оказания помощи клиентам от крупных банков до стартапов в создании платформ данных, которые обеспечивают реальное понимание и ценность. Он имеет степень магистра искусственного интеллекта Норвежского университета науки и технологий. Электронный адрес: [email protected].
