Снижаем отток клиентов с помощью Machine Learning. Кейс Цезарь Сателлит

В докладе рассмотрено использование машинного обучения в Loginom для прогнозирования оттока клиентов для компании «Цезарь Сателлит» в B2C-сегменте.

В рамках пилотного проекта компании «Цезарь Сателлит» необходимо было получить ответ на 2 ключевых вопроса:

1. Может ли machine learning помочь лучше отбирать клиентов для удержания?
2. Какой типовой портрет у клиента, склонного к оттоку?

Внедрение машинного обучения в бизнес-процессы заказчика началось с реализации пилотного проекта, длительность которого составила несколько недель.

Согласно данным исследований, машинное обучение способно улучшить процесс максимум на 20%, что для одних сфер бизнеса является отличным результатом, а для других — не стоящим усилий. Только 7% разработанных моделей машинного обучения конвертируются в стадию внедрения. Исходя из вышесказанного, рационально перед применением популярного подхода протестировать, подойдет ли он для конкретного бизнеса.

Для реализации пилота заказчик предоставил транзакционные данные из CRM-систем: договора, оплаты, проблемность, скидки и акции, действия в мобильном приложении, модели и марки автомобилей, тревоги, претензии, обращения.

В качестве события, вероятность которого предсказывалась в пилотном проекте, было выбрано прекращение платежей на протяжении 60 дней или явное расторжение договора в горизонте прогнозирования 2 месяца. Схема моделирования включала в себя временной лаг в 1 месяц между получением прогноза и начальной датой наступления события. Это стандартный прием при моделировании оттока. Он позволяет принять превентивные меры для тех клиентов, по которым модель показала высокие вероятности.

Имея модель, зная факторы и их значимость, можно составить гипотетический портрет уходящего клиента, который собран из характеристик, максимально влияющих на событие:

1. Последний платеж сделан от … до … дней назад.
2. Договор заключен менее … месяцев назад.
3. Тарифный план из списка…
4. Абонентская плата со скидкой от … до … рублей.
5. Последний раз входил в мобильное предложение от … до … дней назад.
6. Получал хотя бы единожды скидку на услуги от … до … %.
7. С последнего обращения от … до … месяцев.
8. С последней проблемности прошло не более … месяцев.
9. Сумма последнего платежа менее … руб.

По итогам пилотного проекта на ретро-тесте была получена классическая метрика качества прогностической силы модели — ROC-AUC=0,84. Многофакторная модель использовала 22 признака клиентского профиля из 65-и. При этом метрика качества тривиальной модели – 0,76. Таким образом, использование machine learning обеспечило прирост 11%.

Как оценить прирост индекса ROC-AUC=11% ? Для различных масштабов бизнеса полученный эффект будет различным. Например, в компании с миллиардными оборотами прирост даже на 1% даст ощутимый экономический эффект. В малом и среднем бизнесе прирост индекса даже в 20 % может оказаться недостаточным.

Для того, чтобы максимально оценить эффективность разработанной модели был проведен on-line эксперимент в виде A/B-теста, который длился в течение 2-х месяцев. Суть эксперимента состояла в следующем: использовалась выборка в 125 тыс. активных клиентов. Список был разделен на 2 равные части по 62,5 тыс. клиентов. В первой части выборки клиенты были отсортированы по убыванию вероятности оттока и дополнительно было взято 3 тыс. клиентов сверх списка. Вторая часть выборки была передана в «Цезарь Сателлит», и специалисты компании в течение 2-х месяцев выбирали 3 тыс. клиентов, склонных к оттоку, по собственным бизнес-правилам, не зная о прогнозных значениях модели.

По итогам эксперимента многофакторная модель гораздо лучше чем эксперты компании отбирает клиентов, склонных к оттоку, что наглядно иллюстрируют следующие результаты:

1. Снижение оттока в 1.4 раза: с 24 до 17%.
2. Рост среднего платежа на 2.3%.
3. Минимальная оценка прироста выручки: + 44.7 млн. руб. в год.

По результатам пилота решено было запустить полноценный проект, который предполагал создание консолидированного источника данных с профилями клиентов, автоматизацию формирования списков клиентов по модели и проектное обучение.