Во время собеседования на позицию старшего аналитика данных мне предложили выполнить задание с анализом данных вне офиса и затем представить результаты. Задача была сформулирована следующим образом: обнаружить аккаунты, которые находятся в группе риска и, вероятно, отменят подписку, иначе говоря, провести анализ оттока клиентов. Для решения такого рода задачи я решил применить предиктивную аналитику с использованием машинного обучения, а именно – метод анализа рыночной корзины, известный также как ассоциативный анализ или mining association rules. Это был мой первый коммерческий опыт использования подобных методов, и он оказался одновременно и интересным, и сложным. Главной проблемой в самом начале стала подготовка данных.
Анализ рыночной корзины работает эффективно только с бинарными или категориальными данными, то есть с информацией, отражающей присутствие или отсутствие признака, а у меня изначально были непрерывные числовые значения. Чтобы запустить машину, пришлось преобразовать непрерывные данные в категориальные с помощью технологии биннинга и функции qcut библиотеки pandas в Python. Именно она позволила разбить данные на четыре категории: «Нулевой уровень или пропущенные значения», «Низкий», «Средний» и «Высокий», в зависимости от распределения значений. После того как данные были разбиты на категории, я применил технику one-hot encoding для перевода категориальных значений в бинарный формат — в столбцах появилась информация о том, принадлежит ли конкретный аккаунт к той или иной группе. Один из важных уроков, который я усвоил в процессе — необходимо исключать из анализа признаки, которые априори искажают результат, например, «нулевое» категориальное значение, которое напрямую отражало факт оттока, иначе результаты превращаются в банальный набор правил с очевидными взаимосвязями, не дающими новых инсайтов.
Для реализации анализа я выбрал Python и библиотеку mlxtend. Первоначально пробовал pycaret, которая выглядит более дружелюбной для новичков, но в моей среде и с актуальными версиями библиотек возникли непредвиденные сложности с зависимостями и поддержкой. Mlxtend оказался более громоздким, но стабильным и с широким спектром настроек. Методология анализа позволила мне с помощью параметров поддержки (support), уверенности (confidence) и лифта (lift) регулировать качество и количество получаемых правил. Поддержка измеряет частоту появления определённых наборов признаков в данных, уверенность оценивает вероятность появления целевого события при наличии этих признаков, а lift показывает силу ассоциации, относительно случайного совпадения.
Задавая более высокие пороги, я сократил количество правил, получив в итоге три самых сильных с lift выше 2, что дало ценные бизнес-инсайты. Результаты показали, что старые аккаунты, особенно созданные летом 2012 года, с малым числом пользователей и отсутствующими данными по Net Promoter Score (NPS) — с высокой степенью вероятности подвержены оттоку. Причём эти клиенты не просто представляют статистическую аномалию, а формируют значимую долю финансовых потерь компании — около 18%, или почти 300 000 долларов. Однако важнейшим элементом оказалось не просто выявить эти связи, а правильно построить историю на основе результатов, которая бы убедительно донесла до управленцев суть проблемы и её масштаб, а также предложила реалистичные рекомендации. Моей задачей было создать презентацию на 8 слайдов, в которой рассказывалось о проблеме, методах анализа, полученных результатах и практических выводах.
Я сфокусировался на трёх ключевых рекомендациях. Во-первых, необходимо усилить работу с долгосрочными клиентами, уделить им больше внимания и поддержки. Во-вторых, обратить внимание на аккаунты с небольшим количеством пользователей — добиться, чтобы они не переплачивали и получали максимум ценности. И, наконец, стимулировать заполнение NPS-опросов, так как отсутствие этой информации коррелировало с повышенным риском ухода. Эти меры потенцируют сохранение до половины риска оттока, что напрямую конвертировалось бы в миллионы долларов сбережений для компании.
Важно отметить, что несмотря на то, что технический этап интервью мне дался с трудом и я не блеснул на втором туре с задачей по логистической регрессии, именно этот кейс и презентация произвели сильное впечатление, и мне сделали предложение о работе. Тем не менее я решил принять другой оффер, который лучше соответствовал моим долгосрочным карьерным планам. Из всего опыта я вынес несколько практических уроков, которые пригодятся любому, кто решит применить анализ рыночной корзины в бизнес-задачах. Первое — крайне важно тщательно подготовить и отфильтровать данные. Плохая подготовка может привести к мусорным результатам и длительным вычислениям.
Второе — не стоит тратить много времени на попытки заставить работать неподходящие инструменты, лучше перейти на более стабильные и поддерживаемые библиотеки. И наконец, третий — одна из главных ценностей анализа — это повествование, рассказ, который связывает технические детали и бизнес-выгоды, делая результаты понятными, доступными и вдохновляющими для принятия решений руководством. В своей работе я использовал не только Python и mlxtend, но и Excel для подготовки исходных данных и быстрого создания сводных таблиц, а также PowerPoint для презентации. Осознание того, что в аналитике многое зависит не только от самого анализа, но и от умения донести выводы до заинтересованных лиц — ключ к успеху. Если вы анализируете отток клиентов или хотите применять предиктивную аналитику, не бойтесь экспериментировать с методами машинного обучения, даже если ваш бэкграунд не в Data Science.
Начинайте с изучения ассоциативных правил, учитесь правильно кодировать данные, не забывайте про бизнес-контекст и стремитесь создавать истории, которые станут основой для реальных изменений. Работа с реальными бизнес-данными и решением насущных задач, пусть и в рамках интервью, — отличный способ развить профессиональные навыки и повысить собственную ценность на рынке труда. В конечном итоге, успех приходит к тем, кто не боится погружаться в сложные вызовы, выстраивать системный подход и учиться на опыте, даже если в ходе возникают трудности и временные неудачи. Моя история с анализом рыночной корзины — яркая иллюстрация того, как современные аналитические методы могут стать инструментом не только для поиска инсайтов и оптимизации бизнеса, но и для личного карьерного роста.
