Это первая часть цикла «Решаем продуктовый кейс». В цикле четыре статьи: диагностика упавшей метрики (вы здесь), разложение метрик в произведения, метрики успеха фичи и юнит-экономика. Обзор всех типов кейсов — в гайде по кейс-секции.
Почему именно этот кейс дают чаще всего
«DAU упало на 10%, ваши действия?» — самый частый продуктовый кейс для аналитика, потому что он повторяет реальную рабочую задачу. Интервьюер проверяет не эрудицию, а процесс: превратите ли вы «метрика упала» в управляемое расследование или схватитесь за первую пришедшую в голову гипотезу.
Правило, которое стоит усвоить до алгоритма: сильный кандидат не знает причину — он знает, как её найти. Ответ «наверное, маркетинг отключил кампанию» без структуры проигрывает стройному плану, даже если случайно окажется верным.
Алгоритм диагностики
Шаг 0. Уточнить сам факт
- Какая именно метрика и как считается: что в числителе, что в знаменателе?
- Насколько упала — в процентах и в абсолюте? Минус 10% могут быть и катастрофой, и шумом.
- Резко или плавно? Ступенька означает дискретное событие: релиз, поломку, изменение методики расчёта. Плавный тренд — процессное: конкуренты, выгорание канала, деградация базы.
- Когда началось и продолжается ли?
- Только у нас или у всего рынка?
Шаг 1. Проверить данные
Самая частая реальная причина «падения» — само измerение. Сломанное логирование после релиза, недосчитанные партиции ETL, изменённая методика, календарный артефакт. Сверьте метрику с независимым источником: выручку — с платёжным шлюзом, установки — с консолью стора. Расследовать неделю дырку в ETL — самая обидная трата времени в профессии.
Шаг 2. Сегментировать
Локализуйте падение до того, как искать причину: платформа и версия приложения, гео, канал привлечения, новые против старых, категория продукта, когорты по дате регистрации. Если падение целиком сидит в одном сегменте — причина почти наверняка там. Если размазано равномерно — ищите глобальное: данные, внешние события, общий релиз.
Шаг 3. Разложить метрику в произведение
Выручка = сессии × конверсия × средний чек. DAU = новые + удержанные + реактивированные. Конверсия воронки = произведение конверсий шагов. Посчитайте динамику каждого множителя и найдите просевший — это сужает поиск с «что угодно» до конкретного участка продукта. Каталог таких разложений по бизнес-моделям — во второй части цикла.
Шаг 4. Гипотезы и приоритизация
Из локализованного сегмента формулируйте конкретные гипотезы: внутренние (релизы, цены, маркетинг, сломанный шаг воронки, ассортимент) и внешние (конкуренты, сезонность, регуляторика, обновления платформ). Ранжируйте по двум осям: априорная вероятность × стоимость проверки. Посмотреть список релизов стоит пять минут, анализ конкурентов — два дня; начинайте с дешёвого и правдоподобного.
Шаг 5. Проверить сумму и закрыть
Найденная причина обязана объяснять падение целиком — иначе расследование не закончено. И финал: что подтвердилось, что делаем, какой алерт ставим, чтобы в следующий раз узнать за часы, а не за месяц.
Разбор с цифрами: «выручка −15% к прогнозу»
Так выглядит применение алгоритма в живом кейсе — интервьюер ждёт именно такого уровня конкретики.
- Факт. Историческая ошибка прогноза (MAPE) за год — 4%, факт вышел за ±2σ. Отклонение аномально, расследуем. Если бы MAPE был ±15% — кейс закрылся бы за пять минут: расследовать нечего.
- Данные. Выручка в DWH сходится с платёжным шлюзом с точностью 0,3%. Корректны.
- Разложение. Выручка = сессии × CR × AOV. Сессии −1%, AOV +2%, CR −16%. Копаем конверсию.
- Сегменты. CR по платформам: web −2%, Android −3%, iOS −38%. Вклад iOS в общее падение выручки: −11 п.п. из −15. Излом — 17-го числа, в день релиза iOS-приложения.
- Гипотеза за 30 минут. Конверсия шага «корзина → оплата» на новой версии упала втрое, в логах всплеск ошибок платёжного SDK.
- Сумма. Баг объясняет −11 п.п. Ещё −3 п.п. дала пауза рекламной кампании, которую нашли при проверке маркетинга. Оставшийся −1 п.п. — в пределах шума прогноза.
- Финал. «Тикет P1 на iOS, кампания возобновлена, ставим алерт на конверсию оплаты в разрезе платформ».
Заметьте пункт 6: причин две, и сообщение честно фиксирует необъяснённый остаток. Кандидат, который останавливается на первой находке, объясняющей половину падения, теряет очки — падения часто складные.
Четыре ловушки, за знание которых ставят плюс
- Парадокс Симпсона / mix-shift. Метрика падает, хотя в каждом сегменте она растёт — изменилась структура трафика: налили дешёвого трафика с низкой конверсией. Всегда проверяйте структуру знаменателя.
- Ratio-метрики. Конверсия «упала» из-за роста знаменателя (наплыв нецелевого трафика), а не падения числителя. Числитель и знаменатель смотрите по отдельности.
- Средние прячут распределение. Средний чек вырос, потому что отвалились мелкие заказы. Это плохая новость, замаскированная под хорошую.
- Метрика-жертва. Падение бывает осознанной платой за рост другой метрики: подняли цену — конверсия вниз, выручка вверх. Уточните, что оптимизирует бизнес, прежде чем «чинить».
Тренировка
Задачи каталога под этот тип кейса, от базовой постановки к полным сценариям:
- Расследование падения метрики — каноническая постановка.
- Факт продаж на 15% ниже прогноза — кейс, на базе которого построен разбор выше, с эталонным ответом.
- Аномалия: падение выручки — самостоятельное расследование.
- Декомпозиция метрики — отработка техники разбивки.
- Метрики отзывов и фрод — падение метрики с небанальной причиной.
Решайте вслух с таймером на 15 минут: структура, которую вы ни разу не проговорили, на собеседовании разваливается так же, как незаученная самопрезентация.
Следующая часть цикла — разложение метрик в произведения: каталог по бизнес-моделям.