Это третья часть цикла «Решаем продуктовый кейс»: диагностика упавшей метрики → метрики и разложения → метрики успеха фичи (вы здесь) → юнит-экономика.
Два варианта одного кейса
«Как измерить успех X» приходит в двух постановках: про продукт целиком («постройте систему метрик для нашего приложения») и про фичу («мы запускаем рекомендации на главной — как поймём, что получилось?»). Алгоритм один, отличается масштаб дерева.
Алгоритм построения системы метрик
- Цель бизнеса. Зачем продукт или фича существует и как зарабатывает. «Измерить успех» без цели — не задача; уточнение цели — ваш первый вопрос интервьюеру.
- Ключевое действие пользователя, в котором создаётся ценность: у Airbnb — забронированная ночь, у Spotify — время прослушивания, у доставки — вовремя привезённый заказ.
- North Star Metric (NSM) — одна метрика, которая отражает доставленную ценность. Критерии хорошей NSM: отражает ценность для пользователя, а не только деньги; ведёт к выручке; измерима; на неё могут влиять команды. Плохие NSM: регистрации (не ценность) и выручка (запаздывает).
- Дерево метрик: разложить NSM на драйверы — так видно, какой рычаг двигает что, и у каждого рычага появляется команда-владелец. Способы разложения — во второй части цикла.
- Guardrail-метрики — то, что нельзя ухудшить: скорость продукта, отписки, жалобы, возвраты, юнит-экономика.
Пример с цифрами: система метрик доставки еды
Сначала дерево, потом словами:
Заказы в неделю (NSM)
├─× MAU · 2 млн
├─× Доля заказывающих в месяц · 35%
└─× Заказов на заказчика · 5,1
- Ценность — доставленный вовремя заказ, NSM — заказы в неделю на активного пользователя, сейчас 1,8.
- Владельцы драйверов: MAU растят маркетинг и рефералка, долю заказывающих — активация и ассортимент, частоту — CRM и подписка на доставку. Дерево без владельцев — картинка, с владельцами — система управления.
- Прокси для медленной NSM: добавления в корзину, конверсия первой сессии. Прокси (proxy) — быстрый ранний сигнал, когда целевую метрику ждать долго.
- Guardrails: медиана времени доставки (34 мин), доля отменённых (2,1%), рейтинг заказов (4,7), контрибуция на заказ.
- Сильный ход — сразу назвать конфликт: CRM-скидки поднимут частоту, но уронят контрибуцию, поэтому эти две метрики смотрятся только парой.
Иерархия метрик — проговаривайте явно
- Целевые — успех фичи, то, ради чего делали.
- Прокси — ранние сигналы: клик по кнопке как прокси покупки.
- Guardrail — защитные: что не должно сломаться.
- Операционные — здоровье системы: аптайм, задержки, корректность сплита в экспериментах.
Ответ, в котором все метрики свалены в один список, выглядит на грейд ниже, чем тот же список, разложенный по этим четырём ролям.
Sizing: оценить эффект фичи до разработки
Формула прикидки: эффект ≈ доля затронутых пользователей × сдвиг их поведения × ценность сдвига.
Пример до конца, в деньгах. DAU 3 млн, фича видна на главной:
- Увидят ~30% DAU → 900 тыс. человек.
- По бенчмаркам похожих фич конверсия в использование ~10% → 90 тыс.
- У использующих частота покупок +5% к базовым 2 заказам в месяц → +9 тыс. заказов в месяц.
- Контрибуция заказа 260 ₽ → +2,3 млн ₽ в месяц.
- Разработка — 4 человеко-месяца, порядка 3 млн ₽ с поддержкой → окупается за полтора месяца, делаем.
- Вилка на честность: если конверсия в использование не 10%, а 3% — окупаемость 5 месяцев, всё ещё приемлемо.
Все цифры — предположения, и это нормально: проговаривайте их статус и давайте вилку. Такой расчёт на салфетке за две минуты — один из самых сильных сигналов в кейсе.
Решение о запуске: три ловушки
- Критерии успеха фиксируются до эксперимента. Иначе после запуска всегда найдётся какая-нибудь метрика, которая выросла.
- Novelty effect — всплеск из-за новизны, выветривается за одну-две недели. Смотрите динамику эффекта по дням от первого контакта с фичей, а не средний эффект за период.
- Каннибализация — новая фича съедает старую, а сумма не растёт. Рекомендации на главной могут поднять свои клики, забрав их у поиска; поэтому в guardrails — суммарная конверсия, а не только метрики новой фичи.
Тренировка
- Дизайн метрик для приложения — полный набор: цель, NSM, дерево, guardrails.
- Метрики мессенджера — постановка в стиле бигтеха.
- Метрики успеха шаблонов — успех конкретной фичи.
- Метрики email-продукта — непривычный продукт, тот же алгоритм.
- Метрики успеха продукта — формат письменного кейса.
Расшифровки всех обозначений — в словаре второй части. Финал цикла — юнит-экономика.