A/B-тесты на собеседовании аналитика
На собеседованиях продуктового аналитика A/B-секция — это половина успеха. Спрашивают дизайн эксперимента, расчёт мощности и MDE, типичные подводные камни вроде peeking и SRM.
MDEмощность тестаp-valueCUPEDpeeking problemSRM
Лёгкие — начни отсюда
МТС Финтех: A/B-тест баннера на странице заявки на карту
Анализ A/B и решениеЛёгкаяJunior
Semrush: A/B-тест нового дизайна главной — статистическая значимость
Расчёт значимостиЛёгкаяMiddle
Хабр A/B — зачем нужен A/A-тест и что он проверяет
Дизайн экспериментаЛёгкаяMiddle
Сценарий A/B: как читать confidence interval
Анализ результатовЛёгкаяMiddle
Сценарий A/B: практическая vs статистическая значимость
Анализ результатовЛёгкаяMiddle
Средние
A/B-тест дизайна кнопки checkout — постановка эксперимента
Дизайн A/BСредняяMiddle
A/B — что делать, если p < 0.05, но эффект ничтожный
Интерпретация результатовСредняяMiddle
Miro: длительность A/B на CTA pricing-страницы и эффект на MRR
Дизайн A/B и расчёт длительностиСредняяMiddle
ScoreWarrier: A/B-тест стартового набора в магазине игры
Анализ результатов A/BСредняяMiddle
ВК/ОК: анализ A/B-теста на доход (revenue per user)
Анализ результатов A/BСредняяMiddle
Aviasales — расчёт размера групп и p-value для A/B на CTR
Размер выборки и анализ результатовСредняяMiddle
Aviasales — A/B-тест по конверсии во вторую сессию
Анализ A/BСредняяMiddle
Kaspi.kz — A/B-тест last-seats: оценка и принятие решения
AB analysisСредняяMiddle
Сложные
A/B-тест — гипотеза для улучшения баланса пилы сложности
Дизайн A/BСложнаяMiddle
Skytec Games — A/B-тест роста доли платящих с 10% до 11%
Дизайн A/B и сравнение методовСложнаяMiddle
Movavi — A/B-тест ценовой опции подписки 5/10/15$
Тесты с несколькими ценамиСложнаяMiddle
Хабр A/B — CUPED для уменьшения дисперсии метрики
Variance reductionСложнаяSenior
Хабр A/B — почему нельзя сравнивать ratio-метрики обычным t-test
Ratio-метрикиСложнаяSenior
InterviewQuery A/B — novelty effect: как отделить от настоящего эффекта
A/B-тестыСложнаяSenior
Сценарий A/B: N для ARPU со снижением дисперсии через CUPED
Размер выборки и MDEСложнаяSenior
Сценарий A/B: MDE для heavy-tail revenue-метрик
Размер выборки и MDEСложнаяSenior