Каталог задач
1000 задач. Страница 1 из 20. Авторские задачи для подготовки к собеседованиям аналитиков с разборами решений.
Темы
Уровень
Сложность
По мотивам интервью в
001
A/B-тест дизайна кнопки checkout — постановка эксперимента
A/B-тестыДизайн A/BСредняяMiddle
002
A/B — что делать, если p < 0.05, но эффект ничтожный
A/B-тестыИнтерпретация результатовСредняяMiddle
003
A/B-тест — гипотеза для улучшения баланса пилы сложности
A/B-тестыДизайн A/BСложнаяMiddle
004
Miro: длительность A/B на CTA pricing-страницы и эффект на MRR
A/B-тестыДизайн A/B и расчёт длительностиСредняяMiddle
005
ScoreWarrier: A/B-тест стартового набора в магазине игры
A/B-тестыАнализ результатов A/BСредняяMiddle
006
ВК/ОК: анализ A/B-теста на доход (revenue per user)
A/B-тестыАнализ результатов A/BСредняяMiddle
007
МТС Финтех: A/B-тест баннера на странице заявки на карту
A/B-тестыАнализ A/B и решениеЛёгкаяJunior
008
Aviasales — расчёт размера групп и p-value для A/B на CTR
A/B-тестыРазмер выборки и анализ результатовСредняяMiddle
009
Aviasales — A/B-тест по конверсии во вторую сессию
A/B-тестыАнализ A/BСредняяMiddle
010
Skytec Games — A/B-тест роста доли платящих с 10% до 11%
A/B-тестыДизайн A/B и сравнение методовСложнаяMiddle
011
Movavi — A/B-тест ценовой опции подписки 5/10/15$
A/B-тестыТесты с несколькими ценамиСложнаяMiddle
012
Kaspi.kz — A/B-тест last-seats: оценка и принятие решения
A/B-тестыAB analysisСредняяMiddle
013
Semrush: A/B-тест нового дизайна главной — статистическая значимость
A/B-тестыРасчёт значимостиЛёгкаяMiddle
014
Karpov ДЗ: A/B-тест редизайна страницы оплаты
A/B-тестыA/B designСредняяMiddle
015
Хабр A/B — расчёт размера выборки для конверсии
A/B-тестыДизайн экспериментаСредняяMiddle
016
Хабр A/B — почему нельзя «подсматривать» результаты теста
A/B-тестыРаспространённые ошибкиСредняяMiddle
017
Хабр A/B — бутстреп разности средних и доверительный интервал
A/B-тестыБутстрепСредняяMiddle
018
Хабр A/B — зачем нужен A/A-тест и что он проверяет
A/B-тестыДизайн экспериментаЛёгкаяMiddle
019
Хабр A/B — CUPED для уменьшения дисперсии метрики
A/B-тестыVariance reductionСложнаяSenior
020
Хабр A/B — критерий Манна-Уитни, когда использовать и его ловушки
A/B-тестыКритерииСредняяMiddle
021
Хабр A/B — SRM (Sample Ratio Mismatch): как выявить и что делать
A/B-тестыSanity checksСредняяMiddle
022
Хабр A/B — почему нельзя сравнивать ratio-метрики обычным t-test
A/B-тестыRatio-метрикиСложнаяSenior
023
InterviewQuery A/B — novelty effect: как отделить от настоящего эффекта
A/B-тестыA/B-тестыСложнаяSenior
024
Сценарий A/B: MDE при дисбалансе групп 90/10
A/B-тестыРазмер выборки и MDEСредняяMiddle
025
Сценарий A/B: power-curve для конверсии
A/B-тестыРазмер выборки и MDEСредняяMiddle
026
Сценарий A/B: N для ARPU со снижением дисперсии через CUPED
A/B-тестыРазмер выборки и MDEСложнаяSenior
027
Сценарий A/B: MDE для heavy-tail revenue-метрик
A/B-тестыРазмер выборки и MDEСложнаяSenior
028
Сценарий A/B: размер выборки для ratio-метрик (CTR, retention)
A/B-тестыRatio-метрикиСредняяMiddle
029
Сценарий A/B: реализация CUPED end-to-end
A/B-тестыСнижение дисперсииСложнаяSenior
030
Сценарий A/B: стратифицированная рандомизация по гео и устройству
A/B-тестыСнижение дисперсииСредняяSenior
031
Сценарий A/B: post-stratification при неидеальной рандомизации
A/B-тестыСнижение дисперсииСложнаяSenior
032
Сценарий A/B: обзор техник снижения дисперсии
A/B-тестыСнижение дисперсииСредняяSenior
033
Сценарий A/B: кластерная рандомизация vs по пользователю
A/B-тестыСложные дизайныСложнаяSenior
034
Сценарий A/B: delta-method для conversion-per-session
A/B-тестыRatio-метрикиСложнаяSenior
035
Сценарий A/B: bootstrap vs delta-method для ratio
A/B-тестыRatio-метрикиСредняяSenior
036
Сценарий A/B: ratio-метрика с кластеризацией по сессиям
A/B-тестыRatio-метрикиСложнаяSenior
037
Сценарий A/B: Bonferroni vs Benjamini-Hochberg
A/B-тестыMultiple testingСредняяMiddle
038
Сценарий A/B: поправка на множественные метрики
A/B-тестыMultiple testingСредняяSenior
039
Сценарий A/B: OEC vs guardrail metrics
A/B-тестыMultiple testingСредняяSenior
040
Сценарий A/B: peeking problem и inflated Type I
A/B-тестыSequential testingСредняяSenior
041
Сценарий A/B: always-valid p-values через mSPRT
A/B-тестыSequential testingСложнаяSenior
042
Сценарий A/B: α-spending функции Pocock и O'Brien-Fleming
A/B-тестыSequential testingСложнаяSenior
043
Сценарий A/B: switchback-тест для двустороннего маркетплейса
A/B-тестыСложные дизайныСложнаяSenior
044
Сценарий A/B: учёт сетевых эффектов в эксперименте
A/B-тестыСложные дизайныСложнаяSenior
045
Сценарий A/B: Difference-in-Differences когда нельзя рандомизировать
A/B-тестыСложные дизайныСложнаяSenior
046
Сценарий A/B: synthetic control для одного treated unit
A/B-тестыСложные дизайныСложнаяSenior
047
Сценарий A/B: interleaving для тестов поисковых алгоритмов
A/B-тестыСложные дизайныСложнаяSenior
048
Сценарий A/B: длительность теста с novelty effect
A/B-тестыNovelty и primacyСредняяSenior
049
Сценарий A/B: primacy vs novelty — разница и диагностика
A/B-тестыNovelty и primacyСредняяSenior
050
Сценарий A/B: bias от дропоутов (attrition)
A/B-тестыNovelty и primacyСложнаяSenior