Собесов

A/B — что делать, если p < 0.05, но эффект ничтожный

A/B-тестыИнтерпретация результатовСредняяMiddle

Условие

A/B-тест на 5 миллионах пользователей. Получили p-value = 0.001, но абсолютный uplift метрики — +0.05% (относительно baseline 8%). Что вы скажете команде, выкатывать ли изменение?

Хочешь увидеть разбор?

Зарегистрируйся бесплатно — откроется развёрнутое решение этой задачи и ещё 4 на выбор.

Зарегистрироваться и увидеть разбор
Уже есть аккаунт? Войти