Собесов

A/B-тест новой платёжной системы: метрики, тест и отчёт

Статистика и теорверA/B-тестыСложнаяMiddle

Условие

Платёжный сервис тестирует новую платёжную систему. Воронка пользователя:

  1. open-list — открыл список платёжных систем.
  2. open-payment — выбрал платёжку.
  3. create-invoice — создал заявку на оплату.

Каждое следующее событие невозможно без предыдущего, но иногда события теряются в логах. Поведение может различаться по платформе (ui_version) и стране (user_country).

A/B-тест: группе A новая платёжка не показывалась, группе B — показывалась. Колонки лога: internal_time, milliseconds, action, user_id, user_country, ui_version, experiment_group.

Задача:

  1. Выбрать метрику/метрики для оценки эксперимента.
  2. Выбрать статистический метод.
  3. Написать код на Python.
  4. Написать отчёт для продакт-менеджера, не погружённого в статистику.

Хочешь увидеть разбор?

Зарегистрируйся бесплатно — откроется развёрнутое решение этой задачи и ещё 4 на выбор.

Зарегистрироваться и увидеть разбор
Уже есть аккаунт? Войти