Aviasales — расчёт размера групп и p-value для A/B на CTR

Условие

Хотим провести A/B-тест с двумя группами — контрольной и тестовой. Ключевая метрика — CTR = clicks / views.

Исторические данные:

• task_2_history_control.csv — данные за период без A/B-тестов (метрика очень стабильна).
• task_2_history_old_ab.csv — показатели тестовой группы предыдущего теста, где CTR упал на 15%.

В новом A/B хотим статистически значимо зафиксировать рост CTR на 10%. Допустимая ошибка I рода — 5%, II рода — 20%.

Задачи:

1. Рассчитать объём выборки в каждой группе при дележе 90% контроль / 10% тест.
2. По итоговым результатам (task_2_results.csv, одна строка = один юзер, без дублей) рассчитать p-value, обосновать выбор критерия.