Сценарий: наблюдательные vs экспериментальные данные

Условие

Юзеры, открывшие push-уведомление, конвертируются в 2 раза чаще. Сделать вывод о причинно-следственной связи?

Решение

Проблема: selection bias

Юзеры, которые открывают push — уже более вовлечённые. Они конвертировались бы и без push. Корреляция ≠ причинность.

RCT (Randomized Controlled Trial)

Случайно разделить на тест/контроль. Только так получаем incremental effect push'а.

Test: получает push.
Control (holdout 10%): не получает.
Causal effect = conv(test) - conv(control)

В наблюдательных данных (без holdout) можем только сказать «есть корреляция», не «push причиняет конверсию».

Иерархия достоверности доказательств

1. Multi-site RCT — gold standard.
2. Single RCT — отлично.
3. Quasi-experiments (DiD, RD, IV) — хорошо, при выполненных assumptions.
4. Observational with adjustments (PSM, regression) — слабее.
5. Naive observational comparison — почти бесполезно для causal claims.

Когда RCT невозможен

• Этика (нельзя дать половине больных placebo).
• Cost (запустить новый продукт нельзя «частично»).
• Logistics (нельзя случайно показать разные цены в одной транзакции).

→ Quasi-experiments: DiD, IV, regression discontinuity, synthetic control.

Adjustment подходы

Propensity Score Matching:

from sklearn.linear_model import LogisticRegression
# Predict P(received treatment | covariates)
ps_model = LogisticRegression().fit(X, treated)
ps = ps_model.predict_proba(X)[:, 1]
# Match treated with control с близкими ps
# Compare outcomes на matched pairs

Doubly Robust estimation, IV, DiD, synthetic control — каждый требует свои assumptions.

Selection bias примеры

• «Юзеры с support-обращением имеют выше retention» — потому что они используют продукт. Не причина.
• «Кто прошёл онбординг — выше LTV» — survivorship: те, кто пройдёт, и так заинтересованы.
• «Кликнувшие баннер платят больше» — баннер заметят те, кто уже искал товар.

Запах observational claim

Если кто-то говорит «X увеличивает Y на N%» без эксперимента — спросить:

1. Был ли holdout / control group?
2. Случайно ли назначено treatment?
3. Что может быть omitted variable?
4. Можем ли воспроизвести через RCT?

Подводные камни

1. Большие n не лечат selection bias. Точная оценка смещённой величины — всё равно смещённая.
2. Adjustments (PSM, regression) работают только при «no unobserved confounders» — недоказуемое assumption.
3. RCT тоже даёт смещение если есть spillover (тестовые юзеры влияют на контроль) или non-compliance.
4. Long-term causal effect отличается от short-term — RCT нужно длинный.
5. External validity: RCT на одной аудитории ≠ работает на другой.

Эталонный ответ

Observational ≠ causal. RCT с holdout — единственный надёжный способ. Без эксперимента: квази-экспериментальные методы (DiD, IV, PSM) при assumptions, или прозрачное «это корреляция, не причинность».