| обозначение | d (Cohen's d) · r · η² · relative uplift |
| определение | стандартизованная мера величины различия между группами |
| ввёл | Jacob Cohen · «Statistical Power Analysis» · 1988 |
| формула | d = (μ₁ − μ₂) / σpooled |
| интерпретация | d ≈ 0.2 малый · 0.5 средний · 0.8 большой |
| связано | p-value · мощность теста · A/B тестирование |
Большой ли эффект?
p-value говорит, есть ли эффект. размер эффекта — насколько он большой.
p-value отвечает на вопрос «есть ли эффект?». Размер эффекта — на вопрос «насколько он большой?». Второй вопрос важнее для принятия решений.
При большой выборке любой эффект значим. Конверсия выросла с 10.000% до 10.001%. p < 0.001. Статистически значимо. Практически — нет.
Cohen's d — стандартизованная разница средних:
d = (μ₁ − μ₂) / σpooled
Стандартизация позволяет сравнивать эффекты разных масштабов. d = 0.5 — «средняя» разница независимо от единиц измерения1.
p-value без размера эффекта — половина ответа. Часто худшая половина.
Для конверсий чаще используют relative uplift: uplift = (p₁ − p₀) / p₀. Для дисперсионного анализа — η² = SSbetween / SStotal: доля дисперсии, объяснённая фактором.
Минимальный детектируемый эффект (MDE) — важнейший параметр планирования A/B-теста. Какой реальный эффект вам важно найти? Из MDE, α и мощности (1 − β) вычисляется нужный n. Без MDE размер выборки невозможно рассчитать2.
Практическое правило: считай размер эффекта всегда. Рядом с p-value. Как обязательный параметр отчёта. «Конверсия выросла на 0.3 п.п. (d = 0.15, p = 0.02)» — намного информативнее, чем просто «p = 0.02».