| обозначение | σ² (дисперсия) · σ (стандартное отклонение) |
| определение | Var(X) = E[(X − E[X])²] = E[X²] − (E[X])² |
| свойства | Var(aX) = a²·Var(X) · Var(X + Y) = Var(X) + Var(Y) при независимости |
| связано | EV · CLT · A/B тестирование · CUPED |
EV одинаковый. Жизнь разная.
дисперсия определяет, сколько нужно выборки в A/B-тесте.
Два варианта: A — +100 с вероятностью 1, EV = 100. B — +10 000 с вероятностью 1% и 0 с вероятностью 99%, EV = 100. EV одинаковый. Дисперсия разная.
Var(A) = 0. Var(B) = 0.01 × (10000 − 100)² + 0.99 × (100)² ≈ 990 000.
Дисперсия — это средний квадрат отклонения от EV. Показывает, насколько результаты разбросаны вокруг среднего1.
Дисперсия метрики определяет нужный размер выборки A/B-теста. Вдвое снизить σ² — вдвое меньше пользователей.
В A/B-тестировании дисперсия метрики определяет нужный размер выборки. Формула sample size: n ∝ σ² / δ², где δ — минимальный эффект, который хотим найти. Вдвое снизить σ² → вдвое меньше нужно пользователей.
CUPED (Controlled-experiment Using Pre-Experiment Data): используем данные до эксперимента, чтобы снизить σ². Если ρ(pre, post) = 0.5 — дисперсия снижается на 25%. Меньше дисперсия → быстрее находим эффект2.
Закон больших чисел: при n → ∞ выборочное среднее сходится к EV. Дисперсия среднего = σ²/n → 0. Именно поэтому A/B-тест работает: при достаточном n случайный шум усредняется и виден реальный эффект.