визуал · №024
CUPED
снижение дисперсии через данные до эксперимента. чем выше корреляция — тем меньше нужна выборка.
// корреляция ρ
0.60
// эффект MDE
5%
// базовая σ
1.5
// без CUPED
дисперсия σ²
—
выборка n
—
~дней при 1k/сут
—
// с CUPED
дисперсия σ²
—
выборка n
—
~дней при 1k/сут
—
—
// распределение без CUPED
// распределение с CUPED
Y_cuped = Y_post − θ × Y_pre
θ = Cov(Y_post, Y_pre) / Var(Y_pre)
Var(Y_cuped) = σ²_post × (1 − ρ²)
θ = Cov(Y_post, Y_pre) / Var(Y_pre)
Var(Y_cuped) = σ²_post × (1 − ρ²)
«cuped не меняет математическое ожидание метрики.
только снижает дисперсию. тест остаётся несмещённым.
при ρ = 0 cuped ничего не даёт.
при ρ → 1 дисперсия → 0 и нужна бесконечно малая выборка.»