вывод
4 объектов · p-value · CI · effect size · CUPED
вывод · №001
→
p
p-value
вероятность получить результат не менее экстремальный, если нулевая гипотеза верна. не то, что думают.
гипотезы · Fisher · 1925
вывод · №002
→
[─]
доверительный интервал
интервал, который с вероятностью 95% содержит истинный параметр. тоже не то, что думают.
Neyman · 1937 · интервальная оценка
вывод · №003
→
d
размер эффекта
насколько велик эффект. важнее, чем p-value. Cohen's d · relative uplift · η².
Cohen · 1988 · практическая значимость
вывод · №004
→
θ
CUPED
снижение дисперсии через pre-experiment данные. ρ = 0.6 → на 36% меньше выборки.
Deng et al. · Microsoft · KDD · 2013