визуал · №020
A/B калькулятор
размер выборки · мощность теста · Cohen's h. введи параметры — получи план эксперимента.
// базовая конверсия (p₀)
10%
текущая конверсия контрольной группы
// минимальный эффект (MDE)
+10%
относительное изменение, которое важно найти
// уровень значимости α
вероятность ошибки первого рода
// мощность теста (1 − β)
вероятность найти реальный эффект
// выборка / группа
—
пользователей
// итого в тесте
—
обе группы
// ожидаемая B
—
конверсия теста
// Cohen's h
—
— эффект
n = (zα/2 + zβ)² × (p₀(1−p₀) + p₁(1−p₁)) / (p₁ − p₀)²
—
«формула предполагает двусторонний тест для двух пропорций. MDE — минимальный обнаруживаемый эффект, относительное изменение. мощность 0.8 означает: в 80% случаев тест найдёт реальный эффект. Cohen's h < 0.2 — малый эффект · 0.2–0.5 — средний · > 0.5 — большой.»