Что означает «95% доверительный интервал»? Строгого ответа до Ежи Неймана не было. Нейман дал определение, которое сегодня заучивают студенты1: если повторять опыт снова и снова и всякий раз строить такой интервал, то в 95 случаях из ста он накроет истинное значение. Доверие — не к конкретному интервалу, а к самой процедуре, к её долгой доле попаданий.

Вместе с Эгоном Пирсоном, сыном Карла, он выстроил теорию проверки гипотез2: две ошибки — принять ложное и отвергнуть верное, — и правило, дающее наибольшую мощность при заданном риске первой из них. Отсюда растут и p-значения, и весь язык значимости, которым живёт A/B-тест.

«Без вероятности повторения слова „уверенность“ лишены смысла.» — по духу работы Неймана

С Фишером они разошлись насмерть. Фишер видел в статистике вывод о единичном опыте; Нейман — процедуру, которую судят по поведению на длинной серии. Спор так и не закрыт: две философии до сих пор делят прикладную статистику.

Бутстрэп — прямой наследник Неймана. Он строит тот самый доверительный интервал, только там, где формулы молчат: не выводит его, а разыгрывает пересчётом. Определение доверия — неймановское; способ добыть — уже машинный.