закон больших чисел
На этот закон ссылаются чаще, чем на любую другую теорему: им объясняют, почему казино не разоряется, почему сезон честнее одного матча, почему покерист верит навыку вопреки результатам, почему Монте-Карло работает. Ссылаются, как правило, справедливо. Но почти всегда его читают щедрее, чем он написан. Он обещает ровно одну вещь и обещает её медленно, а три вещи, которые ему приписывают, не обещает вовсе. Разберём и то, и другое.
что он говорит
Формулировка обманчиво скромная: среднее по многим независимым испытаниям сходится к математическому ожиданию. Бросай монету — доля орлов идёт к половине. Крути рулетку — доля выигрышей заведения идёт к заложенным в правила процентам. Тыкай случайными точками в квадрат — доля попавших в круг идёт к отношению площадей, и игла Бюффона с методом Монте-Карло живут именно на этом.
среднее по выборке идёт к среднему по распределению
Якоб Бернулли доказал первый случай — для долей — и назвал его золотой теоремой. Работал над ней около двадцати лет, умер в 1705-м, не закончив; «Ars Conjectandi» вышла посмертно в 1713-м[1]. Имя «закон больших чисел» появилось позже, у Пуассона[2]. Строгую и общую форму дали ещё через два века: Борель в 1909-м, Колмогоров в начале тридцатых[3].
Между этими датами лежит не бюрократия, а содержание. Бернулли доказал слабую форму: при большом n вероятность заметно промахнуться мала. Сильная форма говорит жёстче: почти каждая отдельная бесконечная последовательность бросков сходится к своему среднему — не «вероятно близко», а действительно приходит и остаётся. Разница между «маловероятно ошибиться» и «сойдётся и не уйдёт» — и есть двести лет работы.
чего он не говорит: выравнивания нет
Первое и самое частое искажение. Выпало десять орлов подряд — значит, решки «должны» пойти чаще, монета исправится. Не исправится. У монеты нет памяти, следующий бросок — та же половина, и никакая сила не следит за балансом. Это ошибка игрока, и она держится именно на неправильно понятом законе больших чисел.
Механизм сходимости — не исправление, а разбавление. Перевес в десять орлов никуда не девается: он остаётся в выборке навсегда. Просто через десять тысяч бросков его делят на десять тысяч, и в доле он весит одну тысячную. Абсолютный перевес не сокращается — он в среднем даже растёт, примерно как корень из числа бросков. Тонет только его доля.
Разница практическая, а не терминологическая. Если ждёшь исправления — ждёшь, что рынок отыграет твою просадку, что серия неудачных раздач компенсируется удачными, что после плохого квартала придёт хороший в возмещение. Ничего этого не обещано. Обещано, что старое станет мелким на фоне нового, — но только если нового будет много и только если ты доживёшь.
чего он не говорит: он не спешит
Второе искажение — про сроки. «На дистанции всё сойдётся» звучит как утешение, пока не спросишь, какая дистанция. Ответ считается: типичное отклонение среднего от истины падает как корень из n. Чтобы уменьшить ошибку вдвое, нужно вчетверо больше данных; в десять раз — в сто раз больше.
| наблюдений | во сколько точнее | цена |
|---|---|---|
| 100 | ×1 | — |
| 400 | ×2 | вчетверо больше данных |
| 2 500 | ×5 | в двадцать пять раз |
| 10 000 | ×10 | в сто раз |
Первым эту цену посчитал сам Бернулли — и, судя по всему, был ею обескуражен. Для своей урны он спросил: сколько испытаний нужно, чтобы быть морально уверенным, что оценка доли отличается от истинной не больше чем на одну пятидесятую? Вышло 25 550[4]. Для эпохи, где выборкой в тысячу гордились, это был приговор: теорема верна, но пользоваться ею почти нельзя. Человек, доказавший сходимость, первым увидел её счёт.
Отсюда всё, что в других эссе выглядит разрозненными наблюдениями. Три матча группового этапа — не дистанция, и фавориты вылетают закономерно; xG за сезон точнее счёта, а за матч не точнее. Покерист играет тысячи рук не из усердия, а потому что меньшая выборка не отличает навык от дисперсии; до дистанции ещё надо дожить. Размер выборки в A/B считают заранее не из формализма, а потому что корень из n — жёсткий бюджет, и его нельзя выторговать усердием.
чего он не говорит: он не про тебя
Третье искажение самое дорогое. Закон больших чисел — утверждение о множестве испытаний, а не об одном участнике. Он обещает, что среднее по многим сойдётся, и молчит о том, что случится с конкретной траекторией.
Казино на этом и стоит: у него много ставок, и риск для него измерим, море однотипных ставок превращается в предсказуемую реку. У игрока напротив ставок мало, и его судьба к среднему отношения не имеет. Одинаковая математика, противоположные положения — разница только в числе повторений.
Хуже того, повторения бывают недоступны в принципе. Если каждый проигрыш уменьшает то, чем ты играешь, среднее по ансамблю перестаёт быть твоей судьбой — это эргодичность, и там разобрано, почему разорение отменяет любое матожидание. Закон больших чисел справедлив и тут, он просто описывает не тебя: усредняется толпа, в которой тебя уже нет.
когда он не работает вовсе
У теоремы есть условие, о котором вспоминают редко: у величины должно существовать конечное среднее. Условие выглядит формальностью, но бывают распределения, где его нет, и там сходимости не будет никогда — не медленно, а никогда.
Канонический пример — распределение Коши. Возьми тысячу его значений, усредни; среднее тысячи распределено ровно так же, как одно значение[5]. Данные копятся, точность не растёт. Усреднение, главный инструмент статистики, здесь просто не делает ничего.
Коши — экзотика, но соседи у него живые. Чем тяжелее хвост распределения, тем медленнее работает закон и тем дольше выборка врёт: доход, размер компании, ущерб от катастрофы, отдача венчурной ставки. Там среднее по имеющимся данным годами держится ниже истины, а потом один чёрный лебедь переписывает его целиком. Формально сходимость есть; практически ты всё время живёшь до неё.
и чем он не является
Осталось развести две теоремы, которые постоянно склеивают. Закон больших чисел говорит куда приходит среднее. Центральная предельная теорема — как оно колеблется по дороге: отклонения, поделённые на корень из n, ложатся в колокол независимо от того, из чего собраны. Первая теорема даёт точку, вторая — форму облака вокруг неё. Первая позволяет верить среднему, вторая — считать доверительный интервал. Без первой нет смысла мерить, без второй нет погрешности.
И ещё одно родство, менее очевидное. Про мартингал сказано, что вера бредёт с нулевым сносом, а сходится за счёт растущего разброса — середина пустеет. Здесь картинка зеркальная: разброс среднего сжимается, и величина садится на своё ожидание. Одно и то же слово «сходится» описывает два разных движения, и путать их не стоит: вера уползает к краям, среднее — к центру.
Заметь ещё, что независимость — условие, а не закон природы. Некрасов считал, что без неё сходимости нет; Марков в ответ построил цепи и показал, что закон работает и на зависимых событиях, если зависимость затухает. Так спор о законе больших чисел породил теорию случайных процессов.
как этим пользоваться
Практика сводится к трём вопросам, которые стоит задавать всякий раз, когда кто-то говорит «на дистанции выровняется».
Сколько наблюдений уже есть и сколько нужно — не на глаз, а через корень из n. Хвост у величины тяжёлый или лёгкий: если тяжёлый, требуемая выборка растёт, а среднее по имеющимся данным систематически льстит. И третий, главный: усредняется ли здесь то же самое, что рискует, — много ли у тебя повторений или ты один участник в чужом ансамбле.
Закон больших чисел — не обещание справедливости и не гарантия, что всё наладится. Это утверждение о том, что случайность теряет вес, когда её много, — и ничего сверх этого. Она не отступает и не исправляется; её просто разбавляют, медленно и за деньги.