мартингал

Есть простая проверка на честность мысли, и почти никто её не проходит. Прежде чем посмотреть на данные, спроси себя: куда меня сдвинет то, что я увижу? Если ты знаешь ответ — ты не ставишь опыт, ты ищешь подтверждения. Настоящая проверка отличается тем, что перед ней ты не знаешь направления. И это не совет по гигиене ума, а теорема: у честного обновления ожидаемый сдвиг равен нулю. Не мал, не почти — ровно нулю. Отсюда растёт вся эта заметка, и отсюда же выясняется, почему подглядывание в незаконченный тест ворует значимость, а знание при этом всё-таки копится.

пятьдесят из тысячи

Начнём со счёта, потому что здесь всё видно руками. Коллега утром прошёл мимо и не поздоровался. Обиделся? Дуется он редко — пусть один день из двадцати. Возьми тысячу утр: обиженных пятьдесят, обычных девятьсот пятьдесят. Обиженный проходит мимо почти всегда, девять раз из десяти; обычный тоже проходит, но реже — два раза из десяти, задумался или невыспался.

Считай пачки. Прошёл мимо — таких утр 45 из обиженных и 190 из обычных, всего 235; обиженных среди них 45, то есть 19%. Поздоровался — 5 из обиженных и 760 из обычных, всего 765; обиженных среди них пятеро, то есть 0.65%.

Теперь фокус. Сложи оба исхода с их весами: 235 утр по 19% и 765 утр по 0.65%. Получишь 45 плюс 5 из тысячи — ровно пятьдесят. Твой исходный априор, ни на волос не сдвинувшийся. Он и не мог сдвинуться: обе комнаты собраны из тех же самых утр, просто пересчитанных по другому признаку. Знаменатели сокращаются, остаётся та же дробь.

закон полного ожидания

У этого сокращения есть имя. Если усреднить апостериоры по всем исходам, которые могли случиться, получится априор — тождество, известное как закон полного ожидания^[1]. Записывается неприлично коротко.

Читать это стоит не как формулу, а как смену картинки. Кажется, что данные уточняют априор: было грубое пять процентов, стало честное девятнадцать. На деле данные ничего не уточняют. Они выбирают ветку. Априор уже содержит в себе оба ответа вместе с их весами, как бухгалтерская сумма содержит слагаемые, — наблюдение лишь сообщает, в котором из слагаемых ты оказался.

Отсюда ответ на вопрос, законно ли сравнивать пять процентов с девятнадцатью, раз первое утверждение будто бы общее, а второе частное. Оба одинаково частные. Оба меряют одно: какую долю живых вариантов занимает гипотеза. Меняется не величина, меняется объём знания, из которого смотришь. Числа лежат на одной оси именно потому, что одно есть среднее другого.

честная игра

Величину, ожидание которой завтра равно её значению сегодня, называют мартингалом. Термин ввёл Жан Виль в 1939 году, разбирая, что вообще значит «случайность»^[2]; слово он взял у игроков — так звалась разорительная система удвоения ставки после каждого проигрыша. Джозеф Дуб через полтора десятилетия построил на этом целую теорию, и с тех пор мартингал — математическое имя честной игры^[3].

Твоя вера — мартингал. Не метафорически: буквально, по построению, ровно из того сокращения знаменателей. Сегодня пять процентов; завтра будет либо девятнадцать, либо две трети процента; среднее завтрашнего — сегодняшнее. Послезавтра то же самое, только стартовать будешь с новой точки. Девятнадцать процентов — уже полноценный априор, и он тоже центр тяжести своих будущих веток.

Заметь, что тут нет памяти. Пришёл ты к девятнадцати процентам одной сильной уликой или тремя слабыми — дальше всё считается одинаково, история сворачивается в число. Тот же принцип, что держит цепи Маркова: следующее состояние зависит от текущего, а не от дороги к нему.

И вот главное следствие, ради которого всё затевалось. Раз ожидание завтрашней веры равно сегодняшней, ты не можешь знать заранее, куда тебя сдвинут данные. Не «трудно догадаться» — не можешь в принципе. Если бы знал, что улика поднимет уверенность, ты обязан был бы поднять её уже сейчас, не дожидаясь улики; а тогда твой сегодняшний априор был бы другим, и всё сошлось бы снова. Ожидаемый сдвиг равен нулю не потому, что мир добр, а потому, что иначе арифметика не сходится.

у улики есть обратная сторона

Теперь переведи это в рабочее правило. Если наблюдение при попадании поднимает твою уверенность, его отсутствие обязано её опустить. Две комнаты, дающие в сумме пять процентов, не могут обе давать больше пяти — это запрещено сложением, а не хорошим тоном.

Значит, теста, любой исход которого укрепляет твою версию, не существует. Такой замысел не «нечестен» — он невыполним, как невыполним вечный двигатель: нельзя построить процесс, у которого среднее строго больше собственного среднего. И когда кажется, что ты такой тест придумал, происходит одно из двух. Либо ты заранее решил не считать один из исходов уликой — тогда ты просто отвернулся от ветки, а её вес никуда не делся. Либо твоя версия объясняет оба исхода одинаково хорошо, отношение правдоподобий равно единице, и тест не тест: он ничего не делит.

Это же и есть строгая форма старой претензии к теориям, объясняющим всё. Претензия не в том, что такая теория плоха эстетически. Она в том, что теория, совместимая с любым исходом, имеет нулевой ожидаемый сдвиг при любом наблюдении — то есть непроверяема арифметически, независимо от того, насколько убедительно звучит.

почему знание всё-таки копится

Возникает законное недоумение. Если ожидаемый сдвиг нулевой, чем вообще занят исследователь? Ответ: разбросом. Ожидание стоит на месте, а расстояние от середины растёт. Вера не идёт к правде — она бредёт, и правда просто стоит на одном из краёв.

Дуб доказал, что ограниченный мартингал сходится почти наверное^[4]. Вера ограничена нулём и единицей по построению, значит сходится. Но сходится не к своему стартовому значению и не к красивой середине — она уползает к краю. Середина пустеет: побыть в неопределённости можно долго, остаться в ней навсегда нельзя. Именно это и называют накоплением знания, хотя выглядит оно совсем не как ровное приближение к цели, которое рисует школьная картинка.

Практический вывод неприятен для планирования. Ты не можешь обещать, что через квартал исследований будешь увереннее, — можешь обещать только, что будешь дальше от пятидесяти процентов. В какую сторону, решит не усердие.

где ломается: подглядывание

Если честную игру нельзя обыграть, почему подглядывание в незаконченный тест всё-таки работает и вытаскивает значимость из пустоты? Здесь тонкое место, и оно того стоит.

Дуб доказал и вторую вещь — теорему об остановке: никакое правило «когда мне выйти из игры» не меняет ожидания честной игры^[3]. Но у теоремы есть условие: величина должна быть ограничена, или момент остановки — конечен наперёд. Вера в условие укладывается: она живёт между нулём и единицей, выше единицы не прыгнет. Поэтому подстроить собственную уверенность выбором момента нельзя — сколько ни жди удобной минуты, среднее не сдвинешь.

А вот система удвоения ставки — тот самый исторический мартингал — условия не выполняет: там ставка растёт без потолка, и время до выигрыша не ограничено ничем. Потому она и выглядит выигрышной на бумаге, и потому же разоряет: выигрыш почти наверняка есть, но цена ожидания не ограничена.

P-value устроено ближе ко второму случаю. Его пятипроцентная защита выписана ровно на одну заранее назначенную проверку. Смотришь каждый день — превращаешь один взгляд в неограниченную последовательность взглядов, и блуждающая величина рано или поздно ныряет под порог сама. Ты дожидаешься не правды, а удобной флуктуации.

Лечится это возвращением к мартингалу. Отношение правдоподобий при верной нуль-гипотезе — честная игра с ожиданием единица, и на такие величины есть неравенство Виля: вероятность того, что улика хоть когда-нибудь превысит порог 1/α, не больше самого α^[2]. Гарантия сразу на все моменты времени, а не на один назначенный. На этом стоит последовательная проверка — e-values и всегда-верные p-значения^[5]: смотри хоть каждый час, останавливайся когда захочешь, защита держит. Честная игра не запрещает выиграть. Она запрещает выигрывать по плану.

что с этим делать

Из всего этого остаётся одна привычка, дешёвая и почти безотказная. Перед тем как посмотреть на данные, выпиши обе ветки: что я увижу, если прав, и что — если нет; насколько каждый исход сдвинет меня и в какую сторону. Займёт это минуту.

Если обе ветки двигают в одну сторону — опыт не поставлен, и лучше узнать это до, а не после. Если одна из веток тебе неинтересна — ты уже знаешь ответ и занимаешься его оформлением. Если ты вообще не можешь назвать исход, который тебя переубедил бы, — у тебя не гипотеза, а привязанность.

Байес не обещает истину. Он ведёт бухгалтерию соотношений и следит, чтобы сумма сходилась. Всё, чему он учит, помещается в одну фразу: мнение можно менять только настолько, насколько весит улика, — и никакой хитростью нельзя устроить так, чтобы улики всегда весили в твою пользу.