калибровка

Ты говоришь: «уверен на девяносто процентов». Что это значит — и как хоть кто-нибудь мог бы это проверить? На слух — личное ощущение, тёплая тяжесть убеждённости, которую не пощупать. Но у неё есть точный, проверяемый смысл, и он суровее, чем кажется. «Уверен на 90%» — это обещание миру: из всего, что ты называешь девяноста процентами, сбыться должно девять из десяти. Не восемь, не все десять. И если сбывается семь — твои девяносто процентов не мнение, а ложь, которую ты рассказываешь себе. Величина, которую этим меряют, называется калибровкой.

сорок пять градусов честности

Калибровка — это совпадение уверенности с частотой. Прогнозист откалиброван, когда всё, чему он приписал 70%, сбывается в 70% случаев, всё на 30% — в тридцати, и так на каждом уровне. Проверяется это просто. Разложи все свои предсказания по корзинам — вот те, где ты говорил «примерно 80%», — и посмотри, как часто они на деле сбылись. Нанеси на график: по горизонтали — что ты обещал, по вертикали — что вышло. У идеально честного все точки лягут на прямую сорока пяти градусов: обещал 80 — вышло 80^[1].

Почти ни у кого они там не лежат. Точки проваливаются под диагональ — почти у всех и почти всегда: люди говорят «на 90%», а правы в семидесяти случаях из ста. Самоуверенность — не редкий порок гордецов, а фоновая настройка ума и большинства моделей: уверенность мы раздуваем по умолчанию. Редкое исключение — профессии, которых заставили публиковать предсказания и считать их: синоптик каждый день говорит «вероятность дождя 30%» и назавтра проверяется, поэтому синоптики откалиброваны на удивление хорошо. Не потому что умнее — потому что подотчётны. Счёт, который ведут вслух, лечит самоуверенность.

мало быть честным — надо быть резким

Тут прячется ловушка, в которую легко упасть, услышав про калибровку. Можно быть идеально откалиброванным и при этом бесполезным. Говори на всё «пятьдесят на пятьдесят» — и если такие события случаются примерно в половине случаев, ты формально честен, точки на диагонали, а сказал ты ровно ничего. Фразой «может да, может нет» не проиграешь в калибровке и не сообщишь никому ни бита.

Поэтому у хорошего суждения две добродетели, не одна^[2]. Первая — калибровка: не завышать. Вторая — разрешение: сметь резкие вероятности, подходить к краям, к 10% и 90%, когда для этого есть основания, а не жаться к трусливому центру. Трус прячется в 50%, дурак орёт 99% на всё подряд, а хороший прогнозист зарабатывает право на резкость и остаётся при этом честным. Тетлок, годами меривший тысячи прогнозов, показал: лучшие — «лисы» — бьют остальных на обеих осях сразу; они и смелее, и калиброваннее^[3]. Смелость без калибровки — бахвальство; калибровка без смелости — уклонение.

цена уверенности

Обе добродетели умещаются в одно число — оценку Брайера, придуманную метеорологом Гленном Брайером в 1950-м^[4]. Берёшь квадрат разницы между заявленной вероятностью и тем, что вышло (1 — если сбылось, 0 — если нет), и усредняешь. Ноль — идеал, больше — хуже.

И у этой скромной формулы есть свойство, которое стоит прочувствовать. Она — строгое правило подсчёта: минимизировать её в среднем можно единственным способом — называть свою истинную веру. Любое привирание в свою пользу, любое надувание уверенности делает счёт в среднем хуже. Смотри, как она наказывает раздутую убеждённость: сказать «90%» и попасть стоит (0.9−1)² = 0.01; сказать «90%» и промахнуться стоит (0.9−0)² = 0.81 — в восемьдесят раз дороже. Чем громче ты уверен, тем разорительнее ошибка. Уверенность здесь не бесплатна: за каждый процент сверх честного ты платишь, когда ошибёшься. Честность перестаёт быть добродетелью и становится оптимальной стратегией — редкий случай, когда правду говорить просто выгоднее.

калибровку не видно изнутри

Есть у калибровки одно свойство, которое делает её и глубокой, и смиряющей. Одно уверенное заявление не говорит о тебе ничего. Сказал «на 90%» и попал — повезло или прав? По одному случаю не отличить: единичный исход совместим и с честными девяноста процентами, и с самоуверенными. Калибровка — свойство не заявления, а всего списка: она проступает только на длинной череде предсказаний, когда есть что сложить и с чем сверить.

Отсюда неуютный вывод. Изнутри отдельной убеждённости нельзя понять, откалиброван ли ты, — можно лишь свериться постфактум: поднять все прошлые «уверен» и честно сложить с тем, что вышло на деле. Уверенность ощущается изнутри и оттого лжёт; калибровка видна только снаружи и оттого не даёт соврать. Вот почему это и есть оценка, приложенная к самому себе: твои «90%» — гипотеза, а мир — эксперимент, который её проверяет.

кода

Чувствовать уверенность — дёшево и почти всегда чуть-чуть нечестно. Быть калиброванным — дорого, потому что требует вести счёт: записывать свои вероятности до исхода и потом сверять, не жалея самолюбия. Большинство не ведут его никогда и потому всю жизнь остаются самоуверенными, ни разу об этом не узнав.

Честная мера того, насколько ты знаешь, — не сила, с которой ты уверен, а то, насколько твои прошлые «уверен» сошлись с тем, что случилось. Знает свою вероятность не тот, кто её чувствует, а тот, кто её проверил.