Хорошие решения с плохими исходами.

Представь: ты в покере. В руках туз-туз. Противник ставит олл-ин до флопа. Ты колируешь. Правильно. Противник открывает 7-2 — худшая рука в покере. Выпадает 7-7-2. Он выигрывает.

Ты принял правильное решение. Получил плохой исход. Это не неудача. Это дисперсия.

В покере это называется resulting1 — ошибка оценивать качество решения по качеству исхода. Новичок после такой раздачи думает: «зря заколировал». Профессионал думает: «колл был верным, продолжаю».

Разрыв между качеством решения и качеством исхода2 — один из самых важных концептов в аналитике. И один из самых недооценённых.

EV — математическое ожидание. Средний результат если повторять решение бесконечно много раз. E[X] = Σ xᵢ × P(xᵢ). Каждое отдельное событие — это выборка из распределения. Одна точка ничего не говорит о качестве решения. Нужна дистанция.

Пример: инвестируешь в стартап. 90% вероятность потерять всё. 10% вероятность получить 20x. EV = 0.1 × 20 − 0.9 × 1 = 2 − 0.9 = +1.1x. Положительный EV. Правильная инвестиция. В 90% случаев ты потеряешь деньги. Это не значит что решение было неверным.

Венчурный фонд делает 100 таких ставок. 10 выстреливают. 90 умирают. Портфель растёт. ЗБЧ работает3. Один инвестор делает одну такую ставку. Скорее всего теряет деньги. Это тоже не значит что решение было неверным. Просто дистанция слишком короткая чтобы судить.

A/B тест. Гипотеза обоснована данными. Размер выборки достаточный. p-value < 0.05. Запускаешь фичу. Метрика падает.

Resulting-мышление: «гипотеза была неверной». Правильное мышление: «один исход из распределения. проверь external validity. проверь implementation. посмотри на долгосрочные данные».

Обратный случай опаснее. Плохая гипотеза. Маленькая выборка. Метрика выросла. Resulting-мышление: «отличная фича, масштабируем». Правильное мышление: «возможно ложноположительный результат. нужна валидация».

В 2011 году Facebook запустил алгоритм показа новостей оптимизированный на engagement. Метрики росли квартал за кварталом. Хорошие исходы. Каждый отдельный тест — успех. Долгосрочный эффект на поведение пользователей — другой разговор.

Врач назначает лечение с 70% вероятностью успеха. Пациент умирает. Врач принял правильное решение. Именно поэтому в медицине существуют протоколы. Не потому что врачи не умеют думать. Потому что один исход — не доказательство. Нужна статистика по тысячам пациентов.

Resulting в медицине убивает. Врач видит что нестандартное лечение помогло одному пациенту — и начинает применять его всем. Это и есть обучение на плохих данных.

Разделить два вопроса: 1. Было ли решение верным с учётом информации доступной в момент решения? 2. Каким оказался исход? Только первый вопрос позволяет учиться. Второй вопрос — просто факт реализовавшейся случайности.

Инструменты. Pre-mortem4: до принятия решения спроси «что должно произойти чтобы это решение оказалось неверным». Это отделяет качество решения от везения.

Процессный учёт: записывай не только исходы но и логику решения в момент принятия. Через полгода сравни логику с тем что произошло.

Достаточная дистанция: не оценивай стратегию по одному кварталу. не оценивай гипотезу по одному тесту. не оценивай инвестора по одной сделке.

Байесовское обновление: новый исход — это новые данные для обновления prior. Не революция. Эволюция.

Казино понимает это лучше большинства аналитиков. House edge рулетки — 2.7%. Казино не выигрывает каждую ставку. Казино выигрывает на дистанции — потому что делает достаточно ставок чтобы дисперсия усреднилась.

Хорошее мышление работает так же. Принимай решения с положительным EV. Принимай их достаточно много раз. Не оценивай каждое по исходу. Смотри на распределение.