Игры которые тренируют машины.

Каспаров проиграл машине, и это казалось концом эпохи. На самом деле это был конец только одной парадигмы — брутфорса. Deep Blue не понимал шахматы, он их просчитывал. 200 миллионов позиций в секунду, alpha-beta pruning, эвристики написанные людьми. Это была вершина старой математики: если мир конечен, дайте мне достаточно железа и я переберу его весь. Шахматы оказались последней игрой где такой подход работал.

Го сломал перебор. Состояний на доске больше, чем атомов во вселенной — никаким железом не обойти. Пришлось придумать другой тип математики. Глубокие нейросети учились оценивать позицию как шахматный гроссмейстер — на глаз, по форме. Поверх этого Monte Carlo Tree Search — тот самый Монте-Карло, который Улам придумал в больнице с пасьянсом, только теперь не для физики, а для решения «куда поставить камень». А поверх всего — self-play. Машина играла сама с собой миллионы раз и училась у самой себя. AlphaGo Zero не видела ни одной партии человека — и обыграла все предыдущие версии. Это и есть главное изобретение десятилетия: учиться не у учителя, а у себя через игру.

В покере противник знает то, чего не знаешь ты. И врёт. Старая теория игр от фон Неймана не справлялась с многопользовательским no-limit Texas Hold'em — слишком много веток, слишком асимметричная информация. Появилась математика сожаления: counterfactual regret minimization. Идея, если упрощать, такая — играй миллиарды раз против себя и после каждой партии задавай вопрос «что было бы если бы я в этой точке решил иначе». Сожаление становится сигналом обучения. Pluribus в 2019-м обыграл шесть человек одновременно — впервые в истории. И блефовал лучше людей. Не потому что наглее. Потому что точнее посчитал когда блеф окупается.

Здесь сошлось всё что было сложного по отдельности: реальное время, неполная информация, длинные горизонты планирования, кооперация в команде, тысячи возможных действий каждую секунду. Решение оказалось архитектурным — league training. Не один агент учится против себя, а целый пул агентов учится друг против друга, и кто-то специально натренирован эксплуатировать слабости остальных. Получается экосистема, эволюция стратегий, как в природе. Из этого выросла идея, которая теперь применяется везде: чтобы агент стал по-настоящему устойчивым, его нужно тренировать не против одной версии оппонента, а против постоянно обновляющейся популяции.

Это уже другой класс. В Diplomacy выигрывает не тот кто лучше считает, а тот кто умеет договариваться. Игра построена на переговорах, союзах и предательстве — словами, в свободном чате. Meta объединила языковую модель со стратегическим движком и впервые получила систему, которая умеет говорить с людьми о планах. Cicero попал в топ-10% игроков на онлайн-платформе. И — отдельно интересно — он почти не врал. Авторы статьи отдельно отмечают: Cicero оказался эффективнее когда был честным. Это первая игра, где математика начала задевать территорию социального — доверие, кооперация, репутация.

Самое свежее и пока самое непонятное. Языковые модели вроде DeepSeek-R1 и o1 учатся рассуждать через чистый reinforcement learning — без размеченных людьми данных. Модель решает задачу, проверяет себя, переобучается на собственных решениях, снова решает. Это уже не «игра» в обычном смысле — нет доски, нет противника, нет правил. Есть только задача и обратная связь. Но структурно это та же штука: агент играет сам с собой и из этой игры рождается способность. Те самые «aha moments» в обучении R1, когда модель внезапно начинает писать «подождите, давайте я перепроверю» — это поведение никто не программировал. Оно эмерджентно выросло из миллионов раундов self-play. Математика этого процесса ещё формируется. Мы примерно на той стадии где Паскаль был в 1654 — задача есть, ответа пока нет.