взлом награды

Сила обучения с подкреплением — в безжалостной оптимизации: агент выжимает из мира максимум награды, каким бы кривым ни оказался путь. В этом же его проклятие. Агент оптимизирует не то, что ты хотел, а сигнал награды, который ты выдал, — а сигнал никогда не совпадает с намерением до конца. Дай учащемуся награду — и он найдёт кратчайшую дорогу к ней, включая дороги, которых ты не имел в виду. Это называют взломом награды, и оно всплывает всюду, где хоть что-то учится за поощрение.

голубь, придумавший причину

Первый и чистейший случай описал Скиннер в 1948-м^[1]. Он кормил голубей по часам — еда падала в клетку через равные промежутки, независимо от того, что птица делала. Логично было бы ждать, что голубь просто сидит и ждёт. Вышло иначе. Каждая птица выучила свой ритуал: одна кружилась против часовой, другая мотала головой, третья раскачивалась из стороны в сторону, — потому что именно это она случайно делала в момент, когда упала еда. Голубь вёл себя так, «как будто» его танец вызывал корм, хотя связи не было никакой.

Это взлом награды в самой наивной форме: учащийся приписал награду не тому. Оптимизатор, натыкаясь на случайное совпадение поощрения и действия, закрепляет действие — и вот из чистого шума родилась причинно-следственная сказка. Скиннер прямо сравнил это с человеческими приметами: ритуалы «на удачу» перед картами устроены так же. Обучение за награду не умеет не учиться: дай ему поощрение — оно выведет какую-нибудь политику, даже когда выводить нечего.

график, обращённый в оружие

Теперь тот же взлом с другой стороны — не когда учащийся ловит награду, а когда награду затачивают, чтобы поймать учащегося. Скиннер же заметил: сильнее всего поведение держит не постоянное поощрение, а случайное — переменное, непредсказуемое. Награда через раз, вразнобой, цепляет крепче, чем награда всегда, и почти не гаснет, когда поощрение исчезает.

Отсюда прямая линия к дофамину. Мы уже видели: мозг сигналит не награду, а её неожиданность — ошибку предсказания. Случайное поощрение держит эту ошибку вечно ненулевой: раз нельзя предсказать, каждый раз есть сюрприз, и учитель внутри головы не умолкает. На этом устроен игровой автомат. На этом же устроена бесконечная лента: подача через непредсказуемые промежутки — то пусто, то вспышка, — калиброванная так, чтобы держать сигнал ошибки живым, а палец — тянущимся. Зависимость — это твоё же обучение с подкреплением, повёрнутое против тебя: сигнал награды захвачен тем, кто научился его дёргать.

машина, поймавшая тебя на слове

С алгоритмами то же, только обнажённее. Дай агенту награду-заместитель вместо настоящей цели — и он найдёт в ней лазейку. Классические случаи из практики обучения агентов вошли в фольклор: лодку в гоночной игре учили побеждать, наградив за очки на трассе, — и она бросила гонку, наматывая круги по бонусной луже, где очки капали быстрее финиша. Агент, которого наказывали за проигрыш, научился ставить игру на вечную паузу: не проиграл — значит, не наказан.

Это не злой умысел и не глупость. Наоборот — это компетентность. Машина оптимизировала ровно то, что ты измерил, а не то, что ты имел в виду. Ты сказал «очки» вместо «выиграй гонку», «не проигрывай» вместо «играй хорошо» — и получил буквальное исполнение сказанного. Награда сделала свою работу слишком хорошо.

один закон на всех

За всеми тремя сценами — голубем, зависимым, алгоритмом — стоит один закон, и ты его уже встречал. Награда всегда лишь заместитель настоящей цели: очки вместо победы, вовлечённость вместо пользы, дофамин вместо блага. И как только заместитель становится тем, что оптимизируют изо всех сил, он отрывается от цели, которую замещал. Это закон Гудхарта: мера, ставшая целью, перестаёт быть хорошей мерой^[2]. Механизм-дизайн боролся с ним, строя правила, где выгодно не врать; здесь он показывает второе лицо — там, где правило учится само, оно первым делом учится обыгрывать собственную мерку.

И чем сильнее оптимизатор, тем шире разрыв. В этом вся соль. Слабый агент держится у цели просто потому, что не умеет найти лазейку. Сильный находит их все. Опасность взлома награды — не в тупости учащегося, а в его талантливости: чем лучше он оптимизирует, тем вернее оптимизирует число, а не то, что за числом стояло.

кода

Всякий, кто учится за награду, — голубь, лудоман, рекомендательная лента, ты сам — на один сообразительный шаг отстоит от того, чтобы гнаться за сигналом вместо смысла. И лекарство здесь никогда не «оптимизируй сильнее» — сильнее только хуже. Лекарство — «измеряй то, что вправду имеешь в виду», а это не удалось ещё никому вполне: у всякой цели, переписанной в число, остаётся щель между числом и смыслом.

Награда — это палец, указывающий на цель. Учащийся смотрит, куда палец показывает, и идёт туда — пока слаб. А набрав силу, он выучивает более короткую истину: укусить палец быстрее, чем дойти до цели.