Эссе: рассуждение нейросетей, это поиск пути по токенам, а не решение задачи

Эссе: рассуждение нейросетей, это поиск пути по токенам, а не решение задачи

В эссе на сайте alexwang.ai разбирается кажущееся противоречие. При обучении с подкреплением (RL) модели учатся писать всё более длинные цепочки рассуждений и становятся точнее. Но если у уже обученной модели принудительно удлинить любую цепочку, это помогает лишь какое-то время, а потом перестаёт, а иногда ответ даже ухудшается, будто модель «передумывает». Автор пишет, что это попытка прояснить собственное недоумение (в основном для себя): помогает ли на самом деле длина каждой цепочки или что-то более тонкое.

Основная идея: рассуждение, это поиск пути в пространстве токенов. Один и тот же математический вопрос, заданный модели десять раз, даёт десять разных цепочек. Пример из эссе: сумма 1+2+…+10. Можно складывать по одному числу (1, 3, 6, 10 и далее до 55), а можно попарно с краёв: 1+10, 2+9, 3+8, 4+7 и 5+6 дают по 11, а пять пар по 11, это 55. Оба пути приходят к верному ответу. Формально есть запрос x, путь из токенов z и верификатор r(x, y), который возвращает 1 для верного ответа и 0 для неверного. Нужно, чтобы путь попал в множество принимаемых ответов. Вероятность успеха p_x, это сумма вероятностей всех путей, которые туда попадают. Ей всё равно, получается ли она из многих маловероятных путей или из одного очень вероятного.

Первый способ поднять вероятность успеха, отбор лучшего из k сэмплов (best-of-k). Каждый путь промахивается с вероятностью 1 − p_x, все k, с вероятностью (1 − p_x)^k, так что шанс успеха растёт до 1 − (1 − p_x)^k. Пока p_x > 0, он монотонно растёт с числом сэмплов, то есть это гарантированная ось масштабирования вычислений (на неё ещё раньше обратили внимание Brown et al. 2024). Но масштабируется здесь число сэмплов, а не длина путей, то есть не «думание подольше».

Второй способ, менять саму модель. Берём много проверяемых запросов, сэмплируем пути, оставляем успешные и дообучаем модель на них; затем повторяем. Это rejection-sampling fine-tuning (дообучение на отобранных удачных сэмплах), ранней версией для рассуждений был STaR. Автор показывает, что RL с проверяемой наградой делает почти то же самое: математическое ожидание бинарной награды равно p_x, а оценка градиента по N сэмплам (REINFORCE) сводится к дообучению на M успешных путях, умноженному на текущую долю успехов M/N. Отсюда и объяснение первого наблюдения: если успешные пути в среднем длиннее неудачных (например, из-за возвратов и перепроверок, большего числа обращений к среде за обратной связью или просто по везению), модель учится писать более длинные пути.

Дальше речь об амортизации поиска: во время обучения на сэмплирование путей тратится много вычислений, а затем модель учат воспроизводить найденные пути напрямую, так что за поиск платят один раз, а не при каждом вопросе. Так как модель одна на множество запросов, она может обобщаться и на незнакомые; чем дальше новый запрос от обучающего распределения, тем ниже точность.

Из этой картины автор выводит два следствия. Первое: цепочки рассуждений не обязаны быть правдивыми. Верификатор проверяет только ответ, поэтому промежуточные токены, лишь средство дойти до него; ничто не требует, чтобы они были истинными или объясняли ответ, хотя из-за предобучения они часто с ответом согласованы. Чтобы цепочки были осмысленными, нужно менять награды или обучающую цель. Второе: взлом награды (reward hacking) возникает и из-за неидеального верификатора, и из-за неидеальной процедуры сэмплирования. Если множество принимаемых ответов шире или смещено относительно множества верных, в нём появляются «лазейки», в которые модель может научиться попадать. Масштабирование RL (больше и длиннее сэмплов) делает это вероятнее: чем плотнее «прощупывается» верификатор, тем выше шанс найти такой путь, а после находки обучение закрепляет похожее поведение.

Итог эссе: рассуждение на самом деле не решает никакой цели. Отдельный путь не гарантированно сходится к верному ответу; высокая вероятность успеха получается лишь в совокупности по распределению путей. RL напрямую повышает p_x, тратя вычисления на поиск удачных путей и обучая модель их воспроизводить. Думать дольше помогает потому, что обучение научило модель использовать дополнительные токены, а не потому, что больше токенов само по себе лучше. На выводе модель, скорее всего, справится с одного сэмпла, но успех любого конкретного сэмпла не гарантирован. В сносках приведены примеры: Muennighoff et al. 2025 принудительно продлевали рассуждение, дописывая «Wait» (Подожди), когда модель пыталась остановиться, точность сначала росла, потом выходила на плато; Gema et al. 2025 нашли задачи, где более долгое рассуждение ухудшало точность.

Ключевые факты

  • Рассуждение предлагается считать поиском пути в пространстве токенов: на один запрос модель выдаёт много разных цепочек, и успех определяет вероятность хотя бы раз попасть в множество принимаемых ответов.
  • Best-of-k даёт гарантированное масштабирование вычислений: шанс успеха равен 1 − (1 − p_x)^k и растёт с числом сэмплов, но не с длиной отдельного пути.
  • RL с бинарной наградой по сути равен дообучению на собственных удачных сэмплах модели (с множителем в виде доли успехов M/N); этим объясняется рост длины цепочек, если удачные пути чаще были длиннее.
  • Цепочки рассуждений не обязаны быть правдивыми, а взлом награды возникает из неидеального верификатора и неидеального сэмплирования; рост масштаба RL повышает его вероятность.
  • Вывод автора: думать дольше помогает потому, что обучение научило модель использовать лишние токены, а не потому, что токены сами по себе полезны.

Почему это важно

Эссе предлагает простое объяснение распространённой загадки: почему при обучении длинные цепочки рассуждений повышают точность, а принудительное удлинение уже обученной модели помогает лишь до некоторого предела и иногда вредит. По версии автора, ответ в том, что длина сама по себе ничего не решает: модель выучила, как использовать лишние токены, а отдельная цепочка не обязана сходиться к верному ответу. Это сдвигает взгляд на «время на размышление» с интуитивной человеческой аналогии на вероятностную картину.

Кому это важно

Исследователям и инженерам, которые обучают или оценивают рассуждающие модели, а также тем, кто выбирает между «больше сэмплов» и «длиннее рассуждение» при расчёте затрат на вывод. Полезно и всем, кто интересуется причинами недостоверных цепочек рассуждений и взлома награды.

Как это применить

Прямых рецептов эссе не предлагает. Практический смысл в рамке мышления: масштабировать вычисления на выводе через число сэмплов (best-of-k при наличии верификатора), а не рассчитывать, что принудительное удлинение цепочки всегда повысит точность; относиться к промежуточным токенам как к средству достижения ответа, а не как к гарантированному объяснению. Если нужны осмысленные цепочки, по словам автора, придётся менять награды или обучающую цель.

Можно ли доверять

Это концептуальное эссе в личном блоге: собственных экспериментов, замеров и названий моделей в тексте нет, только рассуждение с игрушечным примером суммы от 1 до 10. Автор в тексте сам называет работу попыткой прояснить собственное недоумение. Ссылки на Muennighoff et al. 2025, Gema et al. 2025 и Brown et al. 2024 даны в общих чертах, без цифр. Имя автора в доступном тексте не указано.

Риски и подводные камни

Картина опирается на допущения: бинарный верификатор и вероятностная модель успеха, а сам автор отмечает, что на практике верификатор бывает неидеальным. Эссе не утверждает, что длинные цепочки бесполезны: польза, по его словам, идёт от обучения, а не от длины. Конкретных способов лечения недостоверных цепочек и взлома награды оно не предлагает, кроме общей мысли о корректировке наград или цели обучения. Пересказ строится на тексте эссе; о сносках за пределами показанного фрагмента судить нельзя.

«Рассуждение на самом деле вообще не решает никакой целевой функции.»

— автор эссе на alexwang.ai