ИИтог

Обратная модель рассуждений вдвое подняла pass@1 у Qwen3-0.6B

исследованияРедакция ИИтогarXiv🔥53Рейтинг ИИтог53Влияние45Новизна55Релевантность100Неожиданность25Участники15Достоверность70

Авторы препринта на arXiv исходят из дилеммы дообучения моделей-рассуждателей. Обучение с учителем обычно требует цепочек рассуждений (CoT), а во многих приложениях есть только пары «запрос, ответ», так что такой путь неэффективен по данным. Обучение с подкреплением (например, с проверяемыми наградами) обходится без CoT, но заметно затратнее по вычислениям: на каждый шаг оптимизации нужно несколько авторегрессионных генераций, и ни одна из них не гарантирует ненулевой градиент политики.

Предложен компромисс, метод самодистилляции на данных, содержащих только ответы, где цепочка рассуждений трактуется как скрытая переменная. Для этого обучается партнёрская «обратная модель рассуждений» (inverse reasoning LLM): она порождает рассуждения исходной модели, обусловленные ответом. Обратную модель обучают один раз и повторно используют на поступающих порциях данных; вся генерация происходит заранее и офлайн, поэтому авторы считают подход особенно подходящим для непрерывного дообучения.

Эксперименты проведены на Qwen3-0.6B на задачах Countdown и GSM8K. После того как обучение GRPO насытилось, один офлайн-раунд дистилляции из обратной модели примерно удваивает pass@1 на сложных запросах. На Countdown метод превосходит самодистилляцию с отбраковывающей выборкой (rejection sampling) по всем метрикам «трудного хвоста» при любых долях смеси данных; на GSM8K выигрыш меньше. Отбраковывающая выборка по построению не получает сигнала на задачах, которые модель сама никогда не решает.

Продолжение GRPO на свежих данных сохраняет преимущество по pass@1 на сложных запросах, но уступает дистилляции по pass@8 и pass@32 и при этом заново генерирует ответы на каждом шаге.

Дополнительный результат: обратная модель работает как точный верификатор корректности. При отборе лучшего из n вариантов (best-of-n) во время вывода она поднимает точность выбора на Countdown с 0,753 (при мажоритарном голосовании) до 0,969.

Ключевые факты

  • Метод использует только пары «запрос, ответ»: обратная модель рассуждений генерирует цепочку рассуждений по известному ответу, а CoT трактуется как скрытая переменная.
  • Обратную модель обучают один раз и повторно применяют к новым порциям данных, генерация идёт офлайн и заранее, метод подходит для непрерывного дообучения.
  • На Qwen3-0.6B (Countdown и GSM8K) после насыщения GRPO один раунд дистилляции примерно удваивает pass@1 на сложных запросах.
  • На Countdown метод превосходит самодистилляцию с отбраковывающей выборкой по всем метрикам трудного хвоста; на GSM8K выигрыш меньше. Продолжение GRPO уступает дистилляции по pass@8 и pass@32.
  • Как верификатор в best-of-n обратная модель поднимает точность выбора на Countdown с 0,753 (мажоритарное голосование) до 0,969.

Почему это важно

Дообучение моделей-рассуждателей упирается в выбор между дорогими данными с цепочками рассуждений и дорогими вычислениями при обучении с подкреплением. Работа предлагает промежуточный путь: использовать только пары «запрос, ответ» и восстанавливать рассуждения обратной моделью. Заявленный результат, рост pass@1 примерно вдвое на сложных запросах уже после насыщения GRPO, то есть там, где обычное обучение с подкреплением перестаёт давать прирост.

Кому это важно

Исследователям и командам, которые дообучают небольшие модели-рассуждатели и располагают массивами пар «запрос, ответ» без размеченных цепочек рассуждений. Также тем, кто занимается непрерывным дообучением и верификацией ответов при выводе.

Как это применить

Схема, как её описывают авторы: один раз обучить обратную модель, которая порождает рассуждения по ответу; заранее и офлайн сгенерировать цепочки для новых порций данных; провести раунд дистилляции исходной модели. Как верификатор обратную модель можно использовать для отбора лучшего из n вариантов при выводе. О публикации кода или данных в тексте аннотации не сообщается.

Можно ли доверять

Это препринт на arXiv, судить можно только по аннотации, а не по полному тексту. В ней не названы авторы и организации, не указаны затраты на вычисления. Все числа, самоотчёт авторов. Для GSM8K количественных результатов не приведено, указано лишь, что выигрыш меньше, чем на Countdown; размер преимущества над самодистилляцией с отбраковывающей выборкой также не выражен числом.

Риски и подводные камни

Эксперименты проведены только на одной малой модели, Qwen3-0.6B, и двух задачах, Countdown и GSM8K; результатов для более крупных моделей и других задач в источнике нет. Основной выигрыш на Countdown, на GSM8K он скромнее. Цифра 0,753 → 0,969 относится только к Countdown. Продолжение GRPO сохраняет преимущество по pass@1 на сложных запросах, так что дистилляция выигрывает не по всем метрикам.