Обучение нейросетей рассуждению: метод сжатия данных урезает бюджет SFT до 0,22%

В препринте предложен способ дешевле дообучать нейросети рассуждению. Исходная проблема, по словам авторов: наращивание всё более крупных корпусов для пост-обучения рассуждению сильно увеличивает стоимость, но не даёт пропорционального прироста качества. Поэтому они ставят вопрос: насколько можно сжать обучающую разметку рассуждений, не потеряв способностей модели.

Ответ, фреймворк «прогрессивного сжатия», управляемый неопределённостью. Обычно цепочку рассуждений (CoT), сгенерированную моделью-учителем, берут как один реализованный путь. Здесь вокруг промежуточных состояний рассуждения строят деревья рассуждений по методу Монте-Карло, чтобы выявить неопределённость на уровне самого процесса.

Дальше два этапа. Сначала эта неопределённость сжимает исходный корпус до компактного пула данных, «информированного учителем». Затем второе, учитывающее состояние ученика сжатие работает онлайн прямо во время контролируемого дообучения (SFT): оно маршрутизирует примеры и концентрирует оптимизацию в соответствии с меняющимся состоянием обучения студенческой модели. Вместе два этапа последовательно сокращают и объём разметки, и объём оптимизации.

По результатам экспериментов на разных бенчмарках рассуждения и семействах больших языковых моделей, метод использует всего 0,22% оптимизационного бюджета полного SFT, это более чем в 450 раз меньше обучающей нагрузки, при сохранении или улучшении качества рассуждений. Авторы также утверждают, что подход хорошо обобщается на разные семейства студенческих моделей, на учителей-«чёрные ящики» и на перенос от слабой модели к сильной. Из этого они делают вывод, что метод не только ускоряет обучение, но и может усиливать способность к рассуждению.

Ключевые факты

Метод в два этапа сжимает и обучающие данные, и оптимизацию: сначала по неопределённости из деревьев рассуждений Монте-Карло, затем онлайн во время SFT с учётом состояния ученика.
Заявленный лучший случай: 0,22% оптимизационного бюджета полного SFT, то есть более чем в 450 раз меньше обучающей нагрузки.
По утверждению авторов, качество рассуждений при этом сохраняется или растёт на разных бенчмарках и семействах моделей.
Авторы говорят об обобщении на разные семейства студенческих моделей, учителей-«чёрные ящики» и перенос от слабой модели к сильной.
Проблема, из которой исходят авторы: всё более крупные корпуса для пост-обучения рассуждению сильно удорожают обучение без пропорционального выигрыша.

Почему это важно

Пост-обучение рассуждению упирается в стоимость: чем больше корпус, тем дороже обучение, а отдача растёт непропорционально, на этом наблюдении авторы строят работу. Если заявленное подтвердится, снижение оптимизационного бюджета более чем в 450 раз в лучшем случае означало бы, что рассуждающие модели можно доводить гораздо меньшими ресурсами. Важная идея здесь, не просто отбирать примеры, а учитывать неопределённость самого процесса рассуждения и состояние ученика во время обучения.

Кому это важно

Исследователям и командам, которые дообучают модели рассуждению методом SFT на данных, сгенерированных более сильной моделью-учителем, и упираются в стоимость обучения. Также тем, кто следит за темой эффективного отбора данных и дистилляции рассуждений.

Как это применить

Из описания видна принципиальная схема: построить деревья рассуждений Монте-Карло вокруг промежуточных состояний, сжать корпус по неопределённости, затем во время SFT динамически направлять оптимизацию на наиболее полезные для текущего ученика примеры. Выпуск кода, данных или конкретных настроек в описании работы не упомянут, поэтому готового рецепта для воспроизведения нет.

Можно ли доверять

Это препринт, все выводы приведены со слов авторов; независимой проверки в описании нет. Цифра 0,22%, это заявленный лучший случай («как минимум столько»), а не типичное значение для всех настроек, и относится она к оптимизационному бюджету, а не к размеру датасета. Конкретные бенчмарки, модели, размеры и абсолютные показатели качества в описании не названы: сказано лишь, что качество «сохраняется или улучшается». Имена авторов и организаций в описании не указаны.

Риски и подводные камни

Без названных бенчмарков, моделей и абсолютных цифр нельзя оценить, насколько «сохранение или улучшение» качества значимо и для каких задач оно верно. Не указаны время обучения, затраты GPU и денежная стоимость, поэтому реальную экономию в ресурсах оценить сложно. Сама процедура включает построение деревьев рассуждений Монте-Карло, а стоимость этого шага в описании не раскрыта. Утверждение о том, что метод усиливает способность к рассуждению, а не только ускоряет обучение, остаётся заявлением авторов.