ИИтог

Метод LoCo учит нейросети не переобдумывать: ответы короче на 23-45%

исследованияРедакция ИИтогHugging Face🔥53Рейтинг ИИтог53Влияние45Новизна55Релевантность100Неожиданность25Участники10Достоверность75
Метод LoCo учит нейросети не переобдумывать: ответы короче на 23-45%

Большие рассуждающие модели хорошо справляются со сложными задачами, но их длинная цепочка рассуждений (chain-of-thought) обходится дорого на этапе вывода: модель продолжает «раздумывать», когда нужной информации уже достаточно. По утверждению авторов препринта, существующие методы сжатия рассуждений в основном работают с траекториями целиком и меньше внимания уделяют локальному решению: нужно ли продолжать рассуждать в текущем состоянии.

Авторы предлагают метод LoCo (local preference learning, локальное обучение по предпочтениям) для сжатия рассуждений. Он работает в несколько шагов: находит в собственных трассах модели состояния, где она, вероятно, переобдумывает; фиксирует соответствующие префиксы рассуждения; из тех же состояний заново генерирует более короткие проверенные продолжения; и обучается на получившихся парах предпочтений, привязанных к состоянию, с помощью DPO. По словам авторов, такая постановка учит модель, когда продолжать рассуждать, а когда завершать, а не просто поощряет короткие траектории вообще.

Обучающие данные собраны целиком из самостоятельно сгенерированных математических трасс. Метод проверили на пяти математических и трёх бенчмарках по генерации кода. LoCo сокращает длину ответа на 41,7-45,4% на математике и на 23,4-36,3% на коде (диапазоны по бенчмаркам), при этом точность сохраняется или растёт, а по метрике AUC метод лучший на всех бенчмарках по коду. Авторы также пишут, что LoCo стабильно улучшает баланс «точность, эффективность» в математике и переносится на код, несмотря на обучение только на математике; это, по их мнению, показывает кросс-доменную универсальность локального обучения по предпочтениям. Код и модель обещаны к публикации на GitHub.

Ключевые факты

  • LoCo, метод сжатия рассуждений: находит в собственных трассах модели состояния «переобдумывания», фиксирует префикс, генерирует из него более короткое проверенное продолжение и обучает DPO на парах предпочтений.
  • Длина ответа падает на 41,7-45,4% на математике и на 23,4-36,3% на коде (диапазоны по бенчмаркам); точность, по данным авторов, сохраняется или улучшается.
  • Обучающие данные, только самостоятельно сгенерированные математические трассы; на код метод переносится без дообучения на коде.
  • Оценка проведена на пяти математических и трёх бенчмарках по коду; на всех бенчмарках по коду LoCo показывает лучший AUC.
  • Код и модель обещаны к публикации на GitHub, на момент аннотации они ещё не выложены.

Почему это важно

Длинные рассуждения делают нейросети точнее, но удорожают каждый ответ: лишние токены, это время и деньги на выводе. LoCo атакует именно переобдумывание: модель учат принимать локальное решение «останавливаться или продолжать» в конкретной точке рассуждения, а не просто сокращать ответ целиком. Заявленные сокращения длины на 23-45% при сохранённой точности, если подтвердятся, были бы заметны на практике. Отдельно любопытен перенос с математики на код без обучения на коде.

Кому это важно

Командам, которые обучают или дообучают рассуждающие модели и платят за длинные цепочки рассуждений. Исследователям, занятым эффективностью вывода и обучением по предпочтениям (DPO). Тем, кто строит продукты на рассуждающих нейросетях и считает стоимость запросов.

Как это применить

Пока применить напрямую нельзя: авторы пишут, что код и модель будут опубликованы по адресу github.com/MuyaoYuan/LoCo, но срок не указан. Идея метода при этом описана: взять собственные трассы модели, найти состояния, где рассуждение уже могло закончиться, зафиксировать префикс, сгенерировать короткие проверенные продолжения и обучить DPO на парах «короткое против длинного» из одного состояния. Вопрос, будет ли это работать на вашей модели, остаётся открытым до выхода кода.

Можно ли доверять

Это препринт: все результаты приведены самими авторами и независимо не проверены. В аннотации не названы базовые модели, их размеры и конкретные бенчмарки, нет абсолютных значений точности и значений AUC, а метрика AUC не определена. Не указано, среднее или медиана стоят за сокращением длины и относительно какого базового варианта оно считается. Диапазоны сокращения даны по бенчмаркам, а не как единое число. Утверждение о «кросс-доменной универсальности» основано на переносе с математики на три бенчмарка по коду.

Риски и подводные камни

Сжатие рассуждений может обернуться потерей точности на задачах, где длинное рассуждение действительно нужно; авторы заявляют, что точность сохраняется или улучшается, но подробностей по бенчмаркам нет. Данные строятся из собственных трасс модели и проверяются на верность, поэтому качество зависит от того, насколько хорошо находятся состояния переобдумывания. Экономия на выводе в аннотации измерена только длиной ответа: задержка и стоимость отдельно не оцениваются. Код и модель пока не опубликованы, воспроизвести результаты нельзя.