Исследователи предложили сокращать расходы на рассуждения нейросетей, переписывая прошлые мысли в сжатые записи

Статья, размещённая на Hugging Face Papers, посвящена цене длинных рассуждений у языковых моделей. Авторы отмечают, что рассуждение заметно повышает способность моделей решать сложные задачи, но длинные цепочки рассуждений делают этот выигрыш дорогим. Эффективное рассуждение должно выражать полезный анализ меньшим числом токенов: убирать повторы и текст, который мало помогает решить задачу. По словам авторов, к этой цели подталкивает прогресс закрытых моделей, но их скрытые черновики рассуждений не дают напрямую изучить, как эффективность достигается.
Поэтому авторы проверяют, могут ли модели с открытыми весами строить менее многословные рассуждения, если изменить форму их собственных прежних мыслей, причём без дообучения. Вмешательство устроено так: прежние рассуждения переписываются в компактные записи состояния до того, как раскрываются результаты ожидающих вызовов инструментов. Затем сравниваются продолжения, сгенерированные из исходной и из сжатой истории.
Результаты, о которых сообщают авторы: на проверенных моделях принятые компактные истории, как правило (но не всегда), сокращают последующие рассуждения. Разбор на примере программирования показывает меньше повторных проверок после общего варианта решения. В развёртываниях программных агентов сжатие может снизить суммарные расходы, однако качество выполнения задач и время с учётом самого переписывания зависят от целевой модели и модели-сжимателя.
Вывод авторов: история рассуждений, один из способов уменьшить расход токенов на будущие рассуждения. Они считают, что это обосновывает политики сжатия, подбираемые под конкретную модель и оцениваемые одновременно по эффективности и по сохранённым возможностям.
Ключевые факты
- Идея: переписать прежние рассуждения модели в компактные записи состояния, не дообучая модель.
- Сжатие делается до раскрытия результатов ожидающих вызовов инструментов; затем сравнивают продолжения из исходной и сжатой истории.
- На проверенных моделях принятые компактные истории обычно сокращают будущие рассуждения; пример с кодом показывает меньше повторных проверок.
- В программных агентах сжатие может снизить суммарные расходы, но качество задач и время с учётом переписывания зависят от целевой модели и сжимателя.
- Авторы призывают к политикам сжатия под конкретную модель, оцениваемым и по эффективности, и по сохранённым возможностям.
Почему это важно
Длинные рассуждения повышают качество ответов, но стоят токенов, а значит денег и времени. Работа указывает на ещё один рычаг экономии: не только укорачивать само рассуждение, но и менять форму уже накопленной истории рассуждений. Причём исследуются модели с открытыми весами, где в отличие от закрытых моделей со скрытыми черновиками можно напрямую изучать механизм.
Кому это важно
Разработчикам программных агентов и команд, которые сами запускают открытые модели с рассуждением и платят за длинные цепочки токенов. Также исследователям эффективного рассуждения.
Как это применить
Прямой инструкции во внедрении в тексте нет. Идея в том, чтобы перед продолжением работы агента переписывать его прежние рассуждения в компактные записи состояния и сравнивать продолжения с исходной историей. Авторы подчёркивают, что политику сжатия стоит подбирать под конкретную модель и оценивать и по расходам, и по сохранённым возможностям.
Можно ли доверять
Это аннотация препринта на Hugging Face Papers. В ней нет числовых результатов: не указаны ни доли сокращения токенов, ни экономия в деньгах, ни показатели точности. Не названы проверенные модели, сжиматели, тесты и программные агенты, а также не сказано, что значит «принятая» компактная история. Оценить силу выводов по одному тексту аннотации нельзя.
Риски и подводные камни
Эффект не универсален: принятые компактные истории сокращают рассуждения «обычно», но не всегда, а расходы сжатие «может» снизить, не обязательно снижает. Качество задач и время с учётом самого переписывания зависят от целевой модели и сжимателя, то есть сжатие может не окупиться. Поэтому авторы и говорят о политиках под конкретную модель.