Исследователи представили Ares: оптимизатор для RLVR, который сам подбирает ранг обновлений
Обучение с подкреплением на проверяемых наградах (RLVR) всё сильнее определяет, как большие языковые модели приобретают способность рассуждать, но используемые в нём оптимизаторы, по словам авторов препринта, в основном унаследованы от обучения с принудительным подсказыванием (teacher-forcing). Авторы задаются вопросом: создаёт ли RLVR особую геометрию оптимизации, которая требует другого оптимизатора?
Для ответа они изучают спектральную структуру градиентов модели. Выяснилось, что энергия градиента постепенно концентрируется в сужающемся эффективном подпространстве. По утверждению авторов, это характерно именно для RLVR: при обычном обучении с учителем (SFT) такого нет, а при замене проверяемой награды случайной эффект в значительной мере исчезает. Кроме того, ранг, необходимый для захвата фиксированной доли энергии градиента, в ходе обучения неуклонно снижается, то есть эффективная размерность полезных обновлений сама меняется со временем.
Из этого авторы выводят новый принцип: ранг обновления не следует задавать извне, оптимизатор должен подстраивать его под меняющуюся спектральную структуру градиента. Так появился Ares (Adaptive Rank-Effective Spectral Optimization). Он оценивает эффективный ранг обновления по спектральному распределению энергии градиента, отслеживает его изменение и ограничивает сигнал градиента, который определяет каждое обновление, получившимся низкоранговым подпространством.
По заявлению авторов, на языковых моделях разного масштаба Ares повышает точность по сравнению с широко используемыми оптимизаторами и переносится на разные алгоритмы RLVR и задачи. Они делают осторожный вывод, что эффективная оптимизация, возможно, требует оптимизаторов, спроектированных с учётом геометрии и динамики обучения. Код и данные выложены на GitHub (RUCAIBox/Ares). Из доступного текста (аннотации) не видны ни конкретные цифры прироста, ни названия моделей, бенчмарков и базовых оптимизаторов.
Ключевые факты
- При RLVR энергия градиента постепенно концентрируется в сужающемся эффективном подпространстве; при SFT этого нет, а при случайной награде эффект в значительной мере исчезает.
- Ранг, нужный для захвата фиксированной доли энергии градиента, в ходе обучения неуклонно уменьшается.
- Ares (Adaptive Rank-Effective Spectral Optimization) оценивает эффективный ранг обновления по спектру градиента и ограничивает обновление низкоранговым подпространством.
- По заявлению авторов, Ares повышает точность относительно широко используемых оптимизаторов на моделях разного масштаба и переносится на другие алгоритмы RLVR и задачи.
- Код и данные опубликованы на GitHub: RUCAIBox/Ares.
Почему это важно
RLVR стал одним из основных способов научить модели рассуждать, а оптимизаторы для него, как отмечают авторы, в основном унаследованы от обучения с принудительным подсказыванием. Работа ставит вопрос, что обучение с подкреплением имеет собственную геометрию оптимизации, и предлагает на этом основании оптимизатор с адаптивным рангом.
Кому это важно
Исследователям и инженерам, которые дообучают языковые модели с помощью RLVR и ищут способы улучшить оптимизацию. Также тем, кто занимается низкоранговыми методами и анализом спектра градиентов.
Как это применить
Авторы выложили код и данные на GitHub (RUCAIBox/Ares), так что метод можно попробовать на собственной RLVR-задаче и сравнить с используемым оптимизатором. Сведений о требованиях к вычислениям и памяти в доступном тексте нет.
Можно ли доверять
Это академический препринт, а доступен только его краткий текст (аннотация). Утверждение о повышении точности принадлежит самим авторам; конкретных цифр, названий моделей, задач и базовых оптимизаторов в тексте нет, поэтому оценить масштаб эффекта и независимо его проверить пока нельзя.
Риски и подводные камни
Без цифр прироста и перечня базовых методов неясно, насколько улучшение значимо на практике. Авторы сами формулируют вывод осторожно («может требовать»), а накладные расходы Ares в тексте не указаны.