Монотонное улучшение политик вывода: решение проблемы тренировки нейросетей на подкреплении
При тренировке больших языковых моделей (LLM) с помощью подкрепления возникает критическая проблема: LLM использует разные механизмы для тренировки и вывода (inference), что приводит к несогласованности вероятностей траекторий. Эта «тренировочно-выводная рассогласованность» вносит постоянное смещение в данные, дестабилизируя процесс обучения. Однако исследователи показали более глубокую проблему, которую упускали предыдущие работы: целевое несоответствие. Улучшение политики в тренировочном движке не гарантирует улучшение политики при реальном развёртывании. Авторы предлагают новую цель оптимизации, принцип Monotonic Inference Policy Improvement (MIPI). На его основе разработан двухэтапный метод MIPU, который формирует кандидаты обновлений на основе сэмплера и избирательно принимает их, используя прокси-метрику со стороны вывода. Эксперименты на двух масштабах моделей при высокой рассогласованности показали, что MIPU улучшает среднее качество рассуждений и стабильность тренировки.
Ключевые факты
- Тренировочно-выводная рассогласованность: LLM использует разные системы для тренировки и развёртывания, создавая постоянный off-policy дрейф
- Целевое несоответствие: улучшение политики в тренировке не гарантирует улучшение в производстве, это две разные задачи оптимизации
- MIPU-метод: двухэтапный подход, который выбирает обновления политики на основе прокси-метрики вывода, а не тренировочных метрик
- Улучшение стабильности: экспериментальные результаты показывают лучшую стабильность тренировки и качество рассуждений по сравнению с базовыми подходами
Почему это важно
Тренировка LLM на подкреплении остаётся нестабильным процессом с высоким риском коллапса. Исследователи указывают на фундаментальный недостаток предыдущих подходов: они фокусировались на устранении рассогласованности между тренировкой и выводом, но упускали, что даже если рассогласованность устранена, целевые функции тренировки и вывода могут не совпадать. Это означает, что хорошие результаты при тренировке не переносятся в производство, ключевая проблема для развёртывания больших моделей.
Кому это важно
Исследование направлено на разработчиков и исследователей, работающих над alignment (выравниванием) и post-training (постобучением) больших языковых моделей. Это касается компаний и лабораторий, которые тренируют собственные модели для специализированных задач (reasoning, code generation, math). Практическая ценность особенна для организаций, где стабильность и предсказуемость тренировки критичны для production deployment.
Как это применить
Метод MIPU интегрируется в pipeline постобучения LLM. На практике это означает: при каждом обновлении политики система не просто проверяет, улучшается ли она в тренировке, но явно отслеживает, как эти изменения повлияют на реальный вывод модели. Двухэтапный процесс MIPU (формирование кандидатов и выборка на основе прокси-метрики вывода) можно встроить в существующие RL-фреймворки без полной переписи тренировочного кода.
Можно ли доверять
Работа опирается на правдоподобную гипотезу о расхождении между тренировочной и выводной целями, что подтверждают экспериментальные результаты на двух масштабах моделей. Авторы проводили испытания в условиях высокой рассогласованности, что близко к реальным сценариям. Однако результаты относительно свежие (препринт 2025 года), и требуется независимая верификация на широком спектре моделей и задач перед массовым внедрением.
Риски и подводные камни
Метод MIPU требует явного отслеживания выводной метрики во время тренировки, что может замедлить процесс обучения. Прокси-метрика для зазора вывода может быть неточна в некоторых сценариях, особенно при экстремальных значениях рассогласованности. Применение метода требует понимания природы рассогласованности в конкретной архитектуре модели, универсальный рецепт невозможен.