Новая статья разобрала рассогласование обучения и инференса в RL для LLM и предложила коррекцию DLC
В on-policy обучении с подкреплением (RL) для больших языковых моделей предполагается, что ответы для обучения сэмплируются из текущей политики. На практике ответы генерирует один движок инференса, а градиенты считает отдельный тренер, и рассогласование между ними делает обучающие данные off-policy. У рассогласования два источника: численные особенности движка и устаревшие веса при асинхронной генерации. Коррекция, которая стабилизирует обучение при одном источнике, может не работать при другом. Авторы спрашивают, какое свойство источника рассогласования определяет, какая коррекция нужна.
Если оценивать тренер на весах генератора, ошибка на каждом сэмплированном токене точно раскладывается на два слагаемых: численное расхождение движка и запаздывание политики (policy lag) тренера. Авторы прослеживают оба слагаемых в ходе обучения. Численное расхождение остаётся примерно постоянным, поэтому смещает обновления на почти фиксированную величину; центрирование оценки (score) на каждом префиксе убирает главную часть этого смещения. Запаздывание же порождается самими обновлениями тренера: оставленное им смещение попадает в следующее обновление, увеличивает следующее запаздывание и замыкает петлю обратной связи.
Взвешивание по важности (importance weighting) разрывает эту петлю, только пока отношение вероятностей, описывающее запаздывание, остаётся сконцентрированным. На Qwen3-1.7B метод перестаёт работать на шаге, где эффективный размер выборки для этого отношения падает ниже одной второй.
Из такого разбора авторы выводят коррекцию discrepancy-lag correction (DLC). Она центрирует численное расхождение, обрезает отношение запаздывания относительно весов генератора и синхронизирует генератор заново, когда эффективный размер выборки падает ниже одной второй. При устаревшем генераторе DLC удерживает KL-дивергенцию от обучения on-policy в пределах удвоенного значения KL между двумя независимыми on-policy обучениями (на Qwen3-0.6B и Qwen3-1.7B). Повторная синхронизация также предотвращает коллапсы, которые не устраняют поточечные (по токенам) коррекции и которые не видны по KL, измеренной на префиксах генератора.
Ключевые факты
- Рассогласование обучения и инференса в RL имеет два источника: численные особенности движка инференса и устаревшие веса при асинхронной генерации; коррекция, помогающая при одном, может не помочь при другом.
- Ошибка на каждом токене точно раскладывается на численное расхождение движка (почти постоянное, убирается центрированием оценки на префиксе) и запаздывание политики тренера (само себя усиливает через петлю обратной связи).
- На Qwen3-1.7B взвешивание по важности перестаёт работать на шаге, где эффективный размер выборки отношения падает ниже одной второй.
- Коррекция DLC центрирует расхождение, обрезает отношение запаздывания и заново синхронизирует генератор при эффективном размере выборки ниже одной второй.
- При устаревшем генераторе DLC держит KL от on-policy обучения в пределах удвоенной KL между двумя независимыми on-policy обучениями на Qwen3-0.6B и Qwen3-1.7B.
Почему это важно
Обучение больших языковых моделей с подкреплением часто строится так, что ответы генерирует один движок, а градиенты считает другой компонент. Статья показывает, что возникающее из-за этого рассогласование не однородно: у него две разные природы, и им нужны разные поправки. Разложение ошибки на численное расхождение и запаздывание политики объясняет, почему одна и та же поправка работает в одних условиях и ломается в других, в том числе когда выборки генерируются устаревшей версией весов.
Кому это важно
В первую очередь тем, кто настраивает on-policy RL для языковых моделей с отдельным движком инференса и асинхронной генерацией: инженерам и исследователям, обучающим модели с подкреплением. Для остальных это скорее фоновое знание о том, почему такое обучение бывает нестабильным.
Как это применить
Практическая часть статьи, коррекция DLC из трёх шагов: центрировать оценку на каждом префиксе, обрезать отношение запаздывания относительно весов генератора и заново синхронизировать генератор, когда эффективный размер выборки отношения падает ниже одной второй. Сам порог в одну вторую, удобный сигнал для мониторинга: на Qwen3-1.7B именно при нём взвешивание по важности перестаёт работать. Упоминаний о выпуске кода или моделей в тексте нет, поэтому воспроизводить метод придётся по описанию.
Можно ли доверять
Это препринт, представленный на Hugging Face Papers; авторы и организации в тексте не названы. Результаты приведены только для Qwen3-0.6B и Qwen3-1.7B, более крупные модели не упоминаются. Абсолютные значения KL, оценки на бенчмарках и точность на задачах в тексте не даны, сравнение с именованными базовыми методами не приводится, только с поточечными коррекциями и взвешиванием по важности. Утверждения об устойчивости опираются на KL относительно on-policy обучения.
Риски и подводные камни
Проверка выполнена на малых моделях, и неизвестно, переносится ли результат на более крупные. Порог в одну вторую для эффективного размера выборки задан в описании метода; как он работает в других конфигурациях, из текста не следует. Авторы отдельно отмечают, что KL, измеренная на префиксах генератора, не обнаруживает часть коллапсов, поэтому оценивать стабильность обучения только по ней рискованно. Повторная синхронизация генератора, это дополнительная операция в обучении, стоимость которой в тексте не оценена.