PCSD: новый метод самодистилляции обходит GRPO при обучении ИИ-агентов

При обучении ИИ-агентов с подкреплением (RL) на многошаговых задачах модель часто получает лишь одну оценку в конце всей цепочки действий, сигнал слишком редкий, чтобы понять, какие именно шаги были удачными. Самодистилляция на политике (on-policy self-distillation, OPSD) пытается решить эту проблему: более сильная привилегированная модель-учитель подсказывает агенту плотную обратную связь на уровне отдельных токенов. Проблема в том, что учитель ненадёжен не в каждой позиции последовательности, а существующие методы либо смотрят на расхождение токен за токеном (чувствительны к шуму), либо назначают один общий вес на весь шаг (теряют локальные различия).

Авторы предлагают метод Persistent Consistency Self-Distillation (PCSD, «самодистилляция на основе устойчивого согласия»). Он вычисляет вес для каждого токена не по одиночному сигналу, а по тому, насколько устойчиво учитель поддерживает этот токен во времени: адаптивные окна с экспоненциально затухающим агрегированием улавливают устойчивую относительную поддержку учителя, дополнительный механизм ослабляет вес там, где поддержка локально снижается, а итоговые непрерывные веса формируются через сигмоидное вентилирование. Эта цель обучения совместно оптимизируется с алгоритмом GRPO, так что плотная подсказка учителя объединяется с редкой обратной связью от самой среды. Никаких дополнительных «навыков» на этапе вывода метод не требует.

На двух базовых моделях (backbone) PCSD показал лучший итоговый результат на бенчмарке ALFWorld среди всех сравниваемых подходов: превзошёл GRPO на 15,6 и 13,3 балла соответственно и метод SDAR, на 6,2 и 5,5 балла. На отдельном тестовом срезе ALFWorld с ранее не встречавшимися заданиями прирост над GRPO составил 15,8 балла. На бенчмарке WebShop результаты PCSD остаются на уровне конкурентов, без явного превосходства. Абстракт не раскрывает абсолютных значений успешности (только разницу в баллах между методами), не называет использованные базовые модели и не сообщает о планах выложить код.

Ключевые факты

RL-обучение ИИ-агентов страдает от разреженной награды: многошаговая цепочка действий часто получает лишь одну итоговую оценку
Самодистилляция на политике (OPSD) даёт плотный сигнал от модели-учителя, но учитель ненадёжен в отдельных позициях последовательности
PCSD взвешивает каждый токен по устойчивости поддержки учителя во времени: адаптивные окна, экспоненциальное затухание, ослабление при спаде поддержки и сигмоидное вентилирование итогового веса
Цель PCSD совместно оптимизируется с GRPO; на ALFWorld метод обходит GRPO на 15,6 и 13,3 балла (на двух базовых моделях) и SDAR, на 6,2 и 5,5 балла, на новом срезе задач прирост над GRPO, 15,8 балла
На WebShop результат остаётся конкурентным, но без явного отрыва; абсолютные показатели успешности, названия базовых моделей и выпуск кода в источнике не указаны

Почему это важно

Разреженная награда, одно из главных препятствий для RL-обучения агентов на многошаговых задачах: если оценка приходит только в конце длинной цепочки действий, модели трудно понять, какие именно шаги были правильными. Самодистилляция от более сильного учителя частично решает эту проблему, но сама несёт риск: учитель ошибается не везде одинаково, и наивное усреднение его подсказок портит обучение там, где он неправ. PCSD предлагает способ отличить устойчиво надёжные подсказки учителя от шумных, взвешивая их по тому, насколько долго и последовательно учитель поддерживает конкретный токен.

Кому это важно

Работа адресована исследователям и инженерам, которые обучают ИИ-агентов для интерактивных многошаговых задач, например, выполнение бытовых поручений в симулированной среде (как в ALFWorld) или навигацию по интернет-магазину (как в WebShop). Практическая ценность, в самой RL-методике обучения агентов, а не в готовом продукте или модели, которую можно сразу использовать.

Как это применить

PCSD не требует дополнительных «навыков» или изменений на этапе вывода, вся сложность метода сосредоточена в обучении. Он комбинирует адаптивные временные окна с экспоненциально затухающим агрегированием, чтобы уловить устойчивую поддержку токена учителем, ослабляет вес там, где эта поддержка локально снижается, и превращает результат в непрерывный вес через сигмоидное вентилирование. Итоговая цель обучения объединяется с алгоритмом GRPO, так плотная подсказка учителя дополняет редкую награду от среды, а не заменяет её.

Можно ли доверять

Материал, препринт научной работы, размещённый на Hugging Face Papers; в самом абстракте не указаны ни имена авторов, ни их организации, ни дата публикации (метаданные в карточке, служебные, взятые не из текста статьи). Приведены только относительные величины: разница в баллах между PCSD, GRPO и SDAR, абсолютные показатели успешности на ALFWorld и WebShop в тексте не даны, что затрудняет независимую проверку и сравнение с другими работами.

Риски и подводные камни

В доступном тексте не названы конкретные базовые модели (backbone), на которых проводились эксперименты, не раскрыты параметры метода, размер адаптивного окна, скорость затухания, настройки сигмоидного вентиля, и ничего не сказано о выпуске кода или воспроизводимости. Результаты получены только на двух бенчмарках, ALFWorld и WebShop, и на WebShop прирост не выражен так явно, как на ALFWorld, насколько метод обобщается на другие агентные задачи, по этому материалу судить нельзя.