TreeOPSD: метод обучения ИИ-агентов без критика дал +4,97 пункта к GRPO

Авторы препринта представили TreeOPSD, критик-свободную (critic-free) древовидную (tree-aware) систему апостериорной самодистилляции для обучения с подкреплением ИИ-агентов на длинных цепочках взаимодействия. Исходная проблема: обучение с проверяемыми наградами стало масштабируемым способом дообучения больших языковых моделей, но для агентов с длинным горизонтом возникают две трудности.

Первая: если награда выдаётся только в конце эпизода, распределение заслуг по отдельным ходам (turn-level credit assignment) получается разреженным и с высокой дисперсией. Вторая: при последовательных обновлениях по мини-батчам на одном и том же наборе прогонов (rollout) возникает устаревание политики, текущая политика отдаляется от поведенческой, на которой данные были собраны.

Существующие решения, по словам авторов, дают более плотный сигнал через обученные критики, модели процессных наград или дистилляцию on-policy, но требуют сети оценки состояний (value network), пошаговой разметки или более сильного внешнего учителя, что усложняет обучение. Importance sampling и клиппинг сдерживают дрейф политики, однако не задают конечную цель, которая остановила бы перелёт последовательных обновлений за нужную точку.

Устройство TreeOPSD. Каждый ход взаимодействия рассматривается как узел дерева. Метод ответвляет альтернативные продолжения от общих префиксов и рекурсивно переносит конечные награды вверх по дереву, получая неявную оценку вклада каждого хода. Затем каждая такая оценка преобразуется в замкнутую по форме ограниченную распределённую «учительскую» политику, параметризованную отношением правдоподобия относительно замороженной поведенческой политики. Минимизация расхождения между этим учителем и обучаемой политикой (студентом) воспроизводит направление градиента политики как касательную в точке поведенческой политики, а на последовательных мини-батчах ограничивает обновления конечной целью.

Результат. По заявлению авторов, TreeOPSD улучшает агентные способности на нескольких конкурентных бенчмарках и при разных масштабах моделей, особенно в задачах с длинным горизонтом. Единственный приведённый пример: средняя точность Qwen3-30B-A3B-Thinking-2507 в сценарии Deep Research выросла на 4,97 пункта по сравнению с GRPO.

Ключевые факты

TreeOPSD, критик-свободная древовидная система апостериорной самодистилляции для обучения агентов с подкреплением на длинных горизонтах; отдельная value-сеть, пошаговая разметка и внешний учитель не нужны.
Каждый ход взаимодействия, узел дерева: от общих префиксов ветвятся альтернативные продолжения, а конечная награда рекурсивно переносится вверх и превращается в неявную оценку вклада каждого хода.
Оценка вклада отображается в замкнутую ограниченную учительскую политику через отношение правдоподобия к замороженной поведенческой политике; это ограничивает обновления конечной целью на последовательных мини-батчах.
Заявленный результат: +4,97 пункта к средней точности Qwen3-30B-A3B-Thinking-2507 относительно GRPO в сценарии Deep Research (абсолютные пункты).
Авторы утверждают улучшения на нескольких бенчмарках и масштабах моделей, особенно для длинных задач.

Почему это важно

Обучение агентов, которые действуют много шагов подряд (например, ведут исследовательский поиск), упирается в то, что награда приходит только в конце. Непонятно, какой именно ход привёл к успеху или провалу. Обычные решения, критик, процессные модели наград или сильный учитель, усложняют обучение. TreeOPSD предлагает получать плотный сигнал по ходам из самой структуры ветвящихся прогонов и при этом ограничивать размер обновлений. Заявленный прирост на Deep Research, 4,97 пункта к GRPO.

Кому это важно

Исследователям и инженерам, которые дообучают языковые модели как агентов с помощью обучения с подкреплением и работают с длинными многошаговыми задачами. Тем, кого не устраивает необходимость держать отдельную value-сеть, собирать пошаговую разметку или привлекать более сильную модель-учителя.

Как это применить

Из аннотации следует только общая схема: строить дерево из прогонов с общими префиксами, переносить конечные награды вверх, превращать их в ограниченное учительское распределение относительно замороженной поведенческой политики и минимизировать расхождение со студентом. Для практического применения нужны детали из самой статьи: гиперпараметры, реализация и условия экспериментов в аннотации не приведены.

Можно ли доверять

Это препринт на странице Hugging Face; сведения приведены из аннотации и отражают заявления самих авторов. Единственная конкретная цифра, прирост 4,97 пункта для Qwen3-30B-A3B-Thinking-2507 над GRPO в сценарии Deep Research. Абсолютные значения точности, названия остальных бенчмарков и масштабы моделей в аннотации не названы, поэтому заявление об улучшении на «нескольких» бенчмарках нельзя проверить по этому тексту. Независимое подтверждение не приведено.

Риски и подводные камни

Выигрыш показан по аннотации на одном примере; обобщение на другие модели и задачи нужно проверять по полному тексту статьи. Неясно, в каких единицах измерены «пункты» помимо слова «пункты». Ветвление альтернативных продолжений от общих префиксов может означать дополнительные прогоны, но затраты на вычисления и обучение в аннотации не обсуждаются, так что оценить цену метода по ней нельзя.

«Существующие подходы получают более плотную оценку вклада через обученные критики, модели процессных наград или дистилляцию on-policy, но опираются на сеть оценки состояний, пошаговую разметку или более сильного внешнего учителя, что усложняет обучение.»

— Из аннотации препринта TreeOPSD