ИИтог

Метод DeltaTTG обучает ИИ-агентов, оценивая прогресс по токенам до конца задачи

исследованияРедакция ИИтогHugging Face🔥53Рейтинг ИИтог53Влияние42Новизна58Релевантность100Неожиданность28Участники8Достоверность74

В статье представлен DeltaTTG, метод обучения многошаговых ИИ-агентов с подкреплением и проверяемыми наградами (RLVR). Проблема в том, что у таких агентов награда обычно разреженная: она приходит только в конце задачи и мало говорит о качестве отдельных шагов. Известные подходы, по словам авторов, имеют недостатки: сравнение шагов внутри группы требует надёжного сопоставления состояний и достаточно разнообразных исходов, а прямая оценка шагов может требовать дорогих внешних оценщиков, ручной разметки или эвристик под конкретную задачу.

DeltaTTG учит общий, переиспользуемый сигнал прогресса, «счётчик прогресса» (progress meter). Обучающая цель для него, Token-to-Go (TTG): число токенов, которые осталось сгенерировать до завершения задачи; авторы считают его наблюдаемым признаком того, сколько усилий осталось до конца. Для обучения счётчика берут недорогую разметку, записанные траектории разных политик, правила прогресса под конкретную задачу не нужны.

При обучении самого агента (актора) изменения оценок замороженного счётчика перераспределяют преимущества (advantages), полученные из итоговой награды, по шагам. Сама награда при этом не меняется, а знак преимущества каждой траектории и его усреднённый по токенам масштаб сохраняются.

На ALFWorld, PaperSearchQA и BFCLv3 DeltaTTG повышает средний балл относительно GRPO на 5,7 пункта с Qwen3-4B и на 7,2 пункта с Llama-3.1-8B-Instruct. По словам авторов, метод также превосходит в среднем все сравниваемые RL-базлайны, а затраты GPU-часов на обучение актора остаются близкими к GRPO. Дополнительные эксперименты, как утверждается, показывают лучшую эффективность по числу примеров и более высокое качество вне исходной области, а также подтверждают, что счётчик различает качество шагов и помогает выбирать действия на этапе применения для акторов разного размера. Код опубликован на GitHub.

Ключевые факты

  • DeltaTTG, метод RLVR-обучения многошаговых агентов: общий «счётчик прогресса» предсказывает Token-to-Go, то есть число токенов до завершения задачи.
  • Изменения оценок замороженного счётчика перераспределяют преимущества по шагам, не меняя награду и сохраняя знак преимущества траектории и масштаб по токенам.
  • На ALFWorld, PaperSearchQA и BFCLv3 средний балл выше, чем у GRPO, на 5,7 пункта (Qwen3-4B) и 7,2 пункта (Llama-3.1-8B-Instruct).
  • Авторы заявляют, что метод обходит все сравниваемые RL-базлайны в среднем, а GPU-часы обучения близки к GRPO.
  • Код доступен на GitHub.

Почему это важно

Разреженная награда в конце задачи, одна из главных трудностей обучения агентов с несколькими шагами: непонятно, какие именно шаги были удачными. DeltaTTG предлагает получать сигнал по шагам из самих записанных траекторий, не прибегая к внешним оценщикам, ручной разметке и эвристикам под каждую задачу, именно эти недостатки авторы называют у существующих подходов.

Кому это важно

Исследователям и инженерам, которые обучают агентов с подкреплением (RLVR) на задачах с несколькими шагами: взаимодействие со средой, поиск по статьям, вызов функций. Результаты заявлены на моделях Qwen3-4B и Llama-3.1-8B-Instruct.

Как это применить

Код метода выложен на GitHub (github.com/Xuyan923r/DeltaTTG). По описанию, сначала обучается счётчик прогресса на записанных траекториях разных политик, затем он замораживается и используется при обучении актора для перераспределения преимущества по шагам. Затраты GPU-часов на обучение актора, по словам авторов, близки к GRPO.

Можно ли доверять

Все цифры взяты из аннотации статьи и представляют собой заявления авторов; независимой проверки в материале нет. Названы только приросты среднего балла в пунктах (5,7 и 7,2), а результаты по каждому бенчмарку отдельно, абсолютные баллы базлайнов и названия остальных сравниваемых RL-методов не приведены. «Близко к GRPO» по GPU-часам не расшифровано числом.

Риски и подводные камни

Улучшение заявлено как среднее по трём бенчмаркам и двум моделям, поэтому на отдельных задачах результат может отличаться. Не указаны размер модели-счётчика и число обучающих траекторий, так что оценить стоимость подготовки счётчика по аннотации нельзя. Метод опирается на качество самого счётчика: он должен различать качество шагов, и авторы подтверждают это своими дополнительными экспериментами.