Trajectory2Gym: нейросети-агентам предложили учиться на «обоснованных» шагах, а не на любых удачных
Авторы статьи исходят из тезиса: успешные траектории работы с инструментами не обязательно годятся как обучающая выборка. Даже удачное взаимодействие может слабо отражать многошаговые зависимости или содержать действия, которые не оправданы информацией, видимой агенту в момент решения.
Они выделяют два связанных требования к хорошей обучающей выборке. Первое, композиционное покрытие: важные зависимости между наблюдениями и действиями должны быть представлены. Второе, обоснованность решений (decision grounding): каждое обучаемое действие должно опираться на историю взаимодействия, которую видит обучаемая модель.
На этой основе предложен метод Trajectory2Gym. Он строит исполняемые взаимодействия вокруг композиционных структур, которым не хватает представленности, а обучающий сигнал берёт только из обоснованных решений в реально выполненных прогонах. Отбор по структурной поддержке распределяет полученный опыт, а контролируемое дообучение с нормировкой на «родителя» (parent-normalized supervised fine-tuning) сохраняет за единицу веса в обучении само смысловое взаимодействие. Генерацию траекторий авторы предлагают понимать как целенаправленное построение опыта, из которого можно учиться, а не как сбор удачных прогонов.
Результат: на пяти размерах модели Qwen3 метод улучшает показатели на Tau1, Tau2 и BFCL на каждом проверенном масштабе. Среднее по трём бенчмаркам с равными весами выросло на 16,9-29,8 процентного пункта. Прирост сильнее всего в задачах с состоянием и в многоходовых диалогах, где поздние решения зависят от прежних наблюдений и обратной связи.
Вывод авторов осторожный: результаты, по их словам, позволяют предположить, что масштабирование агентов с инструментами зависит не только от числа собранных удачных траекторий, но и от построения взаимодействий, в которых представлены зависимости, а решения можно выучить по видимой агенту истории.
Ключевые факты
- Тезис статьи: успешная траектория работы с инструментами не всегда полезна для обучения, она может недопредставлять многошаговые зависимости или содержать неоправданные действия.
- Два требования к обучающим данным: композиционное покрытие и обоснованность каждого действия историей, видимой обучаемой модели.
- Trajectory2Gym строит исполняемые взаимодействия вокруг слабо представленных структур и берёт обучающий сигнал только из обоснованных решений; используется дообучение с нормировкой на «родителя».
- На пяти размерах Qwen3 улучшены Tau1, Tau2 и BFCL на каждом масштабе; среднее по трём бенчмаркам выросло на 16,9-29,8 п.п.
- Прирост сильнее всего в задачах с состоянием и многоходовых взаимодействиях.
Почему это важно
Идея смещает акцент в обучении агентов: важна не только масса удачных траекторий, но и то, насколько в них представлены зависимости между наблюдениями и действиями и можно ли выучить каждое решение по видимой истории. Авторы заявляют о приросте на всех трёх бенчмарках при каждом из пяти размеров Qwen3, причём самом заметном в многоходовых задачах с состоянием.
Кому это важно
Тем, кто обучает или дообучает модели для вызова инструментов и строит синтетические данные для агентов, а также исследователям, которые занимаются бенчмарками Tau1, Tau2 и BFCL.
Как это применить
Из описания видно общий принцип: при синтезе траекторий отбирать взаимодействия по недопредставленным структурам и оставлять для обучения только те действия, которые обоснованы видимой историей; при дообучении нормировать вес на исходное взаимодействие. Подробности реализации в тексте источника не приведены.
Можно ли доверять
Это результаты самих авторов, и в изложении есть только диапазон прироста среднего по трём бенчмаркам, 16,9-29,8 п.п. Абсолютные значения метрик, базовые уровни и сравнение с другими методами синтеза данных в тексте не названы. Сами авторы формулируют вывод осторожно: результаты «позволяют предположить».
Риски и подводные камни
Диапазон прироста широкий, и по тексту нельзя понять, на каком масштабе он наименьший или наибольший. Проверка шла на семействе Qwen3 и трёх бенчмарках, так что перенос на другие модели и задачи не показан. Сведений о публикации кода, данных и вычислительных затрат в источнике нет.