ИИтог

SWE-Trail: новый способ собирать данные для обучения кодовых агентов даёт +2,33 п.п. на SWE-bench Multilingual

исследованияРедакция ИИтогHugging Face🔥53Рейтинг ИИтог53Влияние45Новизна60Релевантность95Неожиданность25Участники10Достоверность72
SWE-Trail: новый способ собирать данные для обучения кодовых агентов даёт +2,33 п.п. на SWE-bench Multilingual

Кодовые агенты решают задачи в репозиториях длинными цепочками шагов: исследование кода, правки и проверка. Такие траектории всё чаще используют как данные для дообучения, поэтому способ их сбора влияет на то, чему научится модель. Обычный подход, независимо сгенерировать несколько траекторий на каждую задачу, а затем отобрать лучшие. По наблюдению авторов препринта, чем больше траекторий сгенерировано независимо, тем более избыточными становятся поздние, хотя ранние могли бы подсказать, куда направить дальнейшие усилия.

Очевидный способ использовать эту историю, показать её агенту как совет. Но, как отмечают авторы, обучение на таких траекториях может приучить модель опираться на подсказки, которых во время реального применения не будет, возникает расхождение между обучением и тестом. Поэтому авторы предлагают другое разделение ролей: история определяет, куда тратить усилия по сбору данных, а агент сам решает, что генерировать.

Так устроен SWE-Trail, сборщик траекторий, использующий предыдущие траектории для направления последующего сбора и держащий эту историю вне контекста агента. В новом прогоне SWE-Trail по истории выбирает состояние, в котором дополнительные усилия могут оказаться полезными. Там агент из своего обычного контекста предлагает варианты следующих действий, а SWE-Trail кратко выполняет их из одной и той же контрольной точки и по результату решает, какой путь продолжить.

Способы сбора оценивали по тому, как обучаются модели-ученики на получившихся траекториях. Для ученика на 124 млрд параметров, инициализированного из Ling-3.0-flash-base, SWE-Trail повысил среднюю долю решённых задач относительно независимой выборки на 2,33 процентного пункта на SWE-bench Multilingual и на 1,60 п.п. на SWE-bench Pro. Тот же конвейер без истории даёт больше решённых траекторий, чем независимая выборка, но на Multilingual улучшает результат лишь на 0,11 пункта. Авторы делают вывод: историю полезно использовать для управления сбором, не раскрывая её агенту.

Ключевые факты

  • SWE-Trail, сборщик траекторий для обучения кодовых агентов: использует прошлые траектории, чтобы выбирать, где продолжать сбор, но держит историю вне контекста агента.
  • Механизм: по истории выбирается состояние, агент предлагает варианты следующих действий, SWE-Trail кратко выполняет их из одной контрольной точки и решает, какой путь продолжить.
  • Ученик на 124 млрд параметров (из Ling-3.0-flash-base) превзошёл независимую выборку на 2,33 п.п. на SWE-bench Multilingual и на 1,60 п.п. на SWE-bench Pro (средняя доля решённых задач).
  • Тот же конвейер без истории улучшил результат на Multilingual лишь на 0,11 пункта.

Почему это важно

Качество данных-траекторий определяет, чему научится кодовый агент. Работа показывает, что на сбор можно влиять, не меняя то, что видит агент, и тем самым избегать расхождения между обучением и применением. Прирост в 2,33 и 1,60 п.п. скромный, но на сложных бенчмарках он заметен на фоне 0,11 пункта у варианта без истории.

Кому это важно

Командам, которые собирают синтетические траектории для дообучения кодовых агентов, и исследователям данных для post-training. Для обычных пользователей агентов прямого эффекта пока нет.

Как это применить

Идея в том, чтобы отделить управление сбором (на основе истории) от генерации действий агентом: историю не подавать в промпт, а использовать для выбора состояний, где стоит потратить дополнительные попытки. Об открытом коде, данных или моделях в тексте источника не сказано, поэтому воспроизведение потребует собственной реализации по описанию.

Можно ли доверять

Это препринт на странице Hugging Face; в тексте не названы ни авторы, ни организации. Приведены только разницы в процентных пунктах, без абсолютных значений долей решённых задач, числа запусков и проверки статистической значимости. Оценка сделана на одной модели-ученике, так что обобщать результат стоит осторожно.

Риски и подводные камни

Улучшения невелики, а о разбросе результатов ничего не сообщено. Результат для варианта без истории на SWE-bench Pro не приведён. Стоимость сбора, объём траекторий и модель-учитель в тексте не указаны, поэтому нельзя оценить, окупается ли дополнительное исполнение действий из контрольных точек.