SWE-TaskFlow: бенчмарки кодинг-агентов предложили подгонять под реальные сессии

Работа с HF Papers (2610.09633) исходит из того, что оценка кодинг-агентов обычно стремится быть как можно более реалистичной. Чтобы проверить, насколько она такой является, исследователи собрали 4782 сессии агентов, в которых работали настоящие программисты в средах разработки JetBrains. Этот набор они назвали Production Sessions. Поскольку речь об интерактивных агентах, изучались сессии, где пользователь отправил не меньше трёх сообщений: это 33% выборки.

Такие длинные сессии отличаются от задач, выведенных из issue (обращений в трекере), по двум признакам. Во-первых, запросы пользователей охватывают гораздо более широкий набор типов задач: вопросы о коде проекта, планирование, ревью, рефакторинг, запуск кода. Во-вторых, пользователи переключаются между типами задач на протяжении сессии.

Сравнение выборок длинных сессий из трёх публичных корпусов взаимодействий показало заметно разные Task Flow. Так авторы называют распределения длин сессий, типов задач и переходов между типами. Отсюда вывод: не существует единого распределения взаимодействий, реалистичного для всех. Бенчмаркам следует называть целевой сценарий использования и калибровать себя по измерениям из него.

Для этого предложен SWE-TaskFlow: подход, который преобразует любой бенчмарк на основе issue. Он сохраняет проверенные задачи и тесты, но направляет взаимодействие к целевому Task Flow с помощью разбиения промптов на части и проверяемых вопросов по репозиторию (repository QA). Для выбора среди сгенерированных траекторий используется оценка TaskFlow Alignment Score (TFAS).

В пилотном эксперименте на 700 задачах SWE-Bench Pro решение задачи последовательно, в несколько шагов, примерно удваивает стоимость работы агента, а доля решённых задач (resolve rate) при этом не меняется устойчиво. Из этого авторы делают вывод: сам протокол взаимодействия, важное измерение оценки.

Ключевые факты

Собрано 4782 сессии агентов реальных программистов в средах разработки JetBrains (набор Production Sessions); сессии с тремя и более сообщениями пользователя составили 33% выборки.
Длинные сессии отличаются от задач бенчмарков на основе issue: запросы охватывают гораздо более широкий набор типов (вопросы о коде, планирование, ревью, рефакторинг, запуск), и пользователи переключаются между типами.
Выборки из трёх публичных корпусов дают заметно разные Task Flow (распределения длин сессий, типов задач и переходов между ними), поэтому единого реалистичного распределения нет.
SWE-TaskFlow преобразует любой бенчмарк на основе issue, сохраняя проверенные задачи и тесты и направляя взаимодействие к целевому Task Flow.
В пилоте на 700 задачах SWE-Bench Pro пошаговое решение примерно удваивает стоимость без устойчивого изменения доли решённых задач.

Почему это важно

Бенчмарки кодинг-агентов обычно строятся из отдельных задач, выведенных из issue, а реальная работа в IDE выглядит иначе: в ней есть вопросы о проекте, планирование, ревью, рефакторинг и запуск кода, а пользователь переключается между ними. Если оценка не похожа на реальное использование, результаты бенчмарка могут говорить о ней мало. Работа предлагает не новую метрику точности, а калибровку самого процесса взаимодействия под целевой сценарий.

Кому это важно

Авторам и сопровождающим бенчмарков для кодинг-агентов, командам, которые выбирают или сравнивают агентов для работы в IDE, и исследователям, которые оценивают интерактивных агентов. Идея работы: прежде чем опираться на бенчмарк, нужно понимать, какому сценарию использования он соответствует.

Как это применить

Практический вывод, который делают авторы: назвать целевой сценарий использования и калибровать бенчмарк по измерениям из него. Для этого предложен SWE-TaskFlow: он берёт существующий бенчмарк на основе issue, разбивает промпты на части и добавляет проверяемые вопросы по репозиторию, сохраняя исходные задачи и тесты. В аннотации не указано, опубликованы ли набор Production Sessions и сам инструмент.

Можно ли доверять

Это аннотация научной работы на HF Papers, и все выводы, это заявления самих авторов. В аннотации не названы авторы и организации. Для пилота не указано, какие агенты и модели оценивались, и нет абсолютных значений стоимости и доли решённых задач: есть только «примерно удваивает» и «без устойчивого изменения». Три публичных корпуса также не названы, а численной разбивки типов задач и переходов нет. Проверить детали можно только по полному тексту.

Риски и подводные камни

Пилот проведён на 700 задачах одного бенчмарка, SWE-Bench Pro, и отсутствие устойчивого изменения доли решённых задач не равно доказанному отсутствию эффекта. Выборка Production Sessions собрана в средах JetBrains, а сами авторы подчёркивают, что единого универсально реалистичного распределения взаимодействий нет, поэтому полученный Task Flow подходит для своего сценария и не является универсальным. Вывод об удвоении стоимости относится к пилоту и не обязательно переносится на другие задачи и агентов.

«Ни одно распределение взаимодействий не является реалистичным универсально: бенчмаркам следует назвать целевой сценарий использования и калибровать себя по измерениям из него.»

— из аннотации работы HF Papers 2610.09633