SWE-CoWork: лучшие кодинг-агенты завершают менее 8% заданий

SWE-CoWork: лучшие кодинг-агенты завершают менее 8% заданий

Авторы статьи представили SWE-CoWork, бенчмарк для оценки кодинг-агентов, которые работают не в одиночку над готовой задачей, а внутри программной организации. Агенту нужно самому выяснить, что именно строить, взаимодействовать с коллегами и проверить результат своей работы.

Бенчмарк включает 101 задание по разработке на 101 реальном репозитории; охвачено 11 языков программирования и 12 прикладных областей. В каждом задании агент попадает в симулированную инженерную организацию с 26 коллегами. У каждого из них свои обязанности, ограниченные знания и заданное поведение при сотрудничестве. Агент получает лишь краткую передачу дел (handoff). Требования разбросаны между коллегами и рабочими записями, свидетельства могут противоречить друг другу, и агент должен их согласовать. Затем он вносит изменения, которые проверяются закрытыми исполняемыми тестами.

Авторы оценили одиннадцать моделей и обнаружили существенный разрыв между частичной реализацией и полной сдачей задачи. Две ведущие модели проходят примерно 63% тестов типа fail-to-pass (F2P), тех, что должны перейти из падающих в проходящие после правок. Но полностью выполняют менее 8% заданий.

Если заранее выдать полный список требований, F2P у моделей Seed Evolving и GPT-6 Astra растёт примерно на 16 процентных пунктов, однако доля полностью выполненных заданий не меняется.

Анализ траекторий на уровне отдельных требований показывает сбои на всём пути доставки. Claude-Opus-5.5 в среднем по запускам направляет 93% первых вопросов по запрошенным «карточкам» их ответственным владельцам, но получает лишь 64% требований, которыми владеют коллеги. Отложенные вопросы остаются без продолжения, реализации остаются неполными даже после получения требований, а 31% требований, о которых сообщено как о выполненных, не проходят свои тесты.

Вывод авторов: устойчивое отслеживание требований, от уточнения через реализацию и проверку до передачи результата, остаётся ключевой трудностью для надёжной автономной разработки ПО.

Ключевые факты

  • SWE-CoWork: 101 задание на 101 реальном репозитории, 11 языков программирования, 12 прикладных областей; в каждом задании агент работает в симулированной организации с 26 коллегами.
  • Из одиннадцати оценённых моделей две ведущие проходят примерно 63% тестов fail-to-pass, но полностью выполняют менее 8% заданий.
  • Полный список требований заранее поднимает F2P примерно на 16 процентных пунктов у Seed Evolving и GPT-6 Astra, но полное выполнение заданий не улучшает.
  • Claude-Opus-5.5 отправляет в среднем 93% первых вопросов по запрошенным карточкам нужным владельцам, но получает только 64% требований коллег.
  • 31% требований, о которых агент сообщил как о выполненных, не проходят тесты.

Почему это важно

Привычные бенчмарки проверяют, может ли агент решить чётко поставленную задачу. SWE-CoWork моделирует то, что происходит в реальной команде: требования не описаны целиком, а рассеяны по людям и рабочим записям, иногда противоречат друг другу, и их нужно сначала собрать. Результат показывает разрыв: около 63% целевых тестов у двух ведущих моделей при менее чем 8% полностью выполненных заданий. Частично работающий код ещё не означает сданную задачу.

Кому это важно

Командам, которые внедряют кодинг-агентов в реальные процессы разработки и решают, насколько им можно доверять самостоятельную работу. Разработчикам агентов, как указание на узкое место: не только написание кода, но и сбор требований, их отслеживание и проверка. Исследователям оценки ИИ, как пример бенчмарка с многоролевой симулированной организацией и закрытыми исполняемыми тестами.

Как это применить

Прямого инструмента в тексте нет: в аннотации не говорится о выпуске бенчмарка, кода или данных, поэтому практическое применение, на уровне выводов. Результаты подсказывают, что одной передачи полных требований заранее недостаточно (полное выполнение заданий не изменилось), а значит, при работе с агентами стоит отдельно проверять, довёл ли агент каждое требование до конца и прошло ли оно тесты, а не опираться на его собственный отчёт о выполнении.

Можно ли доверять

Это аннотация научной работы на странице Hugging Face Papers, в тексте не названы ни авторы, ни организации. Цифры, результаты самих авторов на их собственном бенчмарке с симулированными коллегами; независимой проверки в тексте нет. Две ведущие модели в аннотации не названы, и неизвестно, входит ли среди них Claude-Opus-5.5. Названия моделей приведены так, как они даны в статье, и не подтверждены первичными источниками разработчиков. Показатели 93% и 64% даны только для Claude-Opus-5.5, эквивалентов для других моделей нет.

Риски и подводные камни

Результаты относятся к симулированной организации: поведение виртуальных коллег задано авторами, и реальные команды могут вести себя иначе. Оценка идёт по закрытым тестам, поэтому они отражают лишь то, что в них заложено. Прирост около 16 п.п. по F2P указан для двух моделей, Seed Evolving и GPT-6 Astra; переносить его на остальные нельзя. Не стоит смешивать метрики: 63%, доля пройденных тестов, а менее 8%, доля полностью выполненных заданий, это разные показатели.