Исследователи представили SWE-Duel: арену, где ИИ-агенты сами пишут задачи друг другу
Авторы статьи исходят из того, что статические бенчмарки для кодовых агентов фиксируются в момент выпуска: со временем их задачи попадают в обучающие данные, а более сильные агенты их насыщают. Взамен предлагается «самомасштабируемый» бенчмарк: задачи и проверки создаются прямо во время оценки, поэтому заранее нет контента, который мог бы утечь, а сложность задают сами участвующие агенты, а не фиксируют при выпуске.
SWE-Duel, арена, где два кодовых агента оценивают друг друга в зеркальных ходах Red, Blue. В каждом ходе Red-агент работает над реальным репозиторием в трёх сессиях с изолированным контекстом: сначала предлагает и реализует новую функцию вместе с тестами на неё, затем встраивает в эту функцию тонкую ошибку и добавляет скрытые тесты, которые эту ошибку запускают. Получившийся пулреквест (запрос на слияние) допускается, только если выполнены два условия: он проходит тесты новой функции и уже существующие тесты репозитория, но проваливает ровно тесты на ошибку; и свежая сессия того же агента способна починить ошибку вслепую, это отсекает нерешаемые задачи.
Затем Blue-агент проверяет пулреквест, не зная, что в нём есть ошибка. Он выигрывает, только если его исправленная версия проходит все три набора тестов (на новую функцию, существующие и на ошибку). После этого агенты меняются ролями.
Турнир провели между 11 участниками (связками модели с агентской оболочкой) на 15 репозиториях на пяти языках, всего 1 500 ходов. Лидеры побеждают по-разному. GPT-5.5 с Codex CLI занимает первое место как сильнейший решатель: чинит 98,3% дефектов, которые проверяет. Claude Opus 4.8 с mini-swe-agent, второй, как сильнейший автор задач, с долей побед в роли Red 27,3%.
Наконец, внутри одного семейства моделей задачи, написанные самой новой версией, побеждают фиксированного эталонного решателя заметно чаще, чем задачи старых версий (42,9% против 4,0%). Авторы называют это предварительным свидетельством того, что сложность задач растёт вместе со способностью автора их писать.
Ключевые факты
- SWE-Duel, арена, где два кодовых агента по очереди пишут задачу с подвохом на реальном репозитории и проверяют друг друга, а после каждого хода меняются ролями.
- Пулреквест Red допускается, только если он проходит тесты новой функции и существующие тесты, проваливает ровно тесты на ошибку, а свежая сессия того же агента способна починить ошибку вслепую.
- Турнир: 11 участников (связки модели с агентской оболочкой), 15 репозиториев на пяти языках, 1 500 ходов.
- GPT-5.5 с Codex CLI, первое место как решатель, чинит 98,3% проверяемых дефектов; Claude Opus 4.8 с mini-swe-agent, второй, как автор задач, с долей побед Red 27,3%.
- Внутри одного семейства моделей задачи новейшей версии побеждают эталонного решателя чаще, чем задачи старых версий: 42,9% против 4,0%, предварительное свидетельство, не доказательство.
Почему это важно
Статические бенчмарки для кодовых агентов фиксируются при выпуске: их задачи со временем утекают в обучающие данные, а сильные агенты их насыщают. SWE-Duel предлагает другой подход, создавать задачи и проверки в момент оценки, так что заранее нет контента, который мог бы утечь, а сложность определяется самими участниками. Это попытка сделать оценку, которая растёт вместе с агентами.
Кому это важно
Тем, кто строит и читает бенчмарки для кодовых агентов, и тем, кто сравнивает связки модели с агентской оболочкой. Результат турнира разделяет две способности: GPT-5.5 с Codex CLI лидирует как решатель, а Claude Opus 4.8 с mini-swe-agent, как автор задач, и это разные роли.
Как это применить
Это исследовательская работа, а не готовый продукт. В тексте не упомянуты ссылки на код, набор данных или таблицу лидеров, так что воспроизвести арену по одному описанию можно лишь схематично. Сама схема пригодна как образец: два агента, зеркальные роли, допуск задачи по трём условиям (тесты функции и существующие тесты проходят, тесты на ошибку проваливаются, ошибка чинится вслепую) и победа проверяющего только при прохождении всех трёх наборов тестов.
Можно ли доверять
Это научная статья, а в источнике приведена только её аннотация. В её тексте не названы авторы и организации. Вывод о том, что сложность задач растёт со способностью автора, сами авторы называют предварительным свидетельством. Семейство моделей и эталонный решатель, на которых получено 42,9% против 4,0%, в тексте не названы; остальные девять участников турнира, их места и результаты тоже не перечислены.
Риски и подводные камни
Цифры 98,3% и 27,3% описывают разные роли и разных участников: первая, доля починенных дефектов у GPT-5.5 с Codex CLI в роли Blue, вторая, доля побед Claude Opus 4.8 с mini-swe-agent в роли Red. Их нельзя сравнивать напрямую. Турнир ограничен 15 репозиториями на пяти языках и 1 500 ходами, а сами репозитории и языки не названы. Число допущенных задач и доля отклонённых Red-пулреквестов в тексте не приведены, поэтому судить о качестве отбора задач сложно.