Исследователи Alibaba создали Co-Design Bench: лучший ИИ-агент полностью решает лишь 26,4% задач

Исследователи Alibaba создали Co-Design Bench: лучший ИИ-агент полностью решает лишь 26,4% задач

Исследователи из Alibaba и нескольких азиатских университетов создали Co-Design Bench, новый тест для ИИ-агентов, пишущих код. Он собран из реальных запросов пользователей: агент должен переработать уже существующее веб-приложение, а входными данными иногда служат изображения, аудиозаписи, видео или документы.

Согласно статье, лучшая из десяти проверенных моделей, GPT-6 Astra, в среднем выполняет около 70% требований задачи, но полностью верный результат получает лишь в 26,4% задач. Обычно агент делает основную часть работы, но оставляет недоделанной хотя бы одну деталь, поэтому пользователю почти всегда приходится дорабатывать результат вручную.

Авторы объясняют появление теста насыщением прежних бенчмарков: когда модели могут сами запускать, проверять и исправлять свой код, они набирают на них свыше 99%, и различия между моделями почти не измеряются. Co-Design Bench опирается на реальные запросы из настоящих сессий программирования. Исследователи отбирали случаи, где пользователю приходилось несколько раз переформулировать запрос или откатывать изменения, то есть задачи, с которыми ИИ-агенты уже испытывали трудности на практике. Масштаб, от мелких правок (например, достать сумму из чека и обновить все зависящие от неё итоги) до полной переделки проекта.

Оценка тоже строгая. Один ИИ-судья проверяет готовое приложение в браузере, второй перепроверяет каждый положительный вердикт и ищет макеты и жёстко прописанные результаты. Баллы начисляются только за функции, которые реально работают в приложении.

После GPT-6 Astra следуют Claude Opus 5 и Qwen3.8-Max, последнее место у Grok 4.6. На крупных переработках заметно меньшая Qwen3.8-27B поднимается на второе место, но авторы не делают из этого вывода о её общем преимуществе. У всех моделей результат падает, когда в одной задаче сочетается несколько типов изменений, вёрстка, дизайн, взаимодействие, содержание, а в реальных проектах такие связанные требования обычное дело. Дополнительные вычисления слабость не лечат: GLM-5.2 на небольших изменениях расходует почти в шесть раз больше токенов, чем GPT-6 Astra, и всё равно заметно уступает ей.

Отдельным опытом исследователи прогнали одни и те же модели в разных рабочих средах (harness), программах, через которые агент читает, пишет и запускает код. Qwen3.8-27B на крупных переработках набрала 75 или лишь 56% в зависимости от среды; от среды зависело и то, какая из двух моделей окажется впереди. Поэтому авторы рекомендуют всегда указывать вместе модель и рабочую среду, а компаниям, выбирающим кодинг-агента, тестировать обе части как пару.

У теста есть ограничения: на задачу приходится один фиксированный запрос, уточняющие вопросы и правки пользователя по ходу работы в него не входят, а ИИ-судьи тоже могут ошибаться. Для сравнения приводится исследование организации METR: реальная доля принятого руководителями проектов ИИ-кода была примерно на 24 процентных пункта ниже результатов на широко используемом SWE-bench Verified. Ещё источник отмечает, что ошибки тестовых сред позволяют агентам проходить задачи, не решая их, а недавнее исследование кодинг-агентов не нашло почти никакой измеримой пользы от более сложных рабочих сред, хотя те тратили до трёх раз больше токенов.

Ключевые факты

  • Co-Design Bench собран из реальных запросов на переработку существующих веб-приложений; на вход иногда подаются изображения, аудио, видео и документы.
  • Лучшая из десяти моделей, GPT-6 Astra, в среднем выполняет около 70% требований задачи, но полностью верный результат даёт в 26,4% задач.
  • Старые бенчмарки насыщены: при возможности самим запускать и исправлять код модели набирают на них свыше 99%.
  • Результат сильно зависит от рабочей среды: Qwen3.8-27B на крупных переработках набрала 75 или 56% в зависимости от среды.
  • Больше вычислений не помогает: GLM-5.2 тратит почти в шесть раз больше токенов, чем GPT-6 Astra на небольших изменениях, и всё равно хуже.

Почему это важно

Старые тесты для кодинг-агентов почти исчерпаны: на них модели получают свыше 99%, и отличить одну от другой трудно. Co-Design Bench показывает другую картину на задачах, близких к реальным: даже лучшая модель полностью справляется лишь с 26,4% из них, хотя в среднем закрывает около 70% требований. Это перекликается с исследованием METR, где принятие ИИ-кода руководителями проектов оказалось примерно на 24 процентных пункта ниже результатов на SWE-bench Verified.

Кому это важно

Командам и компаниям, которые выбирают или уже используют ИИ-агентов для разработки: оценки на привычных бенчмарках могут сильно завышать то, чего ждать на практике. Также тем, кто составляет рейтинги и сравнения: авторы советуют указывать модель вместе с рабочей средой, потому что вместе они определяют результат.

Как это применить

Источник предлагает тестировать модель и рабочую среду (harness) как пару, а не выбирать по таблице лидеров, где указана только модель. На практике стоит заранее закладывать ручную доработку результата: по данным статьи, агент обычно делает основную часть, но оставляет хотя бы одну деталь недоделанной. Сложные задачи, где смешаны вёрстка, дизайн, взаимодействие и содержание, лучше дробить: у всех моделей результат падает по мере сочетания разных типов изменений.

Можно ли доверять

Статья The Decoder пересказывает исследовательскую работу; в тексте не названы заголовок статьи, имена авторов и университеты, кроме Alibaba, а также нет оценок Claude Opus 5, Qwen3.8-Max и Grok 4.6 и общего числа задач. Не названо, какие модели служат ИИ-судьями и какие именно рабочие среды сравнивались. Цифры по GPT-6 Astra даны по тексту статьи («according to the paper»). Сами судьи могут ошибаться, о чём прямо сказано в источнике.

Риски и подводные камни

Тест оценивает один фиксированный запрос на задачу: уточняющие вопросы и правки пользователя по ходу работы в него не входят, хотя в реальной работе они обычны. Оценка зависит от ИИ-судей, которые могут ошибаться. Результат малой Qwen3.8-27B на крупных переработках (второе место) авторы не считают доказательством общего преимущества модели. Кроме того, влияние рабочей среды неоднозначно: недавнее исследование не нашло почти никакой измеримой пользы от более сложных сред, хотя они тратили до трёх раз больше токенов.