Учёные изучили 259 систем агентного создания артефактов

Опубликован обзор по теме «агентного создания артефактов», обзор охватывает 259 работ, доступных по состоянию на 20 августа 2026 года: 230 систем, подходящих под это определение, и 29 бенчмарков для их оценки. Работу на Hugging Face Papers представил Tianfu Wang с соавторами.

Авторы определяют агентное создание артефактов как стейтфул-процесс: ИИ-система не просто выдаёт результат за один проход, а материально строит или правит готовый результат (deliverable), код, документ, изображение и так далее, а промежуточные наблюдения по ходу работы перенаправляют дальнейшие шаги. Функционально процесс держится на трёх элементах: операционном представлении самого артефакта, политике его построения (construction policy) и проверке во время выполнения (runtime verification), чья обратная связь может менять последующие действия агента.

Авторы сравнивают шесть семейств артефактов между собой, а применение систем и практику их оценки рассматривают как отдельные, независимые друг от друга измерения. Один из выводов: разбиение задачи на части (декомпозиция) снижает сложность на локальном уровне, но повышает издержки координации между частями и их последующей пересборки. Второй вывод: обученные ИИ-судьи (learned judges), которые оценивают результат работы генеративной модели, часто добавляют мало независимой пользы, если судья разделяет те же предпочтения или слепые зоны, что и модель-генератор, его оценка не даёт нового сигнала.

На основе разбора авторы формулируют принципы для таких систем: явно фиксировать обязательства (commitments) и ответственность за них, превращать обратную связь в точечный, а не сплошной ремонт, и заново проверять (revalidate) только те части состояния, которые затронуло изменение, а не весь артефакт целиком. Отдельно авторы называют направления, где предстоит удерживать связный и подотчётный контроль по мере того, как эволюционируют сами артефакты, замысел создателя и системы их построения. Курируемый список из 259 разобранных работ выложен в открытом доступе на GitHub.

Ключевые факты

Обзор охватывает 259 работ по состоянию на 20 августа 2026 года: 230 систем агентного создания артефактов и 29 бенчмарков для их оценки
Агентное создание артефактов, стейтфул-процесс: ИИ-система пошагово строит или правит готовый результат, а промежуточные наблюдения меняют дальнейшие шаги
Сравнили шесть семейств артефактов; разбиение задачи на части снижает локальную сложность, но повышает издержки координации и пересборки
Обученные ИИ-судьи часто не добавляют независимого сигнала, если разделяют предпочтения или слепые зоны модели-генератора
Сформулированы принципы: явные обязательства и ответственность, точечный ремонт по обратной связи, ревалидация только затронутой части состояния; полный список работ, на GitHub

Почему это важно

Инструменты на базе генеративных моделей давно умеют выдавать черновики, текст, код, изображения, за один проход. Но практическая польза от них зависит от того, способны ли они довести черновик до полноценного, надёжного результата, которому можно доверять без ручной доводки. Этот обзор, первая систематическая попытка описать именно такой класс систем: не «модель отвечает один раз», а «агент строит и правит артефакт по шагам, опираясь на проверки по ходу работы». Авторы вводят общий язык для этого поля, операционное представление артефакта, политика построения, верификация во время выполнения, и на 259 работах показывают, какие подходы к этому уже существуют.

Кому это важно

Разработчикам агентных инструментов, которые создают код, документы, дизайны или другой сложный результат, а не просто отвечают на вопрос. Исследователям, которые строят или оценивают такие системы и бенчмарки для них. Продуктовым командам, выбирающим архитектуру для агента, который должен не просто сгенерировать черновик, а довести его до готового, проверяемого результата.

Как это применить

Обзор даёт словарь и карту существующих подходов: 259 систем и бенчмарков, разложенных по шести семействам артефактов, доступны по курируемому списку на GitHub, с него разумно начать, прежде чем проектировать собственную систему с нуля. Из выводов обзора практически полезны два момента. Первый, решение декомпозировать задачу на части стоит принимать осознанно: это снижает сложность каждого отдельного шага, но добавляет цену за координацию частей и их пересборку в целое. Второй, если в системе используется обученный ИИ-судья для проверки результата, стоит убедиться, что он даёт независимую от генератора оценку, а не разделяет его же предпочтения и слепые зоны.

Можно ли доверять

Это не эмпирическое исследование с собственными экспериментами и метриками, а обзор (survey), синтез 259 чужих работ, систем и бенчмарков, доступных на момент 20 августа 2026 года. Материал опубликован на Hugging Face Papers, полный список разобранных работ выложен в открытом доступе на GitHub, что позволяет проверить охват и состав выборки. Достоверность такого текста опирается не на одну проверяемую цифру, а на полноту и аккуратность разбора существующего поля, судить об этом можно, только сверившись с полным текстом обзора и списком источников.

Риски и подводные камни

Сведение настолько разных артефактов, кода, изображений, текста, дизайна, в шесть общих семейств рискует сгладить реальные различия между ними: то, что верно для генерации кода, не обязательно переносится на генерацию изображений. Сформулированные авторами принципы, это рекомендации по итогам разбора литературы, а не проверенные экспериментально правила: их эффективность в конкретной системе обзор не измеряет. Отдельно стоит взять на заметку вывод про обученных ИИ-судей: команды, которые полагаются на оценку «ИИ проверяет ИИ» как на независимый сигнал качества, рискуют получить ложное чувство надёжности, если судья и генератор делят одни и те же слепые зоны.

«Разбиение задачи на части может снижать сложность на локальном уровне, но при этом повышает издержки координации между частями и их последующей пересборки.»

— авторы обзора