CanvasAgent: агент, который учится сам подбирать визуальные инструменты для сложного создания и редактирования изображений
Команда во главе с Хайруй Чжу описывает проблему: сложные задачи по созданию и редактированию изображений редко решаются одной моделью. Один пользовательский запрос может потребовать сразу нескольких шагов, сгенерировать изображение, найти на нём нужный объект, выделить область (сегментация), отредактировать выбранный фрагмент, собрать промежуточные заготовки в одну композицию, распознать текст на картинке и улучшить финальный результат. Это смещает задачу мультимодальных агентов от «посмотреть и понять» к «активно изменить визуальное состояние», а инструменты должны не просто анализировать изображение, а преобразовывать его. Проблема в том, что существующие агенты, работающие с инструментами, в основном заточены под восприятие, поиск или узкоспециализированное редактирование, и для них нет масштабных обучающих данных с полными, исполняемыми сценариями создания изображений.
Авторы решают эту проблему двумя частями. Первая, CanvasCraft, крупный датасет для обучения мультимодальных агентов работе с инструментами: 140 тысяч полностью размеченных исполняемых траекторий (пошаговых цепочек действий) и ещё 10 тысяч заданий, размеченных специально для обучения с подкреплением. Вторая часть, CanvasAgent, агент, дополненный набором инструментов, который учится самостоятельно выстраивать последовательность разнородных визуальных операций через многошаговое взаимодействие.
Обучение CanvasAgent идёт в два этапа. Сначала модель проходит контролируемое дообучение (SFT) на готовых траекториях из CanvasCraft, чтобы освоить логику «рассуждение → действие → результат». Затем модель дополнительно оптимизируют методом обучения с подкреплением GRPO, используя гибридную награду: она учитывает и итоговый результат (насколько хорошо получилось финальное изображение), и качество самого процесса (насколько разумно агент выбирал шаги). Во время работы (rollout) CanvasAgent проверяет промежуточные результаты, отслеживает состояние всех визуальных заготовок и на лету меняет план действий в зависимости от того, как выглядит картинка на текущем шаге.
В экспериментах авторы оценивали как итоговое качество изображений, так и поведение агента на протяжении всей цепочки действий, и показали, что и связка инструментов CanvasAgent, и сам датасет CanvasCraft эффективны для сложных многошаговых сценариев создания изображений, требующих оркестровки нескольких визуальных инструментов.
Ключевые факты
- CanvasCraft, датасет из 140 000 полностью размеченных исполняемых траекторий и 10 000 заданий для обучения с подкреплением по созданию и редактированию изображений
- CanvasAgent, мультимодальный агент, который комбинирует разнородные визуальные инструменты (генерация, поиск объектов, сегментация, редактирование, композитинг, распознавание текста) для выполнения одного сложного запроса
- Обучение идёт в два этапа: сначала контролируемое дообучение (SFT) на готовых траекториях, затем оптимизация методом обучения с подкреплением GRPO с гибридной наградой за итог и за процесс
- Во время выполнения задачи агент проверяет промежуточные результаты, отслеживает визуальные заготовки и адаптирует выбор инструментов под меняющееся состояние изображения
- Эксперименты оценивали и качество итоговых изображений, и поведение агента на всей цепочке шагов, подтвердив эффективность подхода для сложных многоинструментных сценариев
Почему это важно
Большинство существующих мультимодальных агентов умеют либо анализировать изображения, либо выполнять узкую операцию редактирования, но не выстраивать длинную цепочку разных визуальных действий под один сложный запрос. CanvasAgent и датасет CanvasCraft закрывают именно этот пробел, они дают модели и данные, и обучающую методику для того, чтобы агент сам решал, какой инструмент применить на каждом шаге и как собрать результат воедино.
Кому это важно
В первую очередь, исследователям и инженерам, разрабатывающим мультимодальные агенты и инструменты для генеративного дизайна, а также командам, которые создают продукты для автоматизированного создания и правки изображений (маркетинг, дизайн, контент-производство) и ищут способ связать разрозненные визуальные модели в единый управляемый пайплайн.
Как это применить
CanvasCraft можно использовать как обучающий датасет для собственных агентов, работающих с визуальными инструментами, а двухэтапная схема обучения (SFT, затем GRPO с гибридной наградой за результат и за процесс), как готовый рецепт дообучения агента под сложные многошаговые задачи создания и редактирования изображений, а не только под одиночную генерацию.
Можно ли доверять
Материал, научная работа, опубликованная на HuggingFace Papers; авторы описывают датасет и агента с конкретными числовыми характеристиками (140К траекторий, 10К RL-заданий) и приводят экспериментальную оценку и по качеству изображений, и по поведению агента. На площадке публикация собрала 9 отметок и 3 комментария, умеренный интерес в узком кругу специалистов по мультимодальным агентам.
Риски и подводные камни
В тексте не раскрыты детали самих экспериментов, конкретные метрики, модели-конкуренты для сравнения и результаты в цифрах, поэтому по одной аннотации трудно судить, насколько CanvasAgent превосходит существующие подходы. Не уточняется и то, насколько дорого воспроизвести обучение на 140 тысячах траекторий и открыты ли датасет и веса модели для внешнего использования.
«Во время выполнения задачи CanvasAgent проверяет промежуточные результаты, отслеживает визуальные заготовки и адаптирует решения по выбору инструментов под меняющееся визуальное состояние.»
— из аннотации статьи CanvasAgent