TRACE-Bench: бенчмарк нашёл главное слабое место ИИ-генераторов изображений по нескольким референсам

Исследователи указывают, что существующие бенчмарки для генерации изображений по нескольким референсам построены вокруг заранее заданных типов задач (например, «композиция субъекта»). Такой подход плохо подходит для комбинаторной природы этой генерации: он даёт фрагментарное покрытие, неконтролируемую сложность тестовых случаев и почти не позволяет понять, на каком именно шаге модель ошибается.

Вместо этого авторы предложили смотреть на задачу через призму способностей модели и выделили четыре базовых оператора: привязка (Anchor), разделение (Disentangle), применение (Apply) и композиция (Compose). Любой мультиреференсный запрос можно представить как формулу из этих операторов, а число операторных слотов в формуле задаёт структурную сложность запроса.

На основе этой формулы построен сам бенчмарк, TRACE-Bench. Он включает около 1600 тестовых случаев со сложностью от 1 до 8 операторных слотов, собранных из 631 шаблона формул и около 4000 референсных изображений, от разных художественных стилей до реальных объектов. Структура формул напрямую задаёт протокол оценки: каждую способность модели измеряют отдельно, а дерево диагностики позволяет рекурсивно найти шаг, на котором генерация сломалась.

Авторы протестировали 9 ведущих моделей и получили результат, незаметный при обычной суммарной оценке: главное узкое место, не сборка сцены (Compose), а разделение (Disentangle) и привязка атрибутов (Apply). По точности привязки атрибутов даже лучшая из проверенных моделей набрала лишь 0,74 балла.

Ключевые факты

Существующие бенчмарки мультиреференсной генерации изображений построены вокруг заранее заданных типов задач и дают фрагментарное покрытие без диагностической ценности.
Авторы формализовали четыре базовых оператора, привязка (Anchor), разделение (Disentangle), применение (Apply) и композиция (Compose), и представляют любой запрос как формулу из них.
TRACE-Bench включает около 1600 тестовых случаев со сложностью от 1 до 8 операторных слотов, построенных из 631 шаблона формул и около 4000 референсных изображений.
Структура формул задаёт протокол оценки по каждой способности отдельно и дерево диагностики для поиска шага, на котором модель ошибается.
На 9 ведущих моделях главным узким местом оказались разделение и привязка атрибутов, а не сборка сцены: даже у лучшей модели точность привязки атрибутов, всего 0,74.

Почему это важно

Старые бенчмарки мультиреференсной генерации оценивают модель одной суммарной оценкой по заранее заданным типам задач, это не показывает, какая именно способность модели подводит. TRACE-Bench вместо этого раскладывает любой запрос на четыре базовых оператора и измеряет каждый отдельно, поэтому впервые видно, что модели проваливаются не на сборке сцены, а на разделении референсов и привязке атрибутов к нужным объектам, деталь, невидимая при суммарной оценке.

Кому это важно

Прежде всего, исследователям и командам, которые разрабатывают и сравнивают мультимодальные модели генерации изображений по нескольким референсам: инструмент даёт не общий балл, а точную локализацию проблемы по каждой операции. Полезно и тем, кто выбирает готовую модель под задачи вроде переноса стиля с одного изображения на объект с другого, TRACE-Bench показывает, на какой именно комбинаторной сложности модель начинает ломаться.

Как это применить

Протокол оценки TRACE-Bench завязан на операторную формулу запроса: разработчик модели может прогнать её через тестовые случаи разной сложности (от 1 до 8 слотов) и с помощью дерева диагностики рекурсивно найти, на каком операторе, привязке, разделении, применении или композиции, происходит сбой, а не просто получить итоговый балл. Страница проекта: amuseum-whr.github.io/TraceBench.

Можно ли доверять

Источник, карточка научной работы на Hugging Face с полным текстом аннотации, методология описана достаточно детально: чёткое определение операторов, объём тестовых случаев и изображений, конкретная числовая метрика (0,74) для итогового вывода. В доступном тексте нет имён авторов, институциональной принадлежности и данных о публикации или площадке, независимую проверку результатов текст не позволяет.

Риски и подводные камни

Вывод о том, что разделение и привязка атрибутов, главное узкое место, сделан самими авторами бенчмарка на их же тестовых случаях; независимой проверки на других данных в тексте нет. Какие именно 9 моделей тестировались, не раскрыто, поэтому сравнить результат с конкретными продуктами на рынке сейчас нельзя.