Aphanta показала: не все правки изображений помогают ИИ

Мультимодальные ИИ-модели (MLLM, модели, которые одновременно работают с текстом и изображениями) иногда рассуждают над сложной визуальной задачей не только «в уме», но и с помощью промежуточных изображений: отдельная модель-редактор вносит в картинку правку, например, обводит нужный объект или перерисовывает сцену в гипотетическом состоянии, и это изменённое изображение возвращается модели как дополнительная опора для дальнейших рассуждений. Идея в том, что такая внешняя пометка помогает модели удерживать пространственные детали и отслеживать изменения в сцене, которые трудно держать «в уме». Но насколько это работает на практике, зависит от того, способен ли редактор изображений точно выполнить нужную правку.

Исследователи представили Aphanta, автоматизированный фреймворк для диагностики именно этой связки: «мультимодальная модель → редактор изображений → мультимодальная модель». Aphanta сравнивает три варианта решения одной и той же задачи: модель рассуждает напрямую, без картинки-подсказки; модель рассуждает, получив промежуточное изображение, которое реально сделал редактор; и модель рассуждает, получив идеальное изображение-эталон. Разница между первым и третьим вариантом показывает, сколько пользы такие подсказки способны дать в принципе; разница между вторым и третьим показывает, насколько реальные сегодняшние редакторы изображений дотягивают до этого потенциала.

Фреймворк прогнали на 20 отобранных типах задач и нескольких сочетаниях редакторов изображений с мультимодальными моделями. Итог: польза от промежуточных изображений сильно зависит от типа задачи. Правки заметно помогают там, где нужно добавить визуальную подсказку, точно привязать (grounding) нужный объект к изображению или показать гипотетическое, «что если», состояние сцены. А там, где правка должна точно передавать символы и знаки или достраивать структуру за пределами видимого на исходном изображении, редакторы справляются заметно хуже, и результат ненадёжен.

На отдельно отобранном подмножестве задач, где правки изображений действительно приносят пользу, итоговый конвейер авторов на основе модели Qwen поднял средний балл по задачам с 0,343 до 0,445, то есть на 10,2 балла, или на 29,7% относительно исходного значения. При этом полное исследование намеренно сохраняет и отфильтрованные, неуспешные задачи, чтобы показать границу применимости метода, а не только его сильные стороны. Авторы делают вывод: редактирование изображений, это специализированное визуальное рабочее пространство для отдельных типов задач, а не универсальный механизм рассуждения, и предлагают Aphanta как переиспользуемый протокол для проверки того, насколько согласованы между собой представление задачи, реализация правки редактором и итоговая польза для конвейера.

Ключевые факты

Aphanta, автоматизированный фреймворк для диагностики связки «мультимодальная модель → редактор изображений → модель»: сравнивает рассуждение без картинки-подсказки, с картинкой от реального редактора и с идеальным изображением-эталоном.
Фреймворк проверили на 20 отобранных типах задач и нескольких сочетаниях редакторов изображений с мультимодальными моделями.
Правки-подсказки заметно помогают там, где нужно добавить визуальную подсказку, привязать нужный объект к изображению или показать гипотетическое состояние сцены.
Там, где нужна точная передача символов и знаков или достраивание структуры за пределами видимого, современные редакторы изображений справляются ненадёжно.
На отдельно отобранном подмножестве задач с реальной пользой итоговый конвейер на основе Qwen поднял средний балл с 0,343 до 0,445 (+10,2 балла, +29,7% относительно исходного значения).

Почему это важно

Идея «дать модели порисовать», заставить систему редактировать или размечать изображение прямо в процессе рассуждения, выглядит как простой способ усилить мультимодальные модели: добавил стрелку, обвёл объект, перерисовал сцену, и модель как будто «увидела» то, что раньше держала только в уме. Aphanta системно проверяет, насколько эта интуиция подтверждается на практике, а не остаётся общим утверждением «картинки помогают». Оказывается, помогают, но не универсально, а только для определённого класса задач, и это меняет то, как стоит проектировать подобные конвейеры рассуждений.

Кому это важно

В первую очередь, исследователям и инженерам, которые строят мультимодальные агентные конвейеры с шагами редактирования изображений внутри цепочки рассуждений. Также, командам, которые оценивают, стоит ли добавлять вызов модели-редактора как инструмент в мультимодального агента, и авторам бенчмарков для мультимодальных моделей, которым нужен протокол для отделения «потенциальной пользы картинки» от «реальной пользы конкретного редактора».

Как это применить

Перед тем как встраивать редактор изображений в цепочку рассуждений мультимодальной модели, стоит определить тип задачи по диагностике, которую предлагает Aphanta: если нужно добавить визуальную подсказку, привязать объект к изображению или показать гипотетическое состояние сцены, правка, скорее всего, окупится. Если же задаче нужна точная передача символов и знаков или достраивание структуры за пределами видимого, судя по результатам работы, вызов редактора, скорее, добавит задержку и стоимость без надёжного выигрыша. Сам протокол Aphanta, с тремя условиями сравнения, можно использовать и отдельно, как способ заранее проверить конкретную связку «модель + редактор» на своих задачах, а не полагаться на общее предположение, что картинки-подсказки всегда полезны.

Можно ли доверять

Это материал, опубликованный как страница на Hugging Face Papers, витрине научных работ. В самом тексте нет ни имён авторов, ни организации, ни даты публикации, ни указания на то, прошла ли работа рецензирование. Публикация набрала всего 3 балла и 2 комментария, то есть пока не получила заметного обсуждения в сообществе. Заявленная методика и числа выглядят конкретными и проверяемыми в принципе, но независимо от текста самой страницы проверить их пока нечем.

Риски и подводные камни

Улучшение с 0,343 до 0,445 показано только на отдельно отобранном подмножестве задач, где правки изображений уже работают, а не по всем 20 проверенным типам задач сразу: авторы прямо говорят, что полное исследование сохраняет и отфильтрованные, неуспешные задачи именно для того, чтобы не создавать впечатления универсального выигрыша. В тексте также не приведено число для варианта с идеальным изображением-эталоном, поэтому неясно, насколько велик разрыв между теоретическим потолком пользы и тем, что реально дают сегодняшние редакторы изображений. Наконец, из текста не следует, какие именно редакторы изображений и какая версия Qwen использовались, перенос результата на другие модели ничем не гарантирован.