ProVisE: фреймворк оценивает пространственное мышление генеративных моделей через пиксели

Пространственное мышление, способность ориентироваться в местах, областях и маршрутах, необходимо ИИ-агентам, чтобы перейти от чисто смыслового понимания текста к взаимодействию с физическим миром. Многие пространственные задачи естественнее выразить не координатами или текстовым описанием, а прямым действием на изображении: указать точку, обвести область, провести линию. Но существующие бенчмарки пространственного мышления почти всегда требуют ответа в виде координат, вариантов выбора или текста. Из-за этого возникает несовпадение формата ответа: модели, которые генерируют изображения, нельзя было честно сравнить по тем же задачам с текстовыми языковыми моделями (VLM), хотя в принципе они способны выражать пространственные суждения прямо в пикселях, рисунком.

Авторы предлагают фреймворк ProVisE (Protocolized Visual Evaluation), не привязанный к конкретному бенчмарку инструмент, который заставляет модели, генерирующие изображения, отвечать по строгому протоколу (например, отметить нужную точку или область на картинке), а затем автоматически превращает такой визуальный ответ в структурированные данные, совместимые с исходными метриками задачи. В состав ProVisE входит агентный конструктор протоколов: он сам строит и проверяет протокол ответа для новых, ранее не поддерживаемых бенчмарков.

Дополнительно авторы собрали SpatialGen-Bench, диагностический бенчмарк из 470 примеров, охватывающий 14 подзадач по пространственному мышлению, четыре уровня сложности и разные форматы ответа. На нём, а также ещё на шести внешних пространственных бенчмарках, где отдельно проверяли работу агентного конструктора протоколов, сравнили представительный набор текстовых VLM и моделей генерации изображений в едином формате оценки.

Результат: там, где пространственный ответ можно выразить прямо в пикселях (например, отметить область на картинке), модели генерации изображений показывают результат на уровне текстовых VLM. Но в задачах на комбинированное, составное пространственное рассуждение, где нужно последовательно сопоставлять несколько пространственных отношений, текстовые модели по-прежнему заметно сильнее. Авторы делают вывод, что выражение через пиксели и текстовое рассуждение, взаимно дополняющие, а не конкурирующие способности, и предлагают ProVisE вместе с SpatialGen-Bench как метрически совместимый стенд для дальнейшего изучения пространственного мышления моделей генерации изображений.

Ключевые факты

Фреймворк ProVisE заставляет модели генерации изображений отвечать на пространственные задачи по строгому протоколу (метка или область на картинке) и переводит такой ответ в формат, совместимый с обычными метриками бенчмарков.
В состав ProVisE входит агентный конструктор протоколов, который сам строит и проверяет протокол визуального ответа для новых бенчмарков, это подтвердили на шести внешних пространственных бенчмарках.
Представлен новый диагностический бенчмарк SpatialGen-Bench: 470 примеров, 14 подзадач по пространственному мышлению, четыре уровня сложности.
Там, где пространственный ответ можно выразить прямо в пикселях, модели генерации изображений показывают результат на уровне текстовых языковых моделей (VLM).
В задачах на комбинированное, составное пространственное рассуждение текстовые модели по-прежнему заметно опережают модели генерации изображений.

Почему это важно

ИИ-агентам, которые должны не просто рассуждать о мире в тексте, а действовать в нём, например, роботам или визуальным ассистентам, необходимо пространственное мышление: понимание мест, областей и маршрутов. Часть таких задач естественно решается не координатами, а прямым визуальным ответом, отметкой на изображении. Но стандартные бенчмарки пространственного мышления требуют ответа в виде текста или координат, поэтому модели, которые умеют генерировать изображения, до сих пор нельзя было честно сравнить с текстовыми языковыми моделями на одних и тех же задачах. ProVisE закрывает именно этот методологический разрыв, впервые позволяя оценивать оба типа моделей по общим метрикам.

Кому это важно

В первую очередь, исследователям, которые разрабатывают и сравнивают генеративные и мультимодальные модели и хотят понимать их сильные и слабые стороны в пространственных задачах. Это важно и для команд, которые проектируют бенчмарки и метрики оценки ИИ: агентный конструктор протоколов ProVisE позволяет адаптировать любой существующий пространственный бенчмарк под визуальный формат ответа. Наконец, результаты полезны разработчикам embodied-агентов и робототехнических систем, которым важно понимать, когда лучше полагаться на текстовые модели, а когда, на генерацию изображений.

Как это применить

ProVisE и SpatialGen-Bench, исследовательский инструментарий, а не готовый коммерческий продукт: в источнике нет ни цены, ни лицензии, ни отдельного релиза кода. Практическая ценность, для тех, кто строит или выбирает бенчмарки: агентный конструктор протоколов ProVisE можно применить к своему пространственному бенчмарку, чтобы автоматически получить протокол визуального ответа и сравнить в нём модели генерации изображений с текстовыми VLM по общим метрикам. SpatialGen-Bench, в свою очередь, можно использовать как готовый набор из 470 диагностических примеров для проверки конкретной модели на 14 видах пространственных задач.

Можно ли доверять

Авторы проверяли подход не на одном наборе данных: помимо собственного SpatialGen-Bench (470 примеров, 14 подзадач, четыре уровня сложности), они подтвердили работу агентного конструктора протоколов на шести внешних пространственных бенчмарках и сравнили представительный набор текстовых VLM и моделей генерации изображений в едином формате оценки. Это говорит в пользу воспроизводимости результата. При этом материал, свежая научная публикация (страница на Hugging Face Papers, 11 отметок и 1 комментарий на момент пересказа), то есть выводы стоит воспринимать как предложенную исследователями методологию, которой ещё предстоит пройти проверку широким сообществом, а не как устоявшийся стандарт.

Риски и подводные камни

Главный практический вывод исследования сам по себе содержит предостережение: в задачах на комбинированное, составное пространственное рассуждение модели генерации изображений заметно уступают текстовым VLM, то есть перевод ответа в пиксели, не универсальное решение. Кроме того, разбор визуального ответа в структурированные предсказания, дополнительный шаг конвейера ProVisE, который тоже может вносить ошибки. Насколько устойчив автоматический агентный конструктор протоколов на очень разнородных бенчмарках, покажет только более широкое использование фреймворка другими исследовательскими группами.