Представлен бенчмарк RoTA-Bench: GPT-5.6-Sol решает лишь 17% задач на повороты 3D-объектов
Авторы статьи ставят вопрос: могут ли модели, работающие с изображением и текстом (vision-language models), превращать двумерные наблюдения в трёхмерное понимание, на основе которого можно точно действовать. Для этого нужно определить геометрию объекта, предвидеть эффект поворота и корректировать действия по визуальной обратной связи. Чтобы проверить эти способности, они представили RoTA-Bench, бенчмарк на основе интерактивного совмещения 3D-объекта с его 2D-проекцией.
Задача устроена так. Дан целевой силуэт. Модель видит повёрнутый объект и выбирает последовательные повороты, чтобы воспроизвести целевую проекцию в рамках ограниченного бюджета действий. Автоматический конвейер строит трёхмерные объекты, сохраняющие силуэт, из плоских иконок и использует обратимую инициализацию, чтобы гарантировать разрешимость задачи. На выходе получилось 674 задачи и стратифицированный тестовый набор из 100 задач.
Авторы сообщают о трёх эмпирических находках. Первая: сохраняется существенный разрыв между человеком и моделью. GPT-5.6-Sol справляется лишь с 17% задач, тогда как 20 студентов бакалавриата вместе проходят тестовый набор четыре раза со 100% успехом. Вторая: прогресс в пространстве изображения и в пространстве позы может расходиться. В сопоставимых состояниях модель чаще, чем люди, улучшает перекрытие силуэтов, одновременно ухудшая выравнивание позы: 19,4% против 10,9%. Третья: точное управление чувствительно к истории взаимодействия. Если её убрать, 96,8% действий модели оказываются грубым шагом в 30 градусов, а доля решённых задач заметно падает.
Итог авторов: главная трудность, превратить визуальные свидетельства в точное управление в 3D, а не просто распознать или сопоставить отдельные изображения.
Ключевые факты
- RoTA-Bench проверяет, может ли модель по целевому силуэту подобрать последовательность поворотов 3D-объекта и воспроизвести проекцию в рамках ограниченного бюджета действий.
- Автоматический конвейер строит 3D-объекты из 2D-иконок с обратимой инициализацией (разрешимость гарантируется): получилось 674 задачи и стратифицированный тестовый набор из 100 задач.
- GPT-5.6-Sol успешно решает лишь 17% задач; 20 студентов бакалавриата вместе прошли тестовый набор четыре раза со 100% успехом.
- В сопоставимых состояниях модель чаще людей улучшает перекрытие силуэтов, ухудшая выравнивание позы: 19,4% против 10,9%.
- Без истории взаимодействия 96,8% действий модели приходятся на грубый шаг в 30 градусов, а успех заметно падает.
Почему это важно
Бенчмарк проверяет не распознавание отдельных картинок, а умение превращать увиденное в точное управление объектом в трёх измерениях. Результат показывает, что здесь остаётся серьёзный разрыв: при 17% успеха у GPT-5.6-Sol люди на том же тестовом наборе добиваются 100% (20 студентов вместе проходят набор четыре раза). Заметно и качественное расхождение: модель чаще людей улучшает совпадение силуэта, ухудшая при этом позу объекта.
Кому это важно
Исследователям мультимодальных моделей и авторам бенчмарков по пространственному мышлению. Также тем, кто думает о том, чтобы доверять нейросетям управление объектами по визуальной обратной связи: работа показывает, что умение сопоставлять изображения само по себе не даёт точного 3D-контроля.
Как это применить
Прямого инструмента для практики в описании нет. Бенчмарк можно использовать как ориентир при оценке мультимодальных моделей: 674 задачи и стратифицированный тестовый набор из 100 задач, где требуется подбирать повороты по визуальной обратной связи. Результат о роли истории взаимодействия подсказывает, что при построении агентов, управляющих объектами по картинке, стоит проверять, как влияет сохранение предыдущих шагов.
Можно ли доверять
Это препринт: цифры приводят сами создатели бенчмарка. В тексте названа одна модель, GPT-5.6-Sol, и сравнений с другими моделями нет. Авторы и организации в источнике не названы. Размер бюджета действий не указан. Количественный успех без истории взаимодействия не приведён, сказано лишь, что он заметно падает. Человеческая выборка небольшая: 20 студентов, результат которых считается совместно.
Риски и подводные камни
Не стоит читать 17% как общую оценку пространственного мышления модели: это успех на одном типе задач с силуэтами из иконок. Не уточнено, на каком наборе, из 100 или из 674 задач, получено значение 17%. Не ясно, к чему относятся 19,4% и 10,9% помимо формулировки «в сопоставимых состояниях». Сравнение с людьми идёт по коллективному результату 20 участников, а не по отдельному человеку.