Microsoft представила MindTopo: ИИ видит топологию, но теряется в планировании

Microsoft Research представила MindTopo, новый бенчмарк для проверки того, понимают ли мультимодальные ИИ-модели топологию: свойства сцены, которые сохраняются при изгибах, растяжении и деформации объектов, а не зависят от точных расстояний, углов или форм. Речь о таких понятиях, как связность (остались ли две комнаты соединены после появления стены), вложенность (находится ли животное внутри ограды), порядок и настоящие узлы в отличие от просто спутанной верёвки. По словам авторов, эти свойства, базовый слой пространственного мышления человека в когнитивной науке, но их почти не проверяют у современных мультимодальных моделей, которые обычно тестируют на евклидовых характеристиках: расстоянии, направлении, размере и относительном положении.

Вдохновляясь классификацией топологических способностей у Пиаже и другой когнитивной литературой, авторы разложили задачи MindTopo на пять категорий: непрерывность (остаётся ли путь или объект целым), разделение (образуют ли соседние элементы одну структуру или разные части), порядок (как элементы расположены вдоль пути или при преобразовании), вложенность (создаёт ли граница внутреннюю и внешнюю область) и узлы (по-настоящему ли завязана верёвка или лишь спутана на вид). Каждую из пяти категорий проверяют на двух уровнях. В задачах на рассуждение модель смотрит на одну или несколько отрендеренных сцен и отвечает на вопрос об их топологии, например, соединены ли две точки в лабиринте. В задачах на планирование модель уже взаимодействует с симулированной средой и выбирает действия, которые должны создать, сохранить или убрать заданное отношение: повернуть сегменты трубы, провести разделяющий путь, переставить блоки, поймать движущегося агента, распутать верёвки. Среда принудительно разрешает только физически допустимые действия, поэтому модель не может решить головоломку с верёвками, просто проведя одну прядь сквозь другую. Все сцены генерируются контролируемыми симуляторами с точным эталонным ответом и настраиваемой сложностью, это позволяет отличить ошибку из-за визуально сложной сцены от ошибки из-за неспособности удержать связь между объектами по мере их движения.

По результатам тестирования широкого набора проприетарных и открытых моделей результат оказался устойчиво выше на статичном распознавании, чем на интерактивном планировании, и в обоих случаях заметно ниже человеческого уровня, особенно когда успех зависел от сохранения отношения на протяжении многих действий подряд. Разбор ошибок показывает разную природу провалов: ошибки на статичных сценах обычно связаны с восприятием, модель не замечает стену, проём или пересечение. Ошибки в планировании возникают уже после того, как сцена понята: модель делает локально правдоподобный ход, не отслеживая его дальнейших последствий, теряет задачу за несколько ходов или предлагает действие, нарушающее физику среды.

Авторы также проверили, помогает ли генерация изображений и видео моделям удерживать топологическое понимание. Генерация изображений иногда помогала, если нужное отношение было видно в одном кадре, но оставалась ненадёжной на протяжении последовательности пересечений или перемещений. Видео-ролики часто искажали топологию сцены или нарушали динамику задачи, визуальная симуляция оказывалась полезной ровно настолько, насколько она сохраняла структурные ограничения во времени.

В тексте не приводятся конкретные числовые баллы или процентные разрывы между статичными и интерактивными задачами, не названы конкретные протестированные модели и не указаны размер датасета, число задач или сцен, дата релиза бенчмарка и доступность кода, публикация носит описательный характер.

Ключевые факты

Microsoft Research выпустила бенчмарк MindTopo для проверки топологического мышления мультимодальных ИИ-моделей.
Задачи разбиты на пять категорий: непрерывность, разделение, порядок, вложенность и узлы, классификация вдохновлена работами Пиаже.
Каждая категория проверяется на двух уровнях: статичное распознавание топологии на изображении и планирование действий в симулированной среде.
Модели заметно лучше справляются со статичным распознаванием, чем с последовательным планированием, и в обоих случаях отстают от человека.
Ошибки в планировании возникают не из-за восприятия сцены, а из-за потери структурных связей при её изменении или из-за действий, нарушающих физику среды; генерация видео часто искажала топологию.

Почему это важно

MindTopo показывает конкретный и воспроизводимый разрыв в возможностях мультимодальных моделей: они способны узнать связность, вложенность или узел на отдельной картинке, но это понимание разваливается, как только сцену нужно менять шаг за шагом. Это означает, что у текущих моделей нет устойчивого внутреннего представления топологии, они скорее угадывают по внешнему виду кадра, чем удерживают структуру сцены как факт, который сохраняется при действиях.

Кому это важно

В первую очередь, разработчикам робототехники, вспомогательных технологий для людей с ограниченными возможностями и интерактивных ИИ-ассистентов, где решения принимаются на основе понимания того, что остаётся соединённым, огороженным, упорядоченным или завязанным по мере действий. Также полезно исследователям мультимодальных моделей и world models, которые ищут способ измерить именно этот тип пространственного мышления, а не только евклидовы метрики расстояния и положения.

Как это применить

MindTopo задуман как диагностический инструмент, а не готовый продукт: авторы описывают методологию генерации сцен и задач через контролируемые симуляторы с точным эталонным ответом, что позволяет разработчикам моделей проверять именно топологическое мышление отдельно от сложности восприятия сцены. Авторы связывают дальнейшее развитие с моделями, которые явно хранят топологическое состояние, или с world models, чьи предсказания сохраняют топологию по построению, то есть с направлением исследований, а не с готовым к использованию продуктом.

Можно ли доверять

Источник, официальный блог Microsoft Research о собственном исследовании, что даёт полноту описания методологии, но не независимую проверку. В тексте не приведены ни числовые баллы моделей, ни имена конкретных протестированных моделей, ни размер датасета или число задач, заявления о разрыве между статичным распознаванием и планированием подкреплены лишь общим описанием результатов на «широком наборе» моделей, без цифр, которые позволили бы сравнить с другими бенчмарками.

Риски и подводные камни

Главный подводный камень, сама публикация не даёт цифр, поэтому масштаб разрыва между статичным распознаванием и планированием оценить со стороны нельзя, только поверить описанию авторов. Практический риск для приложений: если ИИ-система теряет понимание топологии именно в момент планирования действий, в реальных сценариях, робототехника, навигация, физическое манипулирование объектами, это может приводить к физически некорректным или опасным действиям, а не просто к ошибке распознавания.