WM^MLLM: мультимодальные нейросети стали интерактивной моделью мира

WM^MLLM: мультимодальные нейросети стали интерактивной моделью мира

В препринте описана WM^MLLM, по заявлению авторов, первая интерактивная модель мира, построенная на мультимодальных больших языковых моделях (MLLM). Она предназначена для устойчивой и редактируемой генерации мира по одному изображению.

Исходная проблема, по словам авторов: видео-модели мира держат мир в контексте генератора, поэтому при возвращении в то же место сцена синтезируется заново, а прежние правки могут «поплыть» или пропасть. В WM^MLLM состояние мира вынесено за пределы любого генератора: оно хранится как панорама с историей ревизий (версий), а записывают в неё сами MLLM. Они превращают каждый запрос пользователя в операции над этим состоянием, выбирают, в какое место записывать локальную правку, и проверяют каждого кандидата, прежде чем тот станет следующим состоянием. Генераторы изображений при этом только предлагают виды, а видео лишь показывает их.

Пользователь может идти в новые места и возвращаться, править объекты текстом или рамкой, размещать персонажей и объекты, менять освещение, погоду или сезон. По построению системы возврат на той же ревизии точно воспроизводит прежний вид, локальная правка не меняет ни одного пикселя панорамы вне своей области, а каждый запрос начинается с результата предыдущего.

Результаты, о которых сообщают авторы. На MBench-A против шести базовых моделей мира WM^MLLM имеет наивысшее среднее по всем четырём метрикам восстановления окружения (Epipolar 91,5 против значений от 0,1 до 74,0) и чаще всех завершает «круговые маршруты» камеры: 85,3% против не более 50,9% у лучшей из базовых моделей. На CompBench система показывает лучшее значение во всех 15 столбцах против 15 базовых моделей. В абляции на 112 локальных правках, оценённых вслепую, выбор области записи после генерации поднимает долю завершённых правок с 34,8% до 83,0%. На 258 элементах WBench и MBench-A все 46 возвратов восстанавливают прежние виды, а все 97 локальных правок, прошедших проверку, оставляют пиксели панорамы вне своей области неизменными.

Ключевые факты

  • WM^MLLM, по заявлению авторов, первая интерактивная модель мира на мультимодальных больших языковых моделях; мир создаётся по одному изображению и остаётся редактируемым.
  • Состояние мира хранится вне генераторов как панорама с историей ревизий; MLLM превращают запросы в операции над ней, выбирают область записи и проверяют каждого кандидата.
  • На MBench-A против шести базовых моделей: Epipolar 91,5 против 0,1-74,0 и 85,3% завершённых круговых маршрутов камеры против не более 50,9%.
  • На CompBench система показывает лучшее значение во всех 15 столбцах против 15 базовых моделей.
  • Выбор области записи после генерации поднял долю завершённых правок с 34,8% до 83,0% на 112 правках, оценённых вслепую; на 258 элементах все 46 возвратов восстановили прежние виды, а все 97 правок, прошедших проверку, не тронули пиксели вне своей области.

Почему это важно

Главная идея работы, разделить «память» мира и генерацию. Видео-модели мира держат сцену внутри контекста генератора, поэтому при возвращении в место её приходится синтезировать заново, а прежние правки могут дрейфовать или исчезать. WM^MLLM хранит мир как панораму с историей ревизий вне генераторов, и устойчивость правок обеспечивается самой структурой состояния, а не надеждой на то, что генератор «вспомнит» сцену.

Кому это важно

Исследователям моделей мира и интерактивной генерации, а также тем, кто разрабатывает инструменты редактирования сцен, игровых и виртуальных окружений по изображению. Работа показывает вариант, где мультимодальные языковые модели выступают не генераторами, а «редакторами» состояния.

Как это применить

Из аннотации нельзя понять, как попробовать систему: сведений о коде, демо или выпуске в тексте нет. Практическая ценность пока в архитектурной идее: хранить состояние мира отдельно от генераторов, записывать в него правки через проверяемые операции и запускать каждый новый запрос от результата предыдущего.

Можно ли доверять

Это препринт, а пересказ опирается только на его аннотацию. Утверждение о «первой» модели такого рода, слова самих авторов, независимой проверки в тексте нет. Авторы и организации в аннотации не названы. Не названы и шесть базовых моделей на MBench-A, и 15 базовых моделей на CompBench, так что оценить силу сравнения нельзя. Как проходила слепая оценка (кто и как судил), не описано. Гарантии точного возврата и неизменности пикселей вне области правки, свойства конструкции; эмпирическая проверка (46 возвратов, 97 правок) охватывает лишь 258 протестированных элементов, а правки, не прошедшие проверку, в число 97 не входят.

Риски и подводные камни

Заявленные результаты получены на конкретных наборах (MBench-A, CompBench, WBench) и пока не подтверждены вне авторской оценки. Данных о задержках, вычислительной стоимости и скорости работы нет, как и сведений о том, какие именно MLLM, генераторы изображений и видео-модели используются, поэтому практическую применимость и воспроизводимость оценить трудно. Из 97 правок, прошедших проверку, неизвестно, какая доля всех правок это составляет.

«Генераторы изображений лишь предлагают виды, а видео лишь показывает их.»

— из аннотации препринта WM^MLLM