DreamX-Phi 1.0: видеомодель мира для роботов заняла призовые места на WorldArena 2.0

Авторы представили DreamX-Phi 1.0, видеомодель мира для роботов-манипуляторов, работа которой обусловлена конкретными действиями (action-conditioned). По одному наблюдаемому кадру сцены, текстовой инструкции и заданной последовательности действий, положениям рабочего органа руки (end-effector) и состояниям схвата, модель предсказывает, как сцена будет выглядеть дальше, то есть генерирует правдоподобное продолжение видео.

Но, как отмечают авторы, одного реализма недостаточно для точности: правдоподобно сгенерированное видео всё равно может показать, как двигается не та рука, или как манипулируемый объект просто теряется. Чтобы предсказание держалось заданной траектории именно нужной руки, DreamX-Phi встраивает в механизм внимания SE(3)-преобразования отдельно для каждой руки, через геометрическое кодирование в стиле PRoPE. Это должно не давать модели путать, какая рука есть какая, и сохранять структуру жёсткого движения в кадре.

Управления по заданным действиям тоже недостаточно, оно не полностью фиксирует геометрию сцены и то, как меняются небольшие манипулируемые объекты. Поэтому в модель добавлена лёгкая ветвь предсказания глубины для геометрии сцены целиком, а также маски модели SAM3 вместе с «замороженной» (не дообучаемой дальше) моделью-учителем V-JEPA, вместе они должны удерживать объект согласованным, то есть не терять его форму и положение, на протяжении всего захвата.

Отдельно авторы решают вопрос практичности: многошаговый генератор, модель, которой для одного предсказания нужно несколько шагов вычисления, дистиллирован в малошаговую модель-ученика методом дистилляции с согласованием распределений (distribution-matching distillation). Цель, эффективное развёртывание модели на практике при меньшем числе шагов генерации.

На момент написания текста DreamX-Phi 1.0 занимает первое место в Track 1 и второе место в Track 2 конкурса WorldArena 2.0 Challenge, то есть это снимок положения в рейтинге, а не обязательно финальный итог. Конкретных числовых оценок (баллов, показателей успешности) для этих мест источник не приводит, только позицию в списке; что представляет собой WorldArena 2.0, кто его проводит и сколько всего в нём треков и участников, в тексте тоже не сказано. Сравнения DreamX-Phi с другими видеомоделями мира, базовыми решениями или предыдущими версиями источник не даёт. Авторы обещают сделать модель и код общедоступными, но дату или сроки не называют; имена исследователей и организация в тексте тоже не указаны.

Ключевые факты

DreamX-Phi 1.0, видеомодель мира для роботов-манипуляторов: по кадру сцены, текстовой инструкции и заданной последовательности действий (позы рабочего органа руки и состояния схвата) она предсказывает дальнейшее видео.
Чтобы не путать, какая рука есть какая, и держаться заданной траектории, модель встраивает в механизм внимания SE(3)-преобразования для каждой руки отдельно, геометрическое кодирование в стиле PRoPE.
Для геометрии сцены и мелких объектов добавлена ветвь предсказания глубины и маски SAM3 с замороженной моделью-учителем V-JEPA, которые должны удерживать объект согласованным при захвате.
Многошаговый генератор дистиллирован в малошаговую модель-ученика методом дистилляции с согласованием распределений (distribution-matching distillation), для эффективного развёртывания.
На момент написания текста DreamX-Phi 1.0 заняла первое место в Track 1 и второе, в Track 2 конкурса WorldArena 2.0; числовых оценок и сравнения с другими моделями источник не приводит, а модель и код обещаны в открытый доступ без указания даты.

Почему это важно

Видеомодели мира, которые предсказывают развитие сцены по заданным действиям, часто путают правдоподобие с точностью: сгенерированное видео выглядит убедительно, но может показывать, как двигается не та рука робота, или как манипулируемый объект просто пропадает из кадра. DreamX-Phi 1.0 нацелен именно на этот разрыв между реализмом и точностью. Модель встраивает в механизм внимания отдельные SE(3)-преобразования для каждой руки, геометрическое кодирование в стиле PRoPE, чтобы не путать, какая рука есть какая, и добавляет отдельную ветвь предсказания глубины сцены вместе с масками SAM3 и «замороженной» моделью-учителем V-JEPA, чтобы небольшие манипулируемые объекты не теряли форму и положение при захвате. Отдельно решён вопрос практичности: многошаговый генератор дистиллирован в малошаговую модель-ученика, что должно ускорить работу модели при развёртывании.

Кому это важно

В первую очередь, исследователям, которые строят видеомодели мира для роботов-манипуляторов и планируют действия по предсказанным кадрам: DreamX-Phi показывает конкретный способ одновременно держать реализм видео и точность относительно заданных действий, за счёт геометрического кодирования по рукам и отдельной ветви глубины. Тем, кому важна скорость инференса, полезна дистилляция многошагового генератора в малошаговую модель-ученика, прямой путь к более быстрому и дешёвому развёртыванию похожих систем. Организаторам и участникам WorldArena 2.0 Challenge, оба трека конкурса напрямую упомянуты как площадка, на которой измерен результат.

Как это применить

Опробовать DreamX-Phi 1.0 напрямую пока нельзя: авторы обещают сделать модель и код общедоступными, но дату или сроки не называют. Уже сейчас из статьи можно взять по отдельности три инженерных приёма: геометрическое кодирование по рукам (в стиле PRoPE, через SE(3)-преобразования в механизме внимания), для сценариев с несколькими руками; отдельную ветвь предсказания глубины вместе с масками SAM3 и замороженной моделью-учителем V-JEPA, для устойчивости объектов при манипуляции; и дистилляцию многошагового генератора в малошаговую модель, для тех, кто уже строит собственную видеомодель мира и хочет ускорить и удешевить её развёртывание.

Можно ли доверять

Текст не называет ни имён исследователей, ни организации: поле «author» на странице Hugging Face («DreamX Team»), это метаданные карточки, а не часть самой статьи, и относиться к нему как к подтверждённому названию команды нельзя. Из-за этого невозможно оценить, кто стоит за результатами и какой у команды опыт в этой области. Место в рейтинге WorldArena 2.0, самоотчёт авторов, зафиксированный «на момент написания текста»: источник приводит только позицию в списке (первое место в Track 1, второе, в Track 2), без баллов или других числовых показателей, а независимой проверки этих позиций в тексте нет. На Hugging Face материал набрал 61 отметку при 2 комментариях, заметный интерес, но почти без обсуждения по существу.

Риски и подводные камни

Ранг в WorldArena 2.0 зафиксирован «на момент написания текста», это снимок, который к моменту прочтения мог уже измениться, а не гарантированно финальный итог конкурса. Сам конкурс не описан: кто его проводит и сколько в нём треков и участников помимо Track 1 и Track 2, текст не говорит, оценить, из какого числа соперников выбраны эти позиции, не с чем. Сравнения DreamX-Phi с другими видеомоделями мира, базовыми решениями или более ранними версиями в тексте тоже нет, так что судить о величине улучшения не по чему. Качество работы модели прямо зависит от внешних компонентов, масок SAM3 и модели-учителя V-JEPA, и их возможные ошибки способны перейти в итоговое предсказание. Наконец, обещание сделать модель и код общедоступными не имеет даты, когда (и появится ли) возможность проверить всё это самостоятельно, неизвестно.

«Один реализм не гарантирует точности: правдоподобно сгенерированное видео всё равно может показать, как двигается не та рука, или как манипулируемый объект просто теряется.»

— авторы статьи