Представлена Ropedia W0: мировая модель для людей и роботов
Мировые модели позволяют воплощённым агентам предвидеть последствия своих действий. Но совместно моделировать перемещение (локомоцию) и манипуляции предметами у разных типов тел сложно: у них разные пространства действий, а мультимодальной разметки мало. Эту задачу решает Ropedia W0, по словам авторов, первая базовая мировая модель (world foundation model) «от первого лица» для связки перемещения и манипуляций, охватывающая и людей, и роботов с разной конструкцией.
Для обучения авторы собрали набор Xp-Data: 10 тыс. часов данных от первого лица с людьми и 3 тыс. часов данных с роботами. Данные снабжены единой мультимодальной разметкой и прошли систематический контроль качества. Действия описываются единым кинематическим представлением: перемещение кодируется положением камеры, а манипуляции, спроецированными скелетами. Скелеты роботов получены сочетанием прямой кинематики, специфичной для конкретной конструкции, с большим объёмом ручной разметки и правки ключевых точек.
Отдельно авторы вводят бенчмарк Xp-Teleop, тест на длинных сериях перемещения и манипуляций, построенный на качественных данных телеуправления ловкими человекоподобными роботами.
По заявлению авторов, модель показывает лучшие результаты (state-of-the-art) на пяти бенчмарках, охватывающих разные конструкции: DreamDojo, Ψ_0, ω-HOME, Xp-Teleop и AgiBot, а также на отложенных видео от первого лица с людьми. Это относится к режимам от zero-shot (без дообучения) до few-shot и полного дообучения. Увеличение объёма предобучающих данных с людьми улучшает результаты и на тестах с людьми, и на тестах с роботами. После дистилляции модель, как утверждают авторы, выдаёт прогнозы в реальном времени длиной в минуту, что позволяет интерактивную работу в VR. Применения в оценке политик, планировании на основе модели и моделировании «мир плюс действие» должны подтвердить пользу модели для принятия решений воплощённым агентом.
Ключевые факты
- Ropedia W0 названа авторами первой базовой мировой моделью от первого лица, которая совместно описывает перемещение и манипуляции у людей и роботов с разной конструкцией.
- Набор Xp-Data: 10 тыс. часов данных от первого лица с людьми и 3 тыс. часов данных с роботами, с единой разметкой и контролем качества.
- Единое представление действий: перемещение кодируется положением камеры, манипуляции, спроецированными скелетами; для роботов скелеты уточнялись ручной разметкой.
- Заявлены лучшие результаты на пяти бенчмарках (DreamDojo, Ψ_0, ω-HOME, Xp-Teleop, AgiBot) и на отложенном видео с людьми.
- После дистилляции модель, по словам авторов, работает в реальном времени с прогнозами длиной в минуту для VR-взаимодействия.
Почему это важно
Воплощённым агентам, прежде всего роботам, нужны модели мира, которые предсказывают последствия действий. Работа пытается объединить в одной модели ходьбу и манипуляции и опереться на большой объём видео людей от первого лица, а не только на дорогие данные с роботов. Вывод авторов о том, что рост объёма данных с людьми улучшает результаты и на тестах с роботами, указывает на возможность переносить опыт людей на роботов. Это заявление авторов, независимой проверки в тексте нет.
Кому это важно
Исследователям робототехники и мировых моделей, командам, которые работают с телеуправлением и данными от первого лица, а также тем, кто оценивает политики роботов или планирует действия на основе модели мира. Для VR-приложений интересно заявленное взаимодействие в реальном времени.
Как это применить
Практических инструкций в описании нет: текст представляет модель, набор данных Xp-Data и бенчмарк Xp-Teleop. Сведений о публикации кода, весов или данных в тексте не приведено. Пока это ориентир для исследователей: можно сравнить подход с единым кинематическим представлением (камера плюс проецированные скелеты) и оценить его на перечисленных бенчмарках.
Можно ли доверять
Это препринт, изложенный через аннотацию на Hugging Face; все утверждения о первенстве и лучших результатах исходят от самих авторов. В тексте нет авторов и организаций, нет числовых результатов, величин преимущества над конкурентами и названий моделей для сравнения, поэтому оценить масштаб заявленного улучшения нельзя. Для суждения нужен полный текст работы.
Риски и подводные камни
Заявление «state-of-the-art» без чисел трудно проверить. Часть бенчмарков (Xp-Teleop) создана самими авторами, а скелеты роботов опираются на обширную ручную разметку, что может быть трудно воспроизвести. Не указано, как 13 тыс. часов данных распределены между предобучением и дообучением, нет данных о задержке или частоте кадров в режиме реального времени, нет сведений о размере модели и её архитектуре.