Xiaomi представила Robotics-U0, модель генерации видео для роботов, занявшую 1-е место в World Arena
Обычные генеративные модели изображений и видео хорошо обобщают знания и легко управляются текстом, но напрямую их сложно применить в робототехнике: там нужна согласованность сцены сразу между несколькими видами камеры (мультивью), геометрическая непротиворечивость и учёт конкретной конструкции конкретного робота. Прежние подходы дообучали такие модели на небольших наборах данных с роботов и в процессе теряли часть визуальных знаний, накопленных на масштабном предобучении.
Xiaomi представила Robotics-U0, мультимодальную авторегрессионную модель на 38 миллиардов параметров для унифицированного синтеза, связанного с роботами. Модель рассматривает генерацию данных для роботов как продолжение генерации изображений и видео вообще и обучается сразу на пяти связанных задачах: генерация изображений по тексту, редактирование изображений, генерация сцен для роботов, перенос сцены на другую конструкцию робота (embodied transfer) и генерация видео с роботом. Такое совместное обучение сохраняет широкие знания базовой предобученной модели мира, одновременно адаптируя её под робототехнику.
Robotics-U0, первая модель, которая поддерживает качественную мультивью-генерацию сцен сразу для нескольких разных типов роботов и предлагает структурированный управляемый перенос сцены для точечного редактирования, сохраняя при этом согласованность между видами и динамику взаимодействия с объектами.
По заявлению авторов, модель показывает лучший результат как на одношаговых, так и на последовательных генеративных задачах: в человеческой оценке она превзошла GPT-Image-2.0 по качеству генерации и переноса сцен для роботов и заняла первое место на бенчмарке World Arena по генерации видео с роботами. Кроме того, синтетические данные и сцены от Robotics-U0 подняли успешность решения нестандартных (out-of-distribution) манипуляционных задач в реальном мире у отдельной политики управления роботом pi_0.5, с 36.9% до 63.2%, то есть примерно на 70% в относительном выражении.
Авторы делают вывод, что базовые модели мира могут одновременно служить и моделью мира для робота, и масштабируемым генератором обучающих данных для embodied-интеллекта. Код и веса модели опубликованы на сайте robotics.xiaomi.com/xiaomi-robotics-u0.html.
Ключевые факты
- Xiaomi представила Robotics-U0, мультимодальную авторегрессионную модель на 38 миллиардов параметров для генерации изображений, видео и сцен, ориентированных на роботов
- Модель впервые поддерживает согласованную мультивью-генерацию сцен сразу для нескольких типов роботов и управляемый перенос сцены (embodied transfer) между ними с сохранением динамики взаимодействия
- В человеческой оценке Robotics-U0 превзошла GPT-Image-2.0 по генерации и переносу сцен для роботов и заняла 1-е место на бенчмарке World Arena по генерации видео с роботами
- Синтетические данные Robotics-U0 подняли успешность решения нестандартных манипуляционных задач у политики pi_0.5 с 36.9% до 63.2% (рост около 70% в относительном выражении)
- Код и веса модели опубликованы на сайте robotics.xiaomi.com
Почему это важно
Обычные генеративные модели изображений и видео хорошо обобщают знания, но плохо переносятся на робототехнику: нужна согласованность между несколькими видами камеры, геометрическая непротиворечивость сцены и учёт конкретной конструкции робота. Прежние подходы дообучали такие модели на малых наборах данных с роботов и теряли часть визуальных знаний, накопленных на большом предобучении. Robotics-U0 решает это, обучая единую модель сразу на пяти связанных задачах, от генерации изображений по тексту до генерации видео с роботом, и так сохраняет широкие знания базовой модели, адаптируя их под робототехнику.
Кому это важно
Разработчикам робототехнических ИИ-систем и исследователям embodied-интеллекта, тем, кто обучает роботов-манипуляторов и человекоподобных роботов; командам, которым не хватает реальных данных для обучения роботов и которые ищут способ генерировать синтетические сцены и видео; самой Xiaomi, развивающей направление робототехники.
Как это применить
Код и веса модели опубликованы (robotics.xiaomi.com/xiaomi-robotics-u0.html), поэтому Robotics-U0 можно использовать как генератор синтетических обучающих сцен и видео для робота, своего рода движок данных, дополняющий скудные реальные датасеты. Модель также умеет переносить одну и ту же сцену на другую конструкцию робота (embodied transfer), что позволяет размножать обучающие примеры без новой съёмки. Именно такое синтетическое дообучение подняло успешность манипуляционной политики pi_0.5 на сложных задачах.
Можно ли доверять
Цифры, превосходство над GPT-Image-2.0, первое место в World Arena, рост успешности pi_0.5 с 36.9% до 63.2%, взяты из статьи самих авторов Xiaomi и пока не проверены независимо третьей стороной, что типично для научных публикаций такого рода. Материал опубликован на HuggingFace Papers, где собираются препринты по машинному обучению, а не в рецензируемом журнале.
Риски и подводные камни
Ключевые метрики, собственная оценка разработчиков, включая человеческую оценку, методика и разметчики которой подробно не раскрыты. 38 миллиардов параметров требуют серьёзных вычислительных ресурсов и делают модель дорогой в развёртывании. Перенос между разными типами роботов протестирован на ограниченном наборе платформ, а разрыв между сгенерированными сценами и реальным миром (sim-to-real) может проявиться на новых задачах, не входивших в тестовый набор.