RynnWorld-Teleop: модель мира, управляемая действиями, для «цифровой телеоперации» роботов
Обучение роботов методом имитации требует огромных объёмов разнообразных траекторных данных, примеров «состояние → действие», на которых робот учится повторять движения. Сегодня такие данные собирают через физическую телеоперацию: оператор дистанционно управляет реальным роботом, а система записывает его действия. Это узкое место сбора данных, каждая демонстрация привязывает время оператора к конкретному роботу и конкретному рабочему пространству, что сильно ограничивает масштаб и скорость сбора данных.
Группа исследователей (в их числе Хаоюй Чжао, Haoyu Zhao) предложила новый подход, «цифровую телеоперацию» (digital teleoperation). Идея в том, чтобы убрать из процесса сбора данных физического робота и заменить его генеративной моделью мира (world model). Оператор двигает рукой перед камерой без реального робота на площадке; поток данных о положении руки (hand-pose stream) подаётся в генеративную модель, которая на основе одного референсного изображения синтезирует реалистичное видео от первого лица (эгоцентричное видео), как будто робот действительно выполняет это действие. Тот же поток положений руки одновременно служит меткой действия, не привязанной к конкретной конструкции робота (embodiment-agnostic): её можно перенести (ретаргетировать) на любого целевого робота стандартными методами. В результате получается полноценная траектория «состояние-действие» для имитационного обучения.
Метод реализован в системе RynnWorld-Teleop, которая сочетает три компонента: кондиционирование по скелету с учётом глубины (depth-aware skeletal conditioning), поэтапное обучение «от человека к роботу» на видео-диффузионном трансформере (video Diffusion Transformer) и потоковую авторегрессионную дистилляцию (streaming autoregressive distillation). Всё это сжимает процесс генерации в один проход вычислений, что даёт интерактивную генерацию видео в реальном времени, свыше 40 кадров в секунду на одном GPU H100.
По данным авторов, стратегии управления, обученные исключительно на данных, сгенерированных RynnWorld-Teleop, успешно переносятся на реальных роботов без дополнительного дообучения (zero-shot Sim2Real) в разнообразных задачах, требующих ловкости и координации обеих «рук» робота (бимануальные задачи). Если реальные наборы данных дополнить сгенерированными системой данными, показатели успешного выполнения задач стабильно растут. Авторы заключают, что RynnWorld-Teleop может служить масштабируемым источником данных высокого качества для роботов следующего поколения.
Ключевые факты
- Физическая телеоперация, узкое место сбора данных для обучения роботов: каждая демонстрация привязывает время оператора к конкретному роботу и рабочему пространству.
- «Цифровая телеоперация» заменяет реального робота генеративной моделью мира: поток данных о положении руки оператора превращается в реалистичное эгоцентричное видео на основе одного референсного изображения.
- Тот же поток положений руки служит меткой действия, не привязанной к конструкции конкретного робота, и переносится (ретаргетируется) на любого целевого робота, получается полная траектория «состояние-действие» для имитационного обучения.
- Система RynnWorld-Teleop сочетает кондиционирование по скелету с учётом глубины, обучение «от человека к роботу» на видео-диффузионном трансформере и потоковую авторегрессионную дистилляцию, сжимая генерацию в один проход, свыше 40 кадров в секунду на одном GPU H100.
- По данным авторов, стратегии, обученные исключительно на данных RynnWorld-Teleop, успешно переносятся на реальных роботов без дообучения (zero-shot Sim2Real) в бимануальных задачах, а добавление таких данных к реальным наборам стабильно повышает успешность выполнения задач.
Почему это важно
Обучение роботов методом имитации требует огромных объёмов разнообразных траекторных данных «состояние → действие». Сегодня основной способ их получения, физическая телеоперация: оператор дистанционно управляет настоящим роботом, а система записывает действия. Это узкое место: каждая демонстрация привязывает время оператора к конкретному роботу и рабочему пространству, и масштабировать сбор данных таким способом дорого и медленно. Авторы предлагают убрать из этого процесса физического робота и заменить его генеративной моделью мира, которая синтезирует правдоподобное видео действия и одновременно создаёт метку действия для обучения, это меняет экономику сбора данных для робототехники.
Кому это важно
В первую очередь, исследователям и инженерам, которые занимаются обучением роботов методом имитации (imitation learning), созданием моделей управления (policy) для манипуляторов и гуманоидных роботов, а также разработчикам генеративных моделей мира (world models) и специалистам по переносу из симуляции в реальность (Sim2Real). Потенциально это важно и для компаний, которые строят роботов и упираются в дороговизну сбора реальных демонстраций для обучения.
Как это применить
Метод реализован в системе RynnWorld-Teleop. Оператор двигает рукой перед камерой без реального робота на площадке; поток данных о положении руки подаётся в генеративную модель мира, которая на основе одного референсного изображения синтезирует реалистичное эгоцентричное видео, как будто робот выполняет это действие. Тот же поток положений одновременно служит меткой действия, не привязанной к конкретной конструкции робота, и переносится (ретаргетируется) на любого целевого робота стандартными методами. Внутри системы это обеспечивают три компонента: кондиционирование по скелету с учётом глубины, поэтапное обучение «от человека к роботу» на видео-диффузионном трансформере и потоковая авторегрессионная дистилляция, которая сжимает генерацию в один проход вычислений, это даёт свыше 40 кадров в секунду в реальном времени на одном GPU H100. В итоге получается полная траектория «состояние-действие» для имитационного обучения без физического робота, а такие данные можно использовать отдельно или вместе с реальными демонстрациями.
Можно ли доверять
Это исследовательская работа, препринт на HuggingFace Papers, а не готовый продукт с независимой проверкой. Авторы приводят экспериментальные результаты: стратегии, обученные исключительно на данных RynnWorld-Teleop, показывают успешный перенос на реальных роботов без дообучения (zero-shot Sim2Real) на разнообразных бимануальных задачах, требующих ловкости, а добавление сгенерированных данных к реальным наборам стабильно повышает успешность выполнения задач. Точные числовые показатели успешности, размер тестовых наборов и сравнение с другими методами сбора данных в доступном тексте не приводятся, поэтому оценить масштаб улучшения по одному источнику нельзя. На HuggingFace Papers у публикации 69 отметок и 0 комментариев, независимого обсуждения или внешней проверки заявлений пока не было.
Риски и подводные камни
Подход целиком зависит от качества генеративной модели мира: если синтезированное видео физически неправдоподобно, производная от него метка действия может оказаться некорректной, а обученная на ней стратегия, ненадёжной на реальном роботе. Перенос позы человеческой руки на конструкцию робота (ретаргетинг), источник потенциального рассогласования между тем, что делал оператор, и тем, что физически может сделать робот. Метод по-прежнему требует одного референсного изображения для каждой новой сцены и настройки ретаргетинга под конкретного робота, то есть полностью безлюдным процесс сбора данных не назвать. Генерация в реальном времени работает на одном GPU H100, это заметные вычислительные требования, доступные не всем командам. В тексте не сказано, публикуют ли авторы код, веса модели или сам датасет, поэтому независимая проверка и воспроизводимость результатов сторонними исследователями пока не подтверждены.
«RynnWorld-Teleop служит масштабируемым источником данных высокого качества для роботов следующего поколения.»
— из аннотации к статье о RynnWorld-Teleop, HuggingFace Papers