Nvidia представила GR00T 2: робот учится по видео людей

Чтобы научить робота новым задачам, инженеры обычно часами управляют машинами дистанционно. Такое телеуправление (teleoperation) дорогое, медленное и требует отдельных данных под каждую модель робота. В новом исследовательском отчёте Nvidia представила базовую модель GR00T 2, которая должна сократить этот процесс. Об отчёте пишет издание The Decoder.
В отличие от прежних подходов, включая предшественницу GR00T 1, GR00T 2 не переводит напрямую изображения с камеры и языковые команды в движения моторов. По словам Nvidia, это «модель мира и действий» (world-action model): она одновременно рассчитывает следующее движение и короткое видео ближайшего будущего. Например, система предсказывает, как изменится картинка с камеры, когда роборука возьмёт предмет. Это предсказание видео, как ожидается, позволит переносить последовательности движений между роботами разной конструкции. Обучали модель на кластере из более чем тысячи чипов GB300; в обучающие данные вошло около 400 000 часов видео, на которых люди выполняют разные задачи с камерами на голове.
Чтобы обучить робота новой задаче, по словам исследователей, должно хватить того, чтобы человек показал шаги в перчатках с датчиками, специальных ручных захватах или пальцевом экзоскелете. Эти записи при обучении объединяют с общими данными о движениях целевого робота. Тогда ИИ в своём предсказании видео рисует роборуку вместо руки человека и выводит из этого соответствующие команды управления.
В лабораторных тестах робот с пятипалыми кистями таким способом зажигал спичку, нарезал банан и забрасывал посылки на конвейерную ленту, без телеуправления именно под эти задачи. Успешность составляла от 10 до 80 процентов в зависимости от задачи. По одному видео движения человеческой руки система также научилась забивать гвозди, через компьютерную симуляцию. Для 50 отобранных задач, с которыми модель уже хорошо справлялась после нескольких примеров, менее трёх минут обычного обучения подняли успешность с 40 до 95 процентов.
Для длинных сборочных работ Nvidia сочетает GR00T 2 с языковой моделью более высокого уровня (в тексте в качестве примера названа GPT-6 Astra от OpenAI). GR00T 2 отвечает за захваты, а языковая модель разбивает задачу на шаги, помечает цветом точки захвата на изображении с камеры и запускает вспомогательные подпрограммы, если деталь выпала. Когда исследователи разложили на столе детали игрушечных моделей в произвольном порядке, связка собирала их не менее чем в 97 процентах попыток. Без корректирующей языковой модели и дополнительной дообучки сборка игрушечной машинки удавалась лишь 23 раза из 100. Точные задачи вроде подключения сетевых кабелей или зарядных устройств команда отрабатывала многократными пробами и ошибками на реальном устройстве.
Для двуногих роботов Nvidia сделала облегчённый вариант GR00T 2 Turbo, который обрабатывает меньше деталей изображения и работает прямо на бортовом компьютере Jetson Thor гуманоида. В тестах такая машина черпала попкорн, убирала со столов и вытирала жидкость полотенцем под ногой; последняя задача удавалась чуть меньше чем в половине попыток.
Исследователи называют серьёзные препятствия на пути к надёжному использованию в реальном мире. Модель пока не обрабатывает прямые данные датчиков осязания и порой упускает тонкие ошибки, например наполовину довёрнутые винты. Кроме того, языковая модель верхнего уровня заметно замедляет работу: при сортировке мусора робот простаивал примерно треть всего времени, ожидая следующего расчёта модели-планировщика, в среднем более семи секунд.
Ключевые факты
- GR00T 2, базовая модель Nvidia для роботов типа «модель мира и действий»: одновременно рассчитывает следующее движение и короткое видео ближайшего будущего; цель, сократить дорогое телеуправление.
- Обучение: кластер из более чем тысячи чипов GB300 и около 400 000 часов видео с людьми, выполняющими задачи с камерой на голове; новые задачи можно показывать в перчатках с датчиками, ручных захватах или пальцевом экзоскелете.
- В лабораторных тестах успешность составляла от 10 до 80 процентов в зависимости от задачи; для 50 отобранных задач менее трёх минут обычного обучения подняли её с 40 до 95 процентов.
- В связке с языковой моделью верхнего уровня сборка игрушечных моделей удавалась не менее чем в 97 процентах попыток, а без неё и дообучки машинка собиралась в 23 случаях из 100; но планировщик замедляет робота: при сортировке мусора он простаивал примерно треть времени.
- Версия GR00T 2 Turbo для гуманоидов работает на Jetson Thor; вытирание жидкости полотенцем под ногой удавалось чуть меньше чем в половине попыток. Осязание модель пока не обрабатывает.
Почему это важно
Сбор данных телеуправлением, одно из узких мест обучения роботов: оно дорогое, медленное и требует отдельных данных под каждую модель робота. GR00T 2 предлагает другой путь: учиться на видео людей и переносить движения на роборуку, предсказывая, как должна выглядеть сцена. Это попытка Nvidia сдвинуться от прямого перевода картинки и команды в движения моторов, как у GR00T 1, к модели, которая «воображает» себя на месте человека. Другие лаборатории тоже ищут способы учить роботов с меньшим объёмом телеуправления, о чём The Decoder писал отдельно.
Кому это важно
Разработчикам и исследователям робототехники, которые тратят время на телеуправление при сборе данных; компаниям, строящим гуманоидов и манипуляторы; всем, кто следит за базовыми моделями для роботов. Отдельно интересен вариант GR00T 2 Turbo для бортового компьютера Jetson Thor.
Как это применить
Напрямую пока никак: в источнике не сказано ни о доступности модели или её весов, ни о цене. Практический смысл, в описанной схеме: человек показывает действия в перчатках с датчиками, ручных захватах или пальцевом экзоскелете, эти записи объединяют с общими данными о движениях целевого робота, а для длинных сборочных операций сверху добавляют языковую модель-планировщик. Для точных операций вроде подключения кабелей команда дополнительно использовала пробы и ошибки на реальном устройстве.
Можно ли доверять
Это пересказ издания The Decoder исследовательского отчёта самой Nvidia: результаты получены в лаборатории и приведены со слов исследовательской группы. Разброс успешности большой (от 10 до 80 процентов), и в тексте не указано, на каких задачах были крайние значения. Цифры 40-95 процентов относятся лишь к 50 отобранным задачам, с которыми модель и так справлялась после нескольких примеров. Числа сравнения с GR00T 1 или с конкурентами не приводятся. GPT-6 Astra названа лишь примером языковой модели верхнего уровня: источник не утверждает, что именно она стояла в экспериментах.
Риски и подводные камни
Сама команда называет значительные препятствия на пути к надёжному применению в реальном мире. Модель пока не обрабатывает прямые данные датчиков осязания и порой упускает тонкие ошибки, например наполовину довёрнутые винты. Языковая модель верхнего уровня заметно замедляет работу: при сортировке мусора робот простаивал примерно треть времени, в среднем более семи секунд ожидая очередного расчёта планировщика. Без корректирующей модели и дообучки сборка игрушечной машинки удавалась в 23 случаях из 100, а вытирание жидкости полотенцем под ногой у гуманоида, чуть меньше чем в половине попыток.