Runway открыла Praxis-1: видеомодель управляет роботами

Компания Runway, известная генеративными видеомоделями вроде Gen-4.5, выпустила Praxis-1, модель для управления роботами, с открытыми весами и исходным кодом под лицензией Apache 2.0, которая разрешает коммерческое использование. Впервые Praxis-1 показали в конце сентября, но тогда доступ получили лишь избранные партнёры. Вместе с релизом Runway опубликовала подробный исследовательский отчёт с новыми тестами.
Praxis-1 принимает изображения с камер, текстовые команды и данные о положении робота. По ним модель предсказывает, как изменится окружающая сцена, и вычисляет подходящие движения робота; по мере поступления новых кадров она постоянно корректирует управление. Runway называет такую систему World Action Model (модель мира с действиями). В основе лежит видеомодель, которая по обычным роликам научилась тому, как предметы движутся и взаимодействуют; затем её дообучили на видео с действиями людей и на данных роботов. По словам автора материала, такой подход мог бы снизить потребность в дорогих специализированных наборах данных для роботов. С сентября Praxis-1 тестируют компании Standard Bots, Noble Machines и Ultra на разных системах, включая гуманоидного робота, промышленный манипулятор и двурукого складского робота.
Специализированные данные роботов всё же нужны. Чтобы адаптировать модель к манипулятору Franka, Runway использовала около 277 часов записей из публичного набора DROID; для двурукого робота, от 1400 до 2600 часов обучающего материала. Данные DROID и других роботов применялись и на более ранних этапах обучения. Нужно ли подходу в целом меньше данных роботов, чем сопоставимым моделям без общего видеопредобучения, остаётся открытым вопросом.
На рейтинге Nvidia RoboLab-120 (120 задач в симуляции: сортировка, захват, укладка предметов) Praxis-1 показывает 46,2% успешных выполнений. FLUX 3 Action, тоже построенная как World Action Model, при тех же условиях набирает 42,9%. Это первое место среди моделей этого класса, но в общем зачёте Praxis-1 пятая: впереди два ИИ-агента и две модели роботов с другой архитектурой. Все тесты Runway провела сама, независимо результаты пока не проверены.
После дообучения на данных DROID модель проверили на реальном манипуляторе Franka: обеим моделям дали одни и те же десять задач, например положить банан на тарелку или закрыть ящик, по десять попыток на задачу. Praxis-1 справилась 88 раз, FLUX 3 Action, 80. Отдельно проверили перенос на неизвестный модели тип робота, мобильную платформу с захватом, на которой Google ранее разрабатывала RT-1; её записей в предыдущем обучении Praxis-1 не было. После дообучения примерно на 95 часах данных робота средний показатель успеха в симуляции, по данным Runway, составил 80% на четырёх типах задач (взять банку газировки, открыть и закрыть ящик, положить яблоко в ящик). Исходная модель Google RT-1 на том же тесте набрала 52,4%.
Пограничные условия такие. Скачать Praxis-1 можно с Hugging Face после регистрации и согласия с условиями доступа, код лежит на GitHub. Вместе с базовой моделью уже доступны версии, заранее адаптированные под разных роботов; сама базовая модель для новых роботов требует дообучения. Стандартной версии нужен GPU с 80 ГБ памяти; сжатая версия по оценкам Runway должна поместиться на RTX 5090 с 32 ГБ, но реальный пиковый расход памяти, согласно документации на GitHub, пока не измерен. По отчёту Runway, модель порой путает похожие предметы и плохо справляется с расплывчатыми инструкциями; в длинных задачах отдельные шаги приходится прописывать явно, потому что надёжно планировать сложные последовательности действий она пока не умеет. Runway видит в Praxis-1 прежде всего систему быстрого исполнения движений, которая в будущем могла бы работать вместе с универсальными ИИ-моделями, разбивающими сложную задачу на шаги.
Ключевые факты
- Runway открыла веса и код Praxis-1 под Apache 2.0 (коммерческое использование разрешено); модель впервые показали в конце сентября, тогда доступ имели лишь избранные партнёры.
- На рейтинге Nvidia RoboLab-120 (120 задач в симуляции) Praxis-1 набрала 46,2% против 42,9% у FLUX 3 Action; в общем зачёте она пятая.
- На реальном манипуляторе Franka после дообучения на DROID: 88 успехов против 80 у FLUX 3 Action (десять задач, по десять попыток).
- На неизвестной мобильной платформе после около 95 часов данных, в среднем 80% в симуляции (по данным Runway) против 52,4% у исходной RT-1.
- Все тесты провела сама Runway, независимой проверки нет; модель путает похожие предметы и не умеет надёжно планировать длинные последовательности действий.
Почему это важно
Компания, известная генеративным видео, выложила в открытый доступ модель управления роботами с лицензией, допускающей коммерческое использование. Идея в том, что модель, научившаяся на обычных видео тому, как предметы движутся и взаимодействуют, затем нуждается в меньшем объёме дорогих данных, собранных именно на роботах. Автор материала осторожен: это лишь возможность, а нужно ли подходу в целом меньше данных роботов, чем моделям без общего видеопредобучения, остаётся открытым вопросом.
Кому это важно
Разработчикам и исследователям в робототехнике, которые хотят взять готовую базу для управления манипуляторами, мобильными или двурукими роботами и дообучать её под свою систему. Также тем, кто сравнивает подходы World Action Model с другими архитектурами. С сентября модель тестируют Standard Bots, Noble Machines и Ultra, но результатов этих партнёров в материале нет.
Как это применить
Веса скачиваются с Hugging Face после регистрации и согласия с условиями доступа, код, на GitHub; лицензия Apache 2.0 допускает коммерческое использование. Вместе с базовой моделью уже доступны версии, заранее адаптированные под разных роботов. Базовая модель для новых роботов требует дообучения: для манипулятора Franka Runway использовала около 277 часов записей DROID, для двурукого робота, от 1400 до 2600 часов, для незнакомой мобильной платформы, около 95 часов. Стандартной версии нужен GPU на 80 ГБ памяти; сжатая версия по оценкам должна уместиться на RTX 5090 (32 ГБ), но пиковая память пока не измерена.
Можно ли доверять
Все тесты Runway провела сама, независимо результаты пока не проверены. Рейтинг RoboLab-120, симуляция; на реальном роботе сравнивали только две модели на десяти задачах. Цифра 80% на неизвестной платформе, тоже симуляция и приведена по данным Runway. Преимущество над FLUX 3 Action умеренное (46,2% против 42,9%), а в общем зачёте Praxis-1 лишь пятая, позади два ИИ-агента и две модели роботов с другой архитектурой.
Риски и подводные камни
По отчёту Runway, модель порой путает похожие предметы и плохо справляется с расплывчатыми инструкциями. Для длинных задач шаги нужно прописывать вручную: сама она надёжно планировать сложные последовательности действий пока не может. Специализированные данные роботов всё равно нужны, а база требует дообучения под каждую новую систему. Высокое требование к памяти (80 ГБ для стандартной версии) ограничивает круг тех, кто сможет её запустить, а заявленная совместимость сжатой версии с RTX 5090 пока не подтверждена измерениями.