NVIDIA описала рынок симуляторов для физического ИИ: MuJoCo, Isaac Lab, Newton

NVIDIA выпустила развёрнутый обзор индустрии симуляции для физического ИИ (робототехники, гуманоидов, беспилотников). Главный тезис: если языковые и визуально-языковые модели можно обучать на интернет-масштабных данных, то роботу нужно на собственном опыте понять последствия взаимодействия с физическим миром, что случится, если чашка выскользнет, кабель согнётся или захват коснётся предмета под неверным углом. Сбор такого опыта в реальности медленный, дорогой, опасный и часто разрушительный для оборудования. Симуляция закрывает этот разрыв: она позволяет телеуправлять роботами в виртуальной среде и за счёт параллелизации на GPU генерировать тысячи часов роботизированного опыта на порядок дешевле, чем в реальном мире. Если раньше симуляторы использовались в основном для отладки геометрии и визуализации движения, то сегодня симуляция стала частью цикла разработки моделей: генерация датасетов восприятия, обучение политик с подкреплением (RL), сбор демонстраций, аугментация реальных данных, бенчмаркинг и тестирование на редких и «противных» (adversarial) сценариях.

NVIDIA описывает архитектуру из трёх «компьютеров»: обучающий (крупный GPU-кластер для тренировки базовых моделей), симуляционный (GPU-рабочая станция или кластер с ускоренной физикой и RTX-рендерингом, генерирующая опыт робота и данные сенсоров) и бортовой (edge-устройство класса NVIDIA Jetson AGX Thor, на котором обученная политика работает уже на реальном роботе).

Далее в обзоре разбираются конкретные движки. MuJoCo (Multi-Joint dynamics with Contact), быстрый и точный открытый физический движок для робототехники, биомеханики, RL и управления; в отличие от игровых движков он заточен под точную динамику и контакт-насыщенное движение, даёт детерминированный расчёт и сильную модель контактов, но не всегда подходит для фотореалистичного рендеринга или массовой параллельной симуляции на GPU. MuJoCo Warp (MJWarp), его GPU-ускоренная реализация на NVIDIA Warp, ориентированная на пропускную способность: она рассчитана на параллельный запуск множества «миров» и подходит для RL и обучения политик в больших масштабах. Isaac Sim, открытый фреймворк симуляции робототехники на базе NVIDIA Omniverse и формата OpenUSD, с высокоточной физикой PhysX, фотореалистичным RTX-рендерингом и симуляцией камер, глубины, лидара, радара и сегментации; умеет импортировать модели из CAD, URDF, MJCF, USD и реконструкций реального мира. Isaac Lab 3.0, открытый GPU-ускоренный фреймворк для обучения роботов «в связке с агентами» (построение сред, настройка физики, отладка, перенос из симуляции в симуляцию и из симуляции в реальность). В версии 3.0 NVIDIA убрала жёсткую зависимость Isaac Lab от Isaac Sim и Omniverse, сделав фреймворк мультибэкендным: разработчик может выбрать Isaac Sim с PhysX и RTX-рендерингом для фотореалистичных сценариев с сенсорами либо облегчённую безголовую физику Newton для высокой пропускной способности, а рендеринг сенсоров получить либо от отдельного рендерера OVRTX, либо от рендерера Newton для RL-задач с очень большим числом параллельных сред.

Центральное место в обзоре занимает Newton, открытый, GPU-ускоренный, дифференцируемый физический движок, который совместно разрабатывают NVIDIA, Google DeepMind и Disney Research, а управление проектом ведёт Linux Foundation. Движок построен на NVIDIA Warp и OpenUSD и использует MuJoCo Warp как один из ключевых физических бэкендов; в экосистеме он выступает современным физическим слоем для фреймворков обучения роботов вроде Isaac Lab и MuJoCo Playground. Newton не навязывает единый численный метод, а предлагает несколько решателей под разные задачи: SolverMuJoCo и SolverFeatherstone работают в обобщённых координатах для сочленённых твёрдых тел; SolverSemiImplicit, SolverXPBD и SolverKamino используют максимальные координаты; SolverVBD, неявный решатель для твёрдых тел, частиц, ткани и мягких тел (с ограниченной поддержкой сочленений); SolverImplicitMPM нацелен на частицы сплошных сред, а SolverStyle3D специализируется на симуляции ткани.

Обзор упоминает и другие движки: PyBullet остаётся полезной CPU-базой для быстрого прототипирования; DART и ODE по-прежнему служат бэкендами для Gazebo; Drake называют золотым стандартом там, где важна строгая численная точность и контакт-неявная траекторная оптимизация, а не пропускная способность. У каждого, своя ниша, и ни один из них в одиночку не решает задачу «мне нужны 4096 гуманоидов на одном GPU». В заключение NVIDIA пишет, что симуляция роботов стала одним из важнейших слоёв современного стека воплощённого ИИ (embodied AI): по мере того как модели переходят от статичных датасетов к физическому взаимодействию, способность генерировать масштабные и разнообразные симулированные данные становится не опцией, а фундаментом. Если раньше дискуссия сводилась к вопросу «какой движок быстрее», то в 2026 году, по мнению авторов, интереснее вопрос, какие части стека станут общей инфраструктурой, на которую будут опираться разные движки, экосистема фрагментируется и одновременно пересобирается в многослойный стек. Отдельно подчёркивается, что значительная часть этой работы ведётся в открытом коде под открытым управлением и доступна любому, у кого есть потребительский GPU.

Ключевые факты

• Ключевая проблема физического ИИ, нехватка данных: в отличие от LLM/VLM, обученных на интернет-масштабных корпусах, робот должен учиться на опыте физического взаимодействия, который дорого и опасно собирать в реальности
• NVIDIA формулирует архитектуру из трёх "компьютеров": обучающий GPU-кластер, симуляционная GPU-станция с RTX-рендерингом и бортовой edge-компьютер класса Jetson AGX Thor
• Разобраны движки MuJoCo, MuJoCo Warp, Isaac Sim и Isaac Lab 3.0, последний в версии 3.0 отвязан от Omniverse и стал мультибэкендным (Isaac Sim/PhysX или лёгкая безголовая физика Newton)
• Newton, открытый дифференцируемый физический движок NVIDIA, Google DeepMind и Disney Research под управлением Linux Foundation, построен на Warp и OpenUSD и предлагает несколько решателей (SolverMuJoCo, SolverXPBD, SolverVBD и др.) под разные типы физики
• Отдельно упомянуты PyBullet, DART, ODE и Drake как нишевые альтернативы; вывод обзора, индустрия переходит от гонки "кто быстрее" к вопросу, какие слои стека станут общей открытой инфраструктурой

Почему это важно

Обзор фиксирует смену роли симуляции: из вспомогательного инструмента отладки она превратилась в центральный элемент цикла разработки физического ИИ, генерацию датасетов, обучение RL-политик, сбор демонстраций и тестирование на редких сценариях. Это признание того, что данные для робототехники, узкое место, которое реальный мир не может закрыть в одиночку, и отрасль системно инвестирует в GPU-ускоренную и дифференцируемую физику как альтернативный источник опыта.

Кому это важно

Материал адресован инженерам и исследователям робототехники и физического ИИ: командам, которые обучают политики управления для гуманоидов, манипуляторов, дронов и беспилотников, а также разработчикам инфраструктуры симуляции, выбирающим движок под конкретную задачу, от прототипирования на PyBullet до промышленного RL на Isaac Lab и Newton.

Как это применить

Обзор фактически даёт критерии выбора движка: нужна ли масштабируемая генерация синтетических данных, обучение с подкреплением, поддержка конкретных сенсоров и форматов 3D-активов, требуемая точность и масштаб среды. Для быстрого прототипирования подходит PyBullet, для контакт-насыщенной точной динамики, MuJoCo, для фотореалистичных сенсорных сценариев, Isaac Sim, для высокой пропускной способности при обучении множества параллельных сред, Isaac Lab с Newton-бэкендом, для строгой траекторной оптимизации, Drake. Все перечисленные инструменты, включая Newton, распространяются как открытый код.

Можно ли доверять

Материал опубликован NVIDIA на официальном блоге компании на платформе Hugging Face, то есть это позиция производителя ключевых инструментов из обзора (Isaac Sim, Isaac Lab, соразработчик Newton), часть текста неизбежно продвигает собственную экосистему. При этом обзор описывает и конкурирующие/независимые решения (MuJoCo, PyBullet, Drake, DART, ODE) с их сильными и слабыми сторонами, а Newton разрабатывается не только NVIDIA, но и Google DeepMind, Disney Research, под управлением Linux Foundation, что снижает риск однобокости. Автор текста в источнике не указан персонально.

Риски и подводные камни

Обзор фиксирует, что рынок движков фрагментирован и ни один инструмент не закрывает все сценарии, выбор всегда компромисс между точностью физики, пропускной способностью на GPU, фотореализмом и поддержкой сенсоров. Ставка отрасли на симуляцию как источник данных для физического ИИ несёт стандартный для этой области риск разрыва между симуляцией и реальностью (sim-to-real gap): как бы точно ни моделировалась физика, перенос обученной в симуляции политики на настоящего робота остаётся отдельной инженерной задачей, и обзор эту проблему прямо не разбирает.

«Ни один из них не даёт ответа на вопрос «мне нужны 4096 гуманоидов на одном GPU»»

— из блога NVIDIA на Hugging Face