NVIDIA добавила в Cosmos 3 четыре открытые модели для симуляции миров

NVIDIA объявила в блоге на Hugging Face, что платформа Cosmos для разработки мировых моделей получила четыре новых чекпойнта с открытыми весами в семействе Cosmos 3. Они нужны для интерактивной симуляции мира и генерации многокамерных, многодатчиковых сцен вождения. Все четыре модели, дообученные примеры Cosmos 3 Nano, у каждой по 16 млрд обучаемых параметров. Лицензия OpenMDW1.1 допускает коммерческое и некоммерческое использование на её условиях. Вместе с весами выложены рецепты дообучения, технический отчёт, демо и ноутбуки.

Cosmos3-Nano-Transfer-Auto, двунаправленная модель для офлайн-генерации синтетических данных вождения. Она создаёт синхронное видео максимум с 11 камер, включая камеры «рыбий глаз», и поддерживает совместную генерацию RGB и лидара. Управление World Scenario Map (WSM) для каждой камеры задаёт структуру сцены и движение трафика, а текстовый запрос, внешний вид: так можно менять погоду, освещение и время суток. Опционально можно дать начальные RGB-изображения; для лидара нужны выровненные управляющие карты дальности из HD-карты. Эта модель также служит основой для адаптации под собственный набор датчиков: её дообучают на своих данных, а затем либо используют для офлайн-генерации, либо проводят причинное обучение и дистилляцию для быстрой потоковой симуляции, тем же путём создана Sim-Auto.

Cosmos3-Nano-Sim-Auto, причинно дистиллированный потоковый вариант Transfer-Auto. Он выдаёт последовательные небольшие куски синхронного видео с камер и лидара за несколько шагов шумоподавления, опираясь на сгенерированную историю и обновляемые управляющие сигналы, что даёт быстрые и длинные интерактивные прогоны. На вход подаются подписи к каждой камере и синхронные WSM-управления. Для замкнутого цикла нужны среда симуляции и рендерер WSM, которые обновляют управление по действиям вождения.

Cosmos3-Nano-Sim-Transfer превращает управляющие сигналы симулятора и текстовый запрос в фотореалистичное цветное видео. Симулятор считает движение, контакты и физическое состояние; модель получает глубину, сегментацию, контуры или размытие и рисует RGB-наблюдения, которые может потреблять политика робота. Текст задаёт внешний вид, а физика и эталонное состояние остаются за симулятором.

Cosmos3-Nano-Sim-Bimanual предсказывает, как меняется окружение в ответ на действия двурукого робота. Модель поддерживает интерактивную симуляцию двух рук для платформ YAM и AgiBot; управлять можно политикой или джойстиками оператора. Можно начать с изображения, двигать робота или камеру и получать следующие наблюдения; одна последовательность управления способна переключаться между сменой ракурса и манипуляцией. В примере со смешанными действиями используется 59 управляющих значений, при обучении дополняемых до 64. Схема действий определяет системы координат, повороты, калибровку захвата, маски валидности и домены управления. Время нужно выравнивать: T переходов требуют T+1 наблюдений.

Как работает потоковая генерация. Основа Cosmos 3, архитектура Mixture-of-Transformers, где отдельные сети обработки текста и генерации изображения связаны через внимание. Генератор предсказывает каждый короткий отрезок по запросу, доступным управляющим сигналам и сгенерированной истории. Модель работает со сжатыми представлениями видео (латентами): после начального кадра каждый латентный шаг соответствует четырём RGB-кадрам. Transfer предсказывает один шаг за кусок, оптимизированная конфигурация Bimanual из отчёта, два. Чем меньше кусок, тем чаще новые управляющие сигналы влияют на генерацию. Временно-причинное внимание и кэш ключей и значений позволяют читать историю и управление, но закрывают будущие целевые наблюдения.

Четырёхэтапный рецепт обучения: этап 0, двунаправленная адаптация к домену по полным записанным клипам; этап 1, teacher forcing (подача эталонной истории), когда кусок предсказывается по ранее записанным наблюдениям, а чистый ответ и будущее скрыты; этап 2, консистентная дистилляция, где замороженный учитель обучает ученика генерировать кусок за четыре шага шумоподавления; этап 3, self-forcing (обучение на собственной сгенерированной истории) с замороженным учителем и вспомогательной моделью оценки. Последний этап нужен потому, что слегка неверно предсказанный объект становится контекстом для следующих кадров и ошибки накапливаются.

Запуск: нужны Linux, GPU NVIDIA, Docker и NVIDIA Container Toolkit. Опубликованная конфигурация vLLM-Omni проверена на одном GB200, но это не минимальное требование к памяти. Рецепты дообучения стартуют с Cosmos3-Nano или совместимых базовых весов и охватывают все четыре этапа. NVIDIA советует хранить полные чекпойнты обучения, потому что экспортированные веса для инференса не содержат состояния оптимизатора, а качество проверять на отложенных эпизодах: успешный короткий прогон подтверждает, что код работает, но не сходимость. Сама NVIDIA признаёт, что задачи остаются трудными: предстоит измерить, где модели достоверно поддерживают обучение и оценку политик, понять их пределы и улучшить слабые места.

Ключевые факты

• NVIDIA добавила в семейство Cosmos 3 четыре открытых чекпойнта: Transfer-Auto, Sim-Auto, Sim-Transfer и Sim-Bimanual; все, дообученные примеры Cosmos 3 Nano с 16 млрд обучаемых параметров.
• Transfer-Auto генерирует синхронное видео максимум с 11 камер (включая «рыбий глаз») и совместно RGB и лидар; Sim-Auto, его потоковый дистиллированный вариант.
• Sim-Transfer рисует RGB по глубине, сегментации, контурам или размытию из симулятора, а Sim-Bimanual предсказывает видео по действиям двурукого робота (YAM и AgiBot).
• Обучение идёт в четыре этапа: двунаправленная адаптация, teacher forcing, консистентная дистилляция (четыре шага шумоподавления на кусок) и self-forcing.
• Лицензия OpenMDW1.1 допускает коммерческое и некоммерческое использование; опубликованы рецепты дообучения и технический отчёт.

Почему это важно

Для обучения и проверки политик вождения и робототехники нужны среды, которые отвечают на действия агента в меняющихся сценах и ракурсах. NVIDIA выкладывает в открытом доступе веса и рецепты дообучения для такой интерактивной симуляции: потоковая генерация синхронных камер и лидара, видео по действиям робота и рендер по управляющим сигналам физического симулятора. Это общая отправная точка, чтобы адаптировать модели, сравнивать методы и вносить улучшения. Сама NVIDIA оговаривает, что задачи остаются трудными и ещё нужно измерить, где модели достоверно годятся для обучения и оценки политик.

Кому это важно

Исследователям и разработчикам автономного вождения, которым нужна синтетика с вариациями погоды, освещения и времени суток, а также многокамерные данные с лидаром. Командам робототехники с двурукими манипуляторами (платформы YAM и AgiBot) и тем, кто строит мировые модели и замкнутые симуляции для политик.

Как это применить

Для запуска нужны Linux, GPU NVIDIA, Docker и NVIDIA Container Toolkit; опубликованная конфигурация vLLM-Omni проверена на одном GB200, при этом это не минимальное требование к памяти. К каждой модели есть открытый навык для кодинг-агента и ноутбук. Для своей сенсорной конфигурации сначала дообучают Transfer-Auto на своих данных, затем при необходимости проводят причинное обучение и дистилляцию в Sim-Auto. Перед долгим обучением стоит проверить среду, валидировать образец и протестировать обучение с перезапуском. Лицензия OpenMDW1.1 допускает коммерческое и некоммерческое использование на её условиях.

Можно ли доверять

Это публикация самой NVIDIA в блоге на Hugging Face; технический отчёт указан отдельной ссылкой. В тексте блога нет результатов бенчмарков, метрик качества и сравнений с другими мировыми моделями, нет данных о скорости генерации, поэтому оценить реальное качество по одному этому посту нельзя. Описание возможностей, заявления разработчика.

Риски и подводные камни

Замкнутое взаимодействие с Sim-Auto требует отдельной среды симуляции и рендерера WSM, одних весов недостаточно. Ошибки генерации могут накапливаться: неточно предсказанный объект становится контекстом для следующих кадров, поэтому нужен этап self-forcing. Короткий успешный прогон обучения подтверждает лишь выполнение, но не сходимость: качество проверяют на отложенных эпизодах. Для Sim-Bimanual важно строго соблюдать схему действий и выравнивание по времени (T переходов, T+1 наблюдений). Экспортированные веса для инференса не содержат состояния оптимизатора, поэтому для продолжения обучения нужны полные чекпойнты.