NVIDIA выпустила Cosmos 3 Edge, компактную модель мира для роботов

NVIDIA выложила на Hugging Face, в репозитории Cosmos 3, новую модель Cosmos 3 Edge, открытую модель мира на 4 миллиарда параметров, рассчитанную на работу на периферийных устройствах: заводах, складах, больницах и других местах, где нет доступа к вычислениям уровня дата-центра. Модель помогает роботам и системам компьютерного зрения понимать окружающую обстановку, рассуждать в реальном времени и генерировать действия робота прямо на устройстве. Скачать веса можно на странице nvidia/Cosmos3-Edge. Модель рассчитана на запуск на периферийных вычислителях NVIDIA, GPU серии RTX PRO, станциях NVIDIA DGX, потребительских GeForce RTX, а также на модулях Jetson, включая только что анонсированные Jetson T2000 и T3000.

Модель совмещает две трансформерные «башни» с общим представлением: авторегрессионная башня обрабатывает визуальные и текстовые токены и отвечает за понимание и рассуждение, а диффузионная, визуальные, аудио- и токены действий, отвечая за предсказание, генерацию и симуляцию. У башен раздельные слои нормализации и полносвязные сети, но общие слои многомодального внимания, которые связывают язык, видео, звук и действия. Тип внимания подобран под тип данных: язык использует каузальное внимание, где токен видит только предыдущие токены, а токены диффузии, более широкий контекст для связной генерации.

Разные физические системы описывают действие по-разному: автомобиль, через положение и движение, робот-рука, через позу схвата, дрон, через движение камеры. Cosmos 3 Edge переводит все эти представления в единый формат, компактные геометрические векторы, описывающие перемещение, поворот и состояние манипулятора. Это напрямую связывает управление с визуальной структурой мира: модель может связать изменение пикселей с реальным движением. В «режиме политики» модель одновременно предсказывает действие и его ожидаемый визуальный результат, например, по команде «возьми банан и положи на тарелку». Вместе с базовой моделью NVIDIA выпустила готовую политику Cosmos 3 Edge Policy (DROID), она дообучена на датасете DROID для задач захвата и перекладывания предметов, скрипты дообучения прилагаются.

Как объединённая модель мира и действий (world action model, WAM), Cosmos 3 Edge работает на разрешении, подходящем для управления роботом (640×360), и генерирует 32 действия за один проход на чипе NVIDIA Jetson Thor, обеспечивая управление в реальном времени с частотой 15 Гц. Среди моделей сопоставимого размера (4 млрд параметров) Cosmos 3 Edge заняла 1-е место в бенчмарке VANTAGE-Bench для анализа видео и показала лучший результат в обучении робото-политик, по заявлению NVIDIA, это новый уровень качества для систем «умной» инфраструктуры и робототехники.

Разработчикам предлагают дообучать Cosmos 3 Edge под свои задачи на небольшом кластере из нескольких GPU H100 или на станции NVIDIA DGX, а затем разворачивать результат на периферийных устройствах NVIDIA. Отдельно NVIDIA выпустила дистиллированный чекпойнт Cosmos 3 Super 4-Step для генерации изображений из текста и видео из изображения на базе модели с 64 млрд параметров: он сокращает число шагов диффузии с 35, 50 до всего четырёх, ускоряя вывод до 25 раз при сохранении качества картинки и видео. NVIDIA заявляет, что будет развивать линейку Cosmos 3 для «физического ИИ» дальше, в сторону интерактивной генерации миров, симуляции сценариев вождения и робото-политик, а также оптимизации инференса, в том числе через фреймворк vLLM.

Ключевые факты

NVIDIA выпустила Cosmos 3 Edge, открытую модель мира на 4 млрд параметров для периферийных устройств: заводов, складов, больниц
Модель работает как компактная визуально-языковая модель и как объединённая модель мира и действий (WAM): выдаёт 32 действия за проход на чипе Jetson Thor с частотой управления 15 Гц
Среди моделей похожего размера (4 млрд параметров) Cosmos 3 Edge заняла 1-е место в бенчмарке VANTAGE-Bench и показала лучший результат в обучении робото-политик
Вместе с базовой моделью вышла готовая политика Cosmos 3 Edge Policy (DROID) для задач захвата и перекладывания предметов, обученная на датасете DROID
Отдельный дистиллированный чекпойнт Cosmos 3 Super 4-Step ускоряет диффузионную генерацию картинок и видео до 25 раз (с 35, 50 шагов до 4) без потери качества

Почему это важно

Cosmos 3 Edge переносит возможности «модели мира», понимание физики сцены и предсказание последствий действий, с дата-центра на периферийное устройство. Это компактная (4 млрд параметров) открытая модель, которая при этом, по данным NVIDIA, лучшая в своём весе на бенчмарке VANTAGE-Bench и в обучении робото-политик. Раньше подобные вычисления требовали облака или мощной рабочей станции, здесь всё считается локально, прямо на роботе или периферийном компьютере.

Кому это важно

Разработчикам робототехники и систем компьютерного зрения, которые ставят вычисления на заводах, складах и в больницах без постоянного канала в облако; инженерам, работающим с платформой NVIDIA Jetson, включая новые модули Jetson T2000 и T3000 и чип Jetson Thor; исследовательским командам, которым нужна открытая модель мира для обучения и тестирования робото-политик.

Как это применить

Модель доступна для скачивания на Hugging Face (nvidia/Cosmos3-Edge) вместе с открытыми скриптами дообучения. NVIDIA предлагает дообучать её под конкретную задачу на кластере из нескольких GPU H100 или на станции NVIDIA DGX, а затем разворачивать на периферийных устройствах, RTX PRO, DGX, GeForce RTX или Jetson. Для задач захвата и перекладывания предметов есть готовая политика Cosmos 3 Edge Policy (DROID). Для быстрой генерации изображений и видео, отдельный дистиллированный чекпойнт Cosmos 3 Super 4-Step, ускоряющий диффузию до 25 раз.

Можно ли доверять

Источник, официальный блог NVIDIA на Hugging Face, модель и веса выложены в открытом доступе вместе со скриптами обучения, что позволяет независимо проверить заявления. Однако все цифры, 1-е место на VANTAGE-Bench, лучший результат в обучении робото-политик, ускорение до 25 раз, управление на 15 Гц, приведены самой NVIDIA, независимых сторонних тестов в материале нет.

Риски и подводные камни

Заявленная производительность (15 Гц управления, 32 действия за проход) привязана к конкретному чипу NVIDIA Jetson Thor, на менее мощном железе результат может быть ниже. Бенчмарки и сравнения приведены только производителем, без независимой верификации. Материал рассчитан на промышленных и робототехнических разработчиков, а не на массового пользователя, и требует профильных компетенций в машинном обучении и настройке периферийных вычислителей NVIDIA.