NVIDIA представила Cosmos-H-Dreams, генеративный симулятор хирургических роботов в реальном времени

NVIDIA развивает линейку Cosmos для хирургической робототехники. Первая модель, Cosmos-H-Surgical-Simulator, построена на базе Cosmos-Predict2.5-2B и дообучена на датасете Open-H-Embodiment: по стартовому кадру операции и последовательности действий робота она генерирует видео вероятных последствий этих действий, что используют для офлайн-оценки политик управления и генерации синтетических данных, без повторных прогонов на физическом роботе.

Новая модель Cosmos-H-Dreams переводит эту идею в реальное время. Её получили дистилляцией Cosmos-H-Surgical-Simulator в компактную каузальную модель-«студента», которая генерирует сцену авторегрессивно: получает начальный кадр и живой поток кинематики робота и достраивает видео блок за блоком. Версия, которую выложила NVIDIA, специализирована на задаче сшивания тканей на столе с использованием робота da Vinci Research Kit (dVRK). Модель обслуживается через FlashDreams, ускоренную библиотеку потокового вывода NVIDIA, и на одной GPU RTX PRO 6000 выдаёт интерактивную среду, которой можно управлять вручную или через обученную политику в замкнутом цикле.

Обучение построено как связка «учитель, студент». Модель-«учителя» дообучили на массиве данных dVRK из Университета Джонса Хопкинса, куда специально включили не только успешные операции, но и неудачные эпизоды, уроненные иглы, промахи, неудачно завязанные узлы: симулятор должен корректно показывать последствия плохих действий, а не только идеальные демонстрации. Горизонт предсказания в обучении постепенно наращивали с 12 до 72 кадров. Каузального «студента» сперва обучили имитировать сохранённые траектории «учителя» (causal warmup), а затем применили self-forcing дистилляцию: студент достраивает ролик по собственным сгенерированным кадрам, а замороженный учитель направляет этот процесс к реалистичному результату, так модель готовится к тем же условиям, что и при реальном интерактивном выводе. В итоге модель работает всего за два шага шумоподавления на кадр вместо многошагового процесса полной модели.

Библиотека FlashDreams добавляет потоковый KV-кэш, захват CUDA Graph и компиляцию модели, вместе эти оптимизации подняли скорость примерно с 10 кадров в секунду у полной версии Cosmos-H-Surgical-Simulator до около 160 кадров в секунду у Cosmos-H-Dreams на одной RTX PRO 6000. К модели прилагаются готовые интерфейсы: браузерный клиент передаёт команды с клавиатуры и получает кадры по WebRTC, клиент для Meta Quest переносит движения контроллера в действия робота и показывает сгенерированную сцену через WebXR; ту же модель можно подключить к обученной хирургической политике для замкнутого цикла генерации наблюдений и действий.

NVIDIA также показала интеграцию с реальным оборудованием: совместно с CMR Surgical и Cambridge Consultants Cosmos-H-Dreams подключили к контроллеру хирурга платформы Versius, обеспечив работу в реальном времени на этой платформе.

NVIDIA прямо называет Cosmos-H-Dreams исследовательской и опытно-конструкторской платформой, не диагностической системой, не заменой интраоперационной визуализации и не контроллером для управления реальным хирургическим роботом. Компания также опубликовала пошаговый рецепт дообучения «учителя» и self-forcing дистилляции, чтобы желающие могли адаптировать подход под собственный робот и датасет. В планах, более строгие замкнутые бенчмарки (точность позиционирования инструмента, устойчивость захвата, дрейф на длинных роликах) и применение модели для генерации редких аварийных сценариев, обучения политик с подкреплением и имитацией, а в перспективе, для телехирургии с учётом задержек и репетиции операций.

Вместе с моделью NVIDIA открыла код и веса на GitHub и Hugging Face, датасет Open-H-Embodiment, саму библиотеку FlashDreams и статью на arXiv с методикой автоматической онлайн-оценки хирургических политик через мировую модель (Cosmos-Surg-dVRK).

Ключевые факты

• Cosmos-H-Dreams, дистиллированная каузальная версия Cosmos-H-Surgical-Simulator, которая генерирует хирургическое видео в реальном времени на одной GPU RTX PRO 6000, разогнав скорость примерно с 10 до 160 кадров в секунду
• Обучающий рецепт: учитель дообучен на данных dVRK из Университета Джонса Хопкинса вместе с неудачными эпизодами (уроненные иглы, промахи, плохие узлы), затем студент прошёл causal warmup и self-forcing дистилляцию до двух шагов шумоподавления на кадр
• Модель специализирована на задаче сшивания тканей роботом da Vinci Research Kit (dVRK), к ней приложены браузерный клиент на WebRTC и клиент для Meta Quest на WebXR, а также возможность подключить обученную политику в замкнутом цикле
• Вместе с CMR Surgical и Cambridge Consultants NVIDIA интегрировала модель с контроллером хирурга платформы Versius для работы в реальном времени
• Код, веса, датасет Open-H-Embodiment, библиотека FlashDreams и статья на arXiv выложены открыто; NVIDIA подчёркивает, что это исследовательская платформа, а не диагностический инструмент или контроллер реального робота

Почему это важно

Генеративные мировые модели заменяют медленные физические симуляторы: вместо ручного описания каждого объекта и физического взаимодействия модель учится динамике сцены прямо по видео и кинематике робота. Скачок с 10 до 160 кадров в секунду переводит такую модель из режима офлайн-оценки в режим интерактивного управления в реальном времени, это открывает возможность обучать и проверять политики управления хирургическими роботами без постоянного использования физического оборудования.

Кому это важно

В первую очередь, разработчикам хирургических роботов и медтех-компаниям, создающим ассистирующие или автономные хирургические системы: NVIDIA уже показала интеграцию с платформой Versius от CMR Surgical. Также интересно исследователям робототехники и мировых моделей в целом, которые работают над дистилляцией видео-моделей для реального времени и потоковым выводом.

Как это применить

NVIDIA открыла код и веса Cosmos-H-Dreams на GitHub и Hugging Face вместе с датасетом Open-H-Embodiment и библиотекой FlashDreams для потокового вывода. Готовый чекпойнт покрывает задачу сшивания тканей роботом dVRK; для своего оборудования и данных можно пройти опубликованный пошаговый рецепт дообучения учителя и self-forcing дистилляции. Для управления доступны браузерный клиент на WebRTC и клиент для гарнитуры Meta Quest на WebXR, а также возможность подключить собственную обученную политику в замкнутом цикле.

Можно ли доверять

NVIDIA, один из ключевых игроков в области мировых моделей и симуляции (линейка Cosmos), и релиз сопровождается подробным описанием обучающего пайплайна, открытым кодом, весами, датасетом и статьёй на arXiv с методикой оценки, это позволяет независимо проверить и воспроизвести результаты. При этом сами цифры производительности (рост до 160 кадров в секунду) приведены самой компанией в её собственном блоге, а не в независимом бенчмарке.

Риски и подводные камни

NVIDIA прямо оговаривает: Cosmos-H-Dreams, исследовательская и опытно-конструкторская платформа, не диагностическая система, не замена интраоперационной визуализации и не контроллер для управления реальным хирургическим роботом. Генеративные видео-симуляторы в принципе способны показывать физически неточные детали, а опубликованный чекпойнт заточен только под сшивание тканей на dVRK, для других роботов и процедур потребуется своё обучение. Сама NVIDIA называет следующим шагом более строгие замкнутые бенчмарки (точность позиционирования инструмента, устойчивость захвата, дрейф на длинных роликах), без которых выводы симулятора нельзя напрямую переносить на реального робота.

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.