NVIDIA выпустила Cosmos3-H-Dreams: нейросеть-симулятор хирургической операции в реальном времени

NVIDIA опубликовала Cosmos3-H-Dreams, генеративный симулятор хирургии. Он учился на видео и данных о движениях робота (кинематике) из клинических операций на платформе Versius компании CMR Surgical. Предыдущий релиз, Cosmos-H-Dreams на базе Cosmos-Predict2.5, умел интерактивно симулировать только настольное зашивание на роботе dVRK. Новая версия переходит от лабораторной задачи к реальным клиническим сценам. По словам NVIDIA, это, насколько им известно, первый генеративный хирургический симулятор реального времени, обученный на записях клинических холецистэктомий (удаления желчного пузыря) и поддерживающий управление инструментами вживую. Модель построена на Cosmos 3 и ускорена библиотекой потокового вывода FlashDreams, а работает интерактивно на одной видеокарте NVIDIA RTX PRO 6000.

Вместо того чтобы явно моделировать геометрию сцены, деформации тканей и физику контактов, как это делает численная симуляция, модель учится визуальной динамике напрямую из синхронизированного видео и команд. Внутри тела это сложнее, чем на столе: небольшие движения инструмента меняют всю сцену, ткани растягиваются, сдвигаются блики, структуры перекрываются, дым ухудшает видимость. Ошибки накапливаются со временем и искажают форму инструментов или анатомию, поэтому критична временная согласованность. Реалистичная картинка при этом, лишь отправная точка для проверки, но не доказательство биомеханической точности; кроме того, сцена обязана реагировать на команды сдвига, поворота и захвата.

Основой служит Cosmos3-H-Embodied-Nano, модель на 16 млрд параметров, предобученная на наборе Open-H-Embodiment. На её базе специализируют двунаправленного «учителя» на подобранных видео и кинематике холецистэктомий. Отбор примеров нацелен на два видимых активных инструмента, левый захват Cadiere и правый монополярный крючок, а команды камеры ограничены, чтобы подчеркнуть взаимодействие, управляемое инструментами. Модель использует 28 измерений действий: положение и состояние захвата обеих рук, а также управление энергией, оси и кнопки джойстиков. Обучение идёт на видео 832 x 480 с выравниванием действий на частоте 10 Гц; эта частота не равна скорости генерации при работе.

Обучение проходит в два этапа. Сначала учителя адаптируют на 24 будущих кадрах, затем горизонт расширяют до 72 кадров (2,4 и 7,2 секунды при 10 Гц). Затем дистилляцией двунаправленный учитель превращается в причинную «ученическую» модель, которая генерирует видео короткими блоками по мере поступления новых действий. Сначала causal teacher forcing готовит её к последовательной генерации на записанном контексте, потом Self-Forcing учит на её собственном сгенерированном контексте под руководством учителя и обученного критика, это помогает бороться с накоплением ошибок. Первая выпущенная модель использует четыре шага шумоподавления на блок; вторую, двухшаговую, обучили отдельно на её основе, это не просто четырёхшаговая модель с урезанным числом шагов. Меньше шагов, быстрее вывод, но ниже визуальное качество; два чекпоинта позволяют выбрать баланс. Для долгих прогонов используется адаптированный модуль FadeMem, который уплотняет растущий кэш ключей и значений.

В демонстрациях два видео стартуют с одного кадра, но управляются разными последовательностями действий, записанными с помощью VR-гарнитуры. NVIDIA утверждает, что они показывают разные продолжения одной сцены с физически точными деформациями тканей. Систему можно адаптировать под другие наборы данных и устройства, где есть синхронизированное видео и совместимое представление действий; для этого есть пошаговое руководство по дообучению учителя и дистилляции Self-Forcing. Интеграции контроллеров должны использовать те же соглашения о действиях и нормализацию, что и при обучении.

Среди направлений дальнейших исследований NVIDIA называет моделирование всей процедуры, объединение генеративной и численной симуляции, оценку хирургами, поддержку большего числа инструментов и обучение автономных хирургических политик. Это именно исследовательские направления, а не клинические возможности: Cosmos3-H-Dreams, исследовательский симулятор, а не проверенная система для ухода за пациентами. Ссылки на код, чекпоинт на Hugging Face, Cosmos3-H-Embodied-Nano, набор Open-H-Embodiment и FlashDreams даны в самом посте.

Ключевые факты

• Cosmos3-H-Dreams обучен на видео и кинематике клинических холецистэктомий на платформе CMR Surgical Versius; NVIDIA называет его, насколько ей известно, первым таким симулятором реального времени с живым управлением.
• Работает интерактивно на одной видеокарте NVIDIA RTX PRO 6000 благодаря библиотеке FlashDreams; данных о частоте кадров и задержке в посте нет.
• Основа, модель Cosmos3-H-Embodied-Nano на 16 млрд параметров; управление задаётся 28 измерениями действий для двух инструментов (захват Cadiere и монополярный крючок).
• Выпущены две дистиллированные модели: на четыре и на два шага шумоподавления; двухшаговая быстрее, но качество картинки ниже.
• NVIDIA прямо оговаривает: это исследовательский симулятор, а не проверенная система для ухода за пациентами; реалистичность картинки не доказывает биомеханическую точность.

Почему это важно

Прежний Cosmos-H-Dreams симулировал настольное зашивание на роботе dVRK. Cosmos3-H-Dreams переносит подход на запись реальных клинических операций, где малое движение инструмента меняет всю сцену: растяжение тканей, блики, перекрытия, дым. Модель учится не явной физике, а визуальной динамике из видео и команд, и NVIDIA показывает, что такой симулятор можно запускать интерактивно на одной видеокарте. Это шаг к альтернативе численной симуляции в хирургической робототехнике, хотя пока лишь исследовательский.

Кому это важно

Прежде всего исследователям хирургической робототехники и мировых моделей (world foundation models), а также разработчикам, которым нужна среда для экспериментов с управлением инструментами. Пост адресован сообществу, которое может подключить собственные контроллеры, траектории и данные.

Как это применить

В посте перечислены репозиторий с кодом и примерами, чекпоинт на Hugging Face, Cosmos3-H-Embodied-Nano, набор Open-H-Embodiment и библиотека FlashDreams. Доступны четырёхшаговая и двухшаговая модели: первая даёт лучшее качество, вторая, быстрее вывод. Для своих данных есть пошаговое руководство по дообучению учителя и дистилляции Self-Forcing; нужно синхронизированное видео и совместимое представление действий, а контроллеры должны использовать те же соглашения и нормализацию, что при обучении. Условия лицензии в тексте поста не указаны.

Можно ли доверять

Источник, первичная публикация NVIDIA в блоге на Hugging Face, без именных авторов и независимой проверки. Утверждение о «первом» симуляторе, оценка самой NVIDIA («насколько нам известно»). Утверждение о физически точных деформациях тканей тоже принадлежит NVIDIA; в посте нет количественных метрик, сравнения двух моделей и оценки хирургов, последняя названа лишь будущим направлением.

Риски и подводные камни

NVIDIA сама подчёркивает: визуальный реализм, лишь отправная точка для проверки, а не доказательство биомеханической точности. Cosmos3-H-Dreams, исследовательский симулятор, а не проверенная система для ухода за пациентами, и перечисленные планы (в том числе автономные хирургические политики), исследовательские направления, а не клинические возможности. Технические ограничения: накопление ошибок в длинных прогонах, управление всего двумя инструментами с ограниченными командами камеры, потеря качества при меньшем числе шагов. Данных о числе и источнике клинических записей в посте нет.

«Cosmos3-H-Dreams, это исследовательский симулятор, а не проверенная система для ухода за пациентами.»

— авторы блога NVIDIA