World Labs выпустила Atlas, модель мира для генерации и реконструкции 3D-сцен

Компания World Labs представила Atlas, модель мира нового поколения, предобученную с нуля на тексте, изображениях, видео и 3D-данных. Это омни-модель: мультимодальный авторегрессивный диффузионный трансформер, который объединяет все входные данные в единый «пространственный контекст» и на его основе генерирует продолжение сцены, сохраняя согласованность в 3D с уже увиденным и достраивая то, что находится за его пределами. По заявлению World Labs, качество модели растёт вместе с объёмом вычислений на обучении, и компания ожидает, что эта тенденция сохранится при дальнейшем масштабировании. Atlas будет использоваться в будущих версиях сервиса Marble и других продуктов World Labs.

Модель охватывает три группы задач. Camera-Controlled Generation, генерация изображений и видео по одному или нескольким входным изображениям с точным (пиксель-в-пиксель) управлением положением и углом камеры; так можно получить до 1 минуты видео в разрешении 1440p, причём камеру для всей сцены можно спроектировать заранее, а не полагаться на случайность генерации. Spatial Reconstruction, реконструкция реальных сцен по входным изображениям: от одного снимка до нескольких десятков, без специального оборудования. World Labs заявляет, что Atlas превосходит специализированные современные модели 3D-реконструкции: достоверную реконструкцию модель обычно даёт уже по двум-трём изображениям, а может использовать более сотни изображений одновременно, чем больше входных снимков, тем меньше модели приходится «додумывать» недостающие части сцены. В демонстрации на кампусе Стэнфорда по 2, 25 наземным фотографиям был построен вид с воздуха над всей площадью. Помимо 2D-кадров, Atlas выдаёт и явные 3D-представления, облака точек и 3D Gaussian splats (гауссовы сплаты), которые рендерятся на устройстве в реальном времени и используются в том же виде, что и в Marble.

Space-Time Simulation, работа с пространством и временем по входному видео. Из съёмки всего с трёх обычных камер (в демонстрациях, смартфоны на штативах) Atlas реконструирует сцену и позволяет «заморозить» момент и пересмотреть его с других ракурсов (эффект bullet time), причём для съёмки не потребовались профессиональные операторы или специальная техника. Для робототехники та же способность используется для Real-to-Sim: в примерах World Labs два больших окружения были отсняты на видео с телефона (по 24 кадра на окружение), после чего Atlas реконструировал пространство и сгенерировал изображения с камер, закреплённых на теле смоделированного робота, для разных траекторий движения; для манипуляционных задач модель также помогает воссоздать, как объекты двигаются и взаимодействуют, что даёт разнообразные данные для обучения и тестирования робототехнических систем. Четвёртое направление, Image Generation: Atlas генерирует изображения и 360-градусные панорамы по текстовому описанию, следует сложным промптам, отображает текст на изображении и работает в разных визуальных стилях, хотя это не основная задача модели.

В посте World Labs не названы конкретные исследователи или авторы модели, не приведены цифры бенчмарков или конкретные модели-конкуренты для сравнения («превосходит», оценка самой компании), не раскрыты число параметров, объём обучающих данных или бюджет вычислений, а также не указаны дата релиза, цена и условия доступа к Atlas.

Ключевые факты

Atlas, модель мира нового поколения от World Labs: мультимодальный авторегрессивный диффузионный трансформер, предобученный с нуля на тексте, изображениях, видео и 3D.
Camera-Controlled Generation: генерация видео длиной до 1 минуты в разрешении 1440p с точным (пиксель-в-пиксель) управлением камерой по одному или нескольким входным изображениям.
Spatial Reconstruction: достоверная реконструкция сцены обычно уже по 2, 3 изображениям, возможна работа с более чем сотней изображений; по заявлению World Labs, модель превосходит специализированные современные модели 3D-реконструкции.
Space-Time Simulation: реконструкция сцены и эффект «bullet time» по съёмке с 3, 5 обычных камер, а также Real-to-Sim симуляции для робототехники, в примерах окружения сняты на телефон по 24 кадра каждое.
Atlas выдаёт не только 2D-кадры, но и явные 3D-представления (облака точек, гауссовы сплаты) и будет использоваться в будущих версиях Marble и других продуктов World Labs; дата релиза, цена и доступ пока не объявлены.

Почему это важно

Atlas, попытка построить единую омни-модель, которая одновременно генерирует, реконструирует и симулирует миры по тексту, изображениям, видео и 3D-данным в общей архитектуре, а не разными специализированными моделями под каждую задачу. World Labs называет её шагом к решению «реконструкции по разреженным входным данным (novel view synthesis)», задачи, которую компания описывает как фундаментальную и нерешённую десятилетиями проблему компьютерного 3D-зрения, и утверждает, что качество модели продолжает расти вместе с объёмом вычислений на обучении.

Кому это важно

Разработчикам видео- и визуальных эффектов, за счёт точного управления камерой при генерации видео и панорам. Специалистам по 3D-реконструкции, играм и VFX, за счёт явных 3D-выходов (облака точек, гауссовы сплаты), которые можно рендерить и использовать напрямую. Командам в робототехнике, за счёт Real-to-Sim: построения симуляций окружений и датасетов из обычной видеосъёмки на телефон. Пользователям сервиса Marble, потому что Atlas ляжет в основу его будущих версий.

Как это применить

Camera-Controlled Generation подходит там, где нужно заранее спроектировать камеру и получить согласованное видео или серию изображений вместо случайного результата генерации. Spatial Reconstruction решает задачу восстановления реальных пространств без специального сканирующего оборудования, по паре снимков для быстрой реконструкции или по десяткам-сотне изображений для более точной. Space-Time Simulation годится для пересъёмки видео под эффект bullet time с минимальным набором камер и для построения Real-to-Sim окружений и обучающих данных в робототехнике из обычной видеосъёмки. Image Generation закрывает генерацию изображений и 360-панорам по тексту. Конкретных условий доступа, цены или даты выхода Atlas в публикации не приведено.

Можно ли доверять

Источник, официальный пост в блоге самой World Labs, а не независимый обзор или тестирование третьей стороной. Утверждения о превосходстве Atlas над специализированными моделями 3D-реконструкции, собственная оценка компании: конкретные бенчмарки и названия моделей-конкурентов, с которыми проводилось сравнение, в публикации не приведены. Не раскрыты также число параметров модели, объём обучающих данных и вычислительный бюджет, а исследователи и авторы модели поимённо не названы.

Риски и подводные камни

Заявленное превосходство над другими моделями 3D-реконструкции не подкреплено опубликованными цифрами и не проверено независимо. Модель явно «имитирует» (imagines) недостающие части сцены, когда входных изображений мало, то есть при небольшом числе снимков реконструкция может оказаться скорее правдоподобной, чем точной копией реального пространства, что важно учитывать в задачах, где нужна геометрическая точность (робототехника, обмеры). Дата релиза, цена и условия доступа к Atlas пока не объявлены, так что оценить, когда и на каких условиях модель станет доступна за пределами демонстраций и Marble, по этой публикации нельзя.