4DAnyone восстанавливает 4D-модель человека из обычного видео с одной камеры

Авторы представили 4DAnyone, фреймворк для восстановления «4D-людей» (объёмной модели человека, меняющейся во времени) из обычного видео, снятого одной камерой без предварительной калибровки. Метод сначала генерирует по этому видео набор согласованных между собой роликов с новых ракурсов, а затем поднимает их в 4D Gaussian Splatting (4DGS), представление сцены облаком гауссовых примитивов, которое позволяет быстро рендерить объёмную сцену в движении.

Авторы формулируют проблему так: существующие видео-диффузионные модели с управлением камерой умеют правдоподобно генерировать видео с одного нового ракурса, но перестают быть согласованными, когда нужно сгенерировать десятки ракурсов сразу, а именно столько требуется для качественной 4DGS-реконструкции. Причина, «эффект ограниченного контекста внимания»: если число целевых ракурсов превышает то, что один проход трансформера-диффузии (DiT) способен обработать за раз, ракурсы приходится делить на группы. Это порождает две связанные проблемы: во-первых, чтобы сохранить единый внешний вид объекта, каждая новая группа должна учитывать все уже сгенерированные ракурсы, а это условие («контекст-ссылка») растёт линейно с числом ракурсов и слабеет по мере роста; во-вторых, отдельные группы ракурсов не обмениваются информацией напрямую, из-за чего общая геометрия сцены «плывёт» и рассогласуется между группами.

4DAnyone решает обе проблемы двумя дополняющими друг друга механизмами. Первый, упаковка эталонного контекста (Reference Context Packing, RCP): она сжимает постоянно растущий набор уже сгенерированных ракурсов в контекст фиксированной длины со смешанным разрешением, так что сложность обработки этого контекста перестаёт расти с числом ракурсов. Второй, маршрутизация целевого контекста (Target Context Routing, TCR): в процессе шумоподавления группы целевых ракурсов периодически перетасовываются, чтобы на «шумных» (грубых) шагах генерации группы могли обмениваться контекстом между собой, а на «чистых» (финальных) шагах, стабилизировать уже наметившиеся детали.

Для обучения авторы собрали собственный датасет MVGameHuman, отрендеренный на их внутреннем игровом движке, и объединили его со съёмками в light-stage студии (студии с управляемым многоракурсным освещением) и обычным видео «из реальной жизни». На бенчмарках DNA-Rendering и DyMVHumans 4DAnyone превзошёл предыдущие методы как по качеству видео с новых ракурсов, так и по качеству итоговой 4D-реконструкции, и показал устойчивую работу на произвольном непостановочном видео. Численные показатели сравнения и точное число используемых ракурсов в тексте не приводятся; код и видеорезультаты авторы выложили на странице проекта 4danyone.github.io.

Ключевые факты

4DAnyone строит 4D-модель человека, объёмную форму, меняющуюся во времени, по одному обычному видео с некалиброванной камеры, соединяя видео-диффузию и 4D Gaussian Splatting (4DGS)
Авторы описывают «проблему ограниченного контекста внимания»: при генерации десятков ракурсов, нужных для 4DGS, эталонный контекст растёт линейно и слабеет, а несвязанные группы ракурсов теряют согласованность геометрии
Решение, два механизма: Reference Context Packing сжимает растущий эталонный контекст до фиксированной длины, Target Context Routing перетасовывает группы ракурсов при шумоподавлении, синхронизируя их на грубых шагах и стабилизируя детали на финальных
Для обучения собран новый датасет MVGameHuman на собственном игровом движке, дополненный съёмками в light-stage студии и обычным видео из реальной жизни
На бенчмарках DNA-Rendering и DyMVHumans метод превзошёл предыдущие подходы по качеству видео с новых ракурсов и по итоговой 4D-реконструкции; код и видеорезультаты выложены в открытый доступ

Почему это важно

Восстановление объёмной, движущейся модели человека обычно требует студии с калиброванным набором камер или дорогого специализированного оборудования. 4DAnyone показывает путь к тому же результату по одному обычному видео, при условии, что удастся удержать согласованность картинки между десятками сгенерированных ракурсов. Именно эту техническую преграду, рост вычислительной нагрузки и потерю согласованности при масштабировании числа ракурсов, авторы называют главным препятствием для прежних подходов и предлагают для неё конкретное архитектурное решение.

Кому это важно

Работа адресована исследователям компьютерного зрения и графики, а также тем, кто создаёт цифровых аватаров, работает с захватом движения и объёмным видео для игр, кино, AR/VR и виртуальных примерочных. Практическая ценность, в том, что для входных данных достаточно одной обычной камеры без калибровки, а не студийной многокамерной установки.

Как это применить

Авторы выложили код и видеорезультаты на странице проекта 4danyone.github.io. Это исследовательский фреймворк, а не готовый потребительский продукт: чтобы получить 4D-модель человека, нужно прогнать через него собственное монокулярное видео и иметь вычислительные ресурсы для видео-диффузии и 4D Gaussian Splatting.

Можно ли доверять

Материал, препринт на HuggingFace Papers с описанием метода, датасетов и результатов на признанных бенчмарках DNA-Rendering и DyMVHumans, где авторы заявляют превосходство над прежними подходами. В доступном тексте не приводятся ни конкретные численные показатели сравнения, ни авторская аффилиация, ни точное число используемых ракурсов, судить о масштабе улучшения по одному описанию метода нельзя, для этого нужно смотреть полные цифры в самой статье.

Риски и подводные камни

Технология восстановления реалистичной 4D-модели человека по случайному видео потенциально применима и без согласия снятого человека, риск использования для создания цифровых двойников или диплейков стоит держать в уме по мере того, как подобные методы становятся доступнее. Заявленное превосходство проверено пока только на двух академических бенчмарках и собственном датасете авторов; устойчивость метода на действительно разнородном «диком» видео вне тестовых наборов ещё предстоит подтвердить независимо.