Представлен EDGAR: диффузия исправляет артефакты аватаров головы

Gaussian splatting позволяет эффективно и фотореалистично восстанавливать аватары головы, но методы, работающие по монокулярному видео или по одному изображению, по словам авторов, всё ещё страдают от недоопределённой геометрии и текстуры. Отсюда артефакты: размытие, растяжения и нестабильность во времени.
Для исправления этого предложен EDGAR (Efficient Diffusion-Driven Gaussian Avatar Refinement), условная диффузионная модель, задача которой улучшить качество аватаров, исправляя артефакты и не теряя сходства с исходным человеком. Для обучения авторы собрали набор EDGAR-SET: гибридный набор троек из реальных снимков и синтетических рендеров. Он имитирует реальные сбои Gaussian-аватаров: испорченные рендеры сопоставлены с эталонными (ground-truth) и референсными изображениями.
Устройство модели: блок слияния подаёт признаки идентичности, извлечённые самообучаемой моделью Sapiens, в одношаговую диффузионную основу. По утверждению авторов, это даёт эффективное удаление артефактов без потери скорости. Чтобы справляться с разными типами и степенями искажений, в EDGAR встроена архитектура Mixture-of-Experts (смесь экспертов).
Далее исправленные многоракурсные рендеры служат псевдоцелями для оптимизации одного исходного Gaussian-аватара. Благодаря этому итоговый аватар можно отображать, не прогоняя EDGAR через каждый кадр на выходе.
Эксперименты проведены на трёх разных методах реконструкции Gaussian-аватаров, каждый оценивался в трёх разных настройках. Авторы сообщают об улучшении и перцептивных метрик, и метрик реконструкции по сравнению с исходными результатами и с базовым методом уточнения в стиле SDEdit. Оценка между ракурсами, по их словам, показывает более высокую калиброванную согласованность, а проверки при большом угле поворота головы (yaw) и с открытым ртом подтверждают устойчивость в экстремальных условиях. Вывод осторожный: результаты указывают на полезный режим применения для исправимых артефактов внешнего вида. Код доступен на странице проекта: https://kwanyun.github.io/edgar/
Ключевые факты
- EDGAR, условная диффузионная модель для доводки Gaussian-аватаров головы: убирает размытие, растяжения и нестабильность во времени, сохраняя сходство с человеком.
- Обучена на новом гибридном наборе EDGAR-SET из реальных и синтетических троек (испорченный рендер, эталон, референс).
- Блок слияния подаёт признаки идентичности из модели Sapiens в одношаговую диффузионную основу; для разных искажений используется смесь экспертов (MoE).
- Исправленные рендеры с разных ракурсов служат псевдоцелями для оптимизации одного аватара, поэтому EDGAR не нужно применять к каждому выходному кадру.
- Проверка на трёх методах реконструкции в трёх настройках каждый: авторы заявляют улучшение метрик относительно исходных результатов и базового метода в стиле SDEdit; числовых значений в аннотации нет. Код опубликован.
Почему это важно
Аватары головы на Gaussian splatting строятся быстро и выглядят фотореалистично, но по одному видео или изображению геометрия и текстура определены не до конца, отсюда видимые дефекты. EDGAR предлагает исправлять их уже готовым постобработчиком, не перестраивая сам метод реконструкции: по заявлению авторов, он проверен на трёх разных методах. Отдельная идея, перенести результат диффузионной правки обратно в один аватар, чтобы не гонять диффузию по каждому кадру при показе.
Кому это важно
Исследователям и инженерам, работающим с цифровыми аватарами головы, реконструкцией лиц и Gaussian splatting. Также тем, кто строит наборы данных с имитацией сбоев реконструкции: подход EDGAR-SET с тройками «испорченный рендер, эталон, референс» может быть интересен как приём.
Как это применить
Код опубликован на странице проекта https://kwanyun.github.io/edgar/. Из аннотации следует схема работы: получить рендеры многоракурсного аватара, прогнать их через EDGAR, затем использовать результат как псевдоцели для оптимизации одного исходного Gaussian-аватара. Требования к вычислительным ресурсам и лицензия в аннотации не указаны, их нужно смотреть на странице проекта.
Можно ли доверять
Это препринт, и все утверждения принадлежат авторам: в аннотации нет числовых значений метрик, улучшения описаны только качественно. Сами три метода реконструкции, три настройки оценки и базовые методы (кроме «базового метода в стиле SDEdit») не названы, размер EDGAR-SET не приведён. Вывод сформулирован осторожно: речь о «полезном режиме применения для исправимых артефактов внешнего вида», а не об исправлении любых дефектов. Независимой проверки в источнике нет.
Риски и подводные камни
Метод заявлен для исправимых артефактов внешнего вида; для остальных дефектов успех не заявлен. Без числовых результатов и перечня сравниваемых методов трудно оценить масштаб выигрыша. Модель опирается на признаки идентичности из Sapiens и на синтетически созданные сбои, поэтому качество на реальных неудачах других методов может отличаться: в аннотации такая проверка описана лишь тремя методами и экстремальными случаями (большой поворот головы, открытый рот).