HairDeck создаёт карточки волос для персонажей по одной картинке
В играх и аватарах волосы стилизованных персонажей собирают из «карточек волос» (hair cards): это ленты, которые размещает художник. Их геометрия и есть видимые волосы, а двигают их пружинные кости (spring bones).
Существующие методы, работающие по изображению, дают либо реалистичные волосы, либо один слитый меш. Единственный генератор стилизованных карточек волос, CHARM, декодирует причёску авторегрессионно, как длинную последовательность контрольных точек.
Авторы статьи исходят из наблюдения: причёска из карточек, это неупорядоченное множество примитивов, заданных художником. Поэтому они предлагают метод HairDeck, который генерирует причёску именно как множество. Каждая карточка кодируется одним токеном, а множественный диффузионный трансформер (set diffusion transformer) очищает от шума все карточки вместе.
По одному изображению HairDeck создаёт и сами карточки, и цепочки пружинных костей, которые их приводят в движение. Получается анимируемый ресурс, который экспортируется в готовые к использованию форматы.
На тестовой выборке самого CHARM, как заявляют авторы, HairDeck снижает расстояние Чамфера на 44% и уменьшает ошибку ориентации карточек более чем вдвое, при этом работает в 33 раза быстрее. Кроме того, по одиночным изображениям он превосходит CHARM, конвейеры «изображение в 3D» и методы на основе прядей. Ссылка на страницу проекта приведена в аннотации.
Ключевые факты
- HairDeck генерирует по одному изображению стилизованные карточки волос и цепочки пружинных костей, которые их анимируют.
- Причёска рассматривается как неупорядоченное множество: каждая карточка, один токен, а множественный диффузионный трансформер очищает от шума все карточки сразу.
- На тестовой выборке CHARM расстояние Чамфера ниже на 44%, ошибка ориентации карточек уменьшена более чем вдвое.
- Метод работает в 33 раза быстрее CHARM, единственного прежнего генератора стилизованных карточек волос.
- Результат экспортируется в готовые к использованию форматы; авторы заявляют превосходство и над конвейерами «изображение в 3D», и над методами на основе прядей.
Почему это важно
Карточки волос, стандартный способ делать волосы стилизованных персонажей в играх и аватарах, но до сих пор их создавали вручную, а автоматический генератор был один, CHARM. HairDeck предлагает другой подход: не последовательность контрольных точек, а множество карточек, обрабатываемое целиком. Заявленные выигрыши, на 44% ниже расстояние Чамфера, вдвое меньше ошибка ориентации и ускорение в 33 раза относительно CHARM.
Кому это важно
Разработчикам игр и аватарных систем, 3D-художникам по персонажам, а также исследователям генерации 3D-ресурсов и диффузионных трансформеров для множеств.
Как это применить
Из аннотации следует, что на вход подаётся одно изображение, а на выходе получается набор карточек с цепочками пружинных костей, готовый к анимации и экспорту в форматы для дальнейшей работы. Дополнительные подробности можно искать на странице проекта: https://hyzcluster.github.io/HairDeck.
Можно ли доверять
Это аннотация научной статьи: все числа, заявления самих авторов. Улучшения в 44%, более чем вдвое и в 33 раза даны относительно CHARM на его же тестовой выборке; абсолютные значения не приведены. Для сравнений с конвейерами «изображение в 3D» и методами на основе прядей цифр нет. Независимая проверка не упоминается.
Риски и подводные камни
Сравнение с CHARM сделано на его собственной тестовой выборке, и о переносе на другие данные в тексте ничего не сказано. Не названы конкретные форматы экспорта, а также аппаратные требования и размер модели. Из источника нельзя понять, насколько качество достаточно для реальных производственных конвейеров.