Hugging Face выпустила скрипты для дообучения 3D-модели TRELLIS.2 через LoRA

Hugging Face выложила руководство по дообучению TRELLIS.2, популярной модели генерации 3D-объектов. К тексту приложены скрипты и два Docker-образа (один для предобработки данных, другой для обучения). Запускать их можно локально на своём GPU или в облаке Hugging Face Jobs. Если ваш датасет уже загружен на Hugging Face Hub, хватит нескольких аргументов команды; можно также доработать скрипты самостоятельно в репозитории.
Отправная точка: общая модель вроде TRELLIS.2 может ошибаться в деталях, важных для конкретной задачи. В начальных тестах авторов предобученная модель обычно выдавала туфли, которые выглядели правильно, но с неверными подошвами. Эксперимент проверяет, сможет ли LoRA (low-rank adaptation, низкоранговая адаптация) сделать подошвы точнее. Для этого взяли подмножество Google Scanned Objects (GSO): 188 предметов обуви из 1030 объектов набора.
Ключевая идея, решить, что дообучать, а что заморозить. Конвейер TRELLIS.2 разделяет структуру, детальную геометрию и материалы. Адаптеры LoRA добавлены только в два трансформатора-диффузора (DiT): в sparse-structure flow DiT, который предсказывает грубую форму (малый латент 16³ × 8, из которого декодер строит сетку занятости 64 × 64 × 64), и в shape flow DiT, который строит детальную геометрию в формате O-Voxel с разрешением 512 × 512 × 512. Texture flow DiT, отвечающий за материалы и текстуры, заморожен: в датасете цветовые карты с запечённым освещением и нет отдельных карт материалов, поэтому обучение на них могло бы научить модель принимать свет за свойство поверхности, а также привело бы к катастрофическому забыванию. К тому же, по словам авторов, проблема именно в форме обуви, а цвета и текстуры базовая модель делает хорошо.
Почему LoRA, а не полное дообучение: на таком малом наборе полное дообучение стоит заметно дороже и может затереть то, что модель уже умеет (выученные априорные представления). Конфигурация обучает примерно 9,3 млн параметров адаптеров на оба DiT: ранг 8 в слоях внимания и полносвязных (MLP) слоях sparse-structure flow DiT и ранг 16 в слоях внимания shape flow DiT.
Практическая часть. Сначала запускается контейнер предобработки: Blender (без экрана, через xvfb-run) рисует 16 видов каждого объекта, они служат условными изображениями при обучении, а сами меши переводятся в латентные представления TRELLIS.2. Для 188 объектов полный прогон занял примерно час на задании a100-large; в команде заданы тайм-аут 6 часов и доля отложенных данных 0,05. Затем запускаются два отдельных задания обучения, режимы ss (sparse-structure) и shape, каждое с тайм-аутом 12 часов; метрики пишутся в Trackio, а чекпоинты адаптеров выгружаются на Hub, если указан --push-to. Для быстрого старта опубликован уже обработанный датасет с обувью, в примерной команде заданы max_steps=3000 и i_save=500. Для работы нужны токен HF_TOKEN и доступ аккаунта к закрытой модели DINOv3. Дальше в руководстве разбирается устройство скриптов; в доступном тексте материал обрывается на середине этого разбора, результаты обучения и сравнение с базовой моделью не приводятся.
Ключевые факты
- Hugging Face выпустила скрипты и два Docker-образа (предобработка и обучение) для дообучения 3D-модели TRELLIS.2 адаптерами LoRA; запуск локально или в Hugging Face Jobs.
- Эксперимент: 188 моделей обуви из 1030 объектов набора Google Scanned Objects; цель, исправить неточные подошвы, которые выдавала предобученная модель.
- LoRA добавлена только в два DiT (структура: ранг 8; форма: ранг 16), всего около 9,3 млн обучаемых параметров; материалы (texture flow DiT) заморожены.
- Предобработка 188 объектов: 16 видов на объект через Blender, около часа на задании a100-large; затем два отдельных задания обучения с тайм-аутом 12 часов.
- Нужны HF_TOKEN и доступ к закрытой модели DINOv3; в доступном тексте результатов обучения нет.
Почему это важно
У TRELLIS и TRELLIS.2 нет простого способа адаптации под конкретную задачу, авторы руководства отмечают это прямо. Общая 3D-модель может ошибаться в деталях, критичных для приложения (пример из текста: точная геометрия мебели; в эксперименте, подошвы обуви). Руководство даёт готовый путь: контейнеры с зависимостями, скрипты и разбор того, какие части конвейера трогать. Главный принцип, который подчёркивают авторы: выбор того, что заморозить, важен не меньше, чем выбор того, что дообучать.
Кому это важно
Тем, кто работает с генерацией 3D в робототехнике, симуляции, медиа и развлечениях и хочет подогнать TRELLIS.2 под свою категорию объектов на небольшом наборе собственных мешей (GLB или OBJ). Также полезно тем, кто осваивает LoRA на нетривиальной архитектуре с несколькими диффузионными трансформаторами.
Как это применить
Загрузите меши на Hugging Face Hub, получите HF_TOKEN и доступ к DINOv3. Запустите контейнер предобработки (в примере: a100-large, тайм-аут 6 часов, 16 видов на объект), затем два задания обучения, для режимов ss и shape (в примере: a100-large, тайм-аут 12 часов); результаты передаются в Trackio, а адаптеры выгружаются на Hub. Те же образы можно запускать локально через Docker. Для пробы авторы подготовили готовый датасет с обувью и команды с max_steps=3000 и i_save=500.
Можно ли доверять
Источник, собственный блог Hugging Face, то есть материал первой стороны: он описывает свои скрипты и свой эксперимент. Имена авторов в доступном тексте не указаны. Текст обрывается на середине разбора, поэтому проверить заявленное улучшение подошв по приведённым данным нельзя: цифр качества и сравнения с базовой моделью в доступной части нет. Утверждения вроде «LoRA лучше полного дообучения на малом наборе», оценка авторов, а не измеренный результат.
Риски и подводные камни
Датасет мал (188 объектов), а цветовые карты содержат запечённое освещение, поэтому материалы не обучались, и руководство не показывает, как адаптировать этот этап. Нужен доступ к закрытой модели DINOv3, иначе запуск не получится. Задания рассчитаны на мощные GPU (в примерах a100-large) и длинные тайм-ауты. Результат на других категориях объектов в доступном тексте не проверяется.
«Выбор того, что заморозить, важен не меньше, чем выбор того, что дообучать.»
— авторы руководства Hugging Face