Предложен InstantFusion: общий латентный интерфейс для разных генераторов изображений
Диффузионные модели и модели на основе потоков (flow) стали основным подходом к генерации изображений, и семейство современных генераторов становится всё более разнородным по архитектурам и представлениям. При этом, как отмечают авторы, согласованность латентных представлений разных моделей и единство их внутренней динамики шумоподавления остаются малоизученными.
Исходное наблюдение работы: независимо обученные генераторы демонстрируют сходную пространственную организацию латентного пространства, а прямая передача промежуточных состояний между невыровненными моделями всё ещё может сохранять грубое визуальное содержание. Опираясь на это, авторы предлагают InstantFusion, лёгкий общий латентный интерфейс, соединяющий траектории шумоподавления разнородных генераторов изображений.
Устроен он так. Для каждой модели вводится собственный латентный автокодировщик (Latent AutoEncoder, LAE). Он проецирует промежуточные состояния генератора в общее латентное пространство и декодирует их в латентное пространство целевого генератора. Общее пространство обучается двумя взаимодополняющими целями: выравниванием промежуточных состояний, полученных из одного и того же изображения при совпадающих уровнях шума, и синхронизацией соответствующих локальных скоростей шумоподавления.
После обучения InstantFusion позволяет передавать шумоподавление от одного замороженного генератора к другому без отдельного отображения для каждой пары моделей. Универсальность подхода показана в четырёх сценариях: ускорение, композиция нескольких предпочтений, кросс-архитектурная дистилляция по собственной политике (on-policy distillation) и композиция моделей. По словам авторов, во всех этих постановках метод показывает конкурентоспособные результаты.
Ключевые факты
- InstantFusion, лёгкий общий латентный интерфейс, соединяющий траектории шумоподавления разнородных диффузионных и flow-генераторов изображений.
- Для каждой модели вводится свой латентный автокодировщик (LAE): он переводит промежуточные состояния в общее пространство и декодирует их в латентное пространство целевого генератора.
- Общее пространство обучается двумя целями: выравнивание промежуточных состояний одного изображения при совпадающих уровнях шума и синхронизация локальных скоростей шумоподавления.
- После обучения шумоподавление переходит между замороженными генераторами без отдельного отображения для каждой пары моделей.
- Применимость показана в четырёх сценариях: ускорение, композиция предпочтений, кросс-архитектурная on-policy-дистилляция и композиция моделей; результаты названы конкурентоспособными.
Почему это важно
Генераторов изображений на диффузионной и flow-основе становится всё больше, а их архитектуры и латентные представления различаются. Работа указывает на возможность связывать такие модели через общее латентное пространство, не переобучая сами генераторы и не строя отдельное соответствие для каждой пары. Исходное наблюдение авторов, независимо обученные модели организуют латентное пространство сходным образом, а передача промежуточных состояний между ними сохраняет хотя бы грубое содержание картинки.
Кому это важно
Прежде всего исследователям генеративных моделей изображений, которые работают с ускорением генерации, дистилляцией и комбинированием нескольких моделей или предпочтений. Для читателей-практиков это пока научная идея: готового продукта в тексте не описано.
Как это применить
Схема предполагает обучение компактных латентных автокодировщиков под каждый генератор и общего пространства с двумя целями, выравнивание состояний при совпадающих уровнях шума и синхронизация скоростей шумоподавления. Сами генераторы остаются замороженными. Публикация кода, моделей или данных в тексте не упоминается, поэтому воспроизведение потребует реализации по описанию метода.
Можно ли доверять
Источник, аннотация статьи на Hugging Face Papers, то есть пересказ самих авторов, а не независимая оценка. Количественных результатов нет: производительность названа лишь конкурентоспособной, а какие именно генераторы и базовые методы использовались, в тексте не указано. Оценить масштаб выигрыша по имеющемуся описанию нельзя.
Риски и подводные камни
Исходное наблюдение сформулировано осторожно: прямая передача состояний между невыровненными моделями лишь «может» сохранять грубое содержание, то есть не детали. Размер латентных автокодировщиков и стоимость обучения в тексте не раскрыты, кроме того, что интерфейс назван лёгким. Без цифр и названий протестированных моделей неясно, насколько хорошо подход переносится на другие генераторы.