ИИтог

Intrinsic Distribution Matching: метод дистилляции для text-to-image в 1-2 шага

исследованияРедакция ИИтогHugging Face🔥58Рейтинг ИИтог58Влияние50Новизна55Релевантность100Неожиданность30Участники35Достоверность75
Intrinsic Distribution Matching: метод дистилляции для text-to-image в 1-2 шага

В препринте предложен метод Intrinsic Distribution Matching (IDM) для дистилляции генерации изображений по тексту за один или несколько шагов. Исходная проблема: при столь малом числе шагов у модели почти нет возможности «доуточнить» картинку, поэтому детали из промпта нужно отрисовывать точно сразу.

Основа, distribution matching distillation (DMD, дистилляция сопоставлением распределений): она использует разность скоров, чтобы приблизить распределение генерируемых изображений к эталонному. Следуя прежним работам, эту разность оценивают внутренними «velocity»-ветвями (ветвями предсказания скорости), так что отдельная сеть fake-score не нужна.

Авторы задаются вопросом, улучшит ли явное ограничение на моменты такую выученную supervision по скору. Для этого они раскладывают поле обратной KL-дивергенции на гауссову моментную составляющую и негауссов остаток; разложение показывает, какие статистики можно ограничить явно.

IDM сохраняет полную поправку DMD и добавляет сопоставление средних значений признаков и стандартных отклонений по каждой координате. Признаки берутся из EMA-копии генератора (экспоненциальное скользящее среднее весов), поэтому внешний кодировщик признаков не нужен.

Эксперименты проведены с полной настройкой параметров и с LoRA (низкоранговой адаптацией) на моделях Z-Image-Turbo (6 млрд параметров) и Qwen-Image (20 млрд). При двух вычислениях сети IDM набирает 94,25% на китайской и 90,20% на английской LongText-Bench, по утверждению авторов, это наивысшие результаты среди сравниваемых методов при таком бюджете. Контролируемые абляции показывают выигрыш от добавленного моментного члена потерь, а признаки EMA-копии генератора работают на уровне внешнего кодировщика DINOv2 по пяти приведённым метрикам. Код опубликован в репозитории inclusionAI/IDM на GitHub.

Ключевые факты

  • IDM добавляет к дистилляции DMD потери на сопоставление средних и стандартных отклонений признаков по координатам, сохраняя полную поправку DMD.
  • Признаки берутся из EMA-копии генератора, внешний кодировщик признаков не требуется; отдельная сеть fake-score тоже не нужна.
  • При двух вычислениях сети: 94,25% на китайской и 90,20% на английской LongText-Bench, наивысшие среди сравниваемых методов при этом бюджете (по заявлению авторов).
  • Эксперименты, полная настройка и LoRA на Z-Image-Turbo 6B и Qwen-Image 20B.
  • Абляции показывают выигрыш от моментного члена; EMA-признаки генератора сопоставимы с внешним DINOv2 по пяти метрикам. Код открыт.

Почему это важно

Генерация за один-два шага ускоряет text-to-image, но оставляет мало возможностей исправить ошибки, особенно в мелких деталях вроде текста на картинке. IDM предлагает простое дополнение к уже распространённой дистилляции DMD: явное ограничение на моменты признаков, обоснованное разложением обратной KL-дивергенции.

Кому это важно

Исследователям и инженерам, которые занимаются дистилляцией диффузионных и flow-моделей для быстрой генерации изображений, в том числе с рендерингом текста на китайском и английском языках.

Как это применить

Код выложен на GitHub (inclusionAI/IDM). Метод проверен с полной настройкой параметров и с LoRA на моделях Z-Image-Turbo 6B и Qwen-Image 20B. Сведений о стоимости обучения или скорости в тексте нет.

Можно ли доверять

Это препринт, результаты заявлены самими авторами. Оценка «наивысшие среди сравниваемых методов» относится к выбранному набору методов и бюджету в два вычисления сети; значения конкурентов в тексте не приведены, поэтому величина преимущества неизвестна. Код открыт, так что результаты можно перепроверить.

Риски и подводные камни

Из описания не ясно, на какой именно модели и режиме настройки получены 94,25% и 90,20%. Размер выигрыша от моментного члена в абляциях не указан. Признаки EMA-копии названы «сопоставимыми» с DINOv2, а не лучшими, так что преимущество этого варианта, в отсутствии внешнего кодировщика, а не в качестве.