ИИтог

Предобученные модели изображений научили генерировать в любом порядке: +13-33% вычислений

исследованияРедакция ИИтогHugging Face🔥55Рейтинг ИИтог55Влияние45Новизна60Релевантность100Неожиданность30Участники10Достоверность75
Предобученные модели изображений научили генерировать в любом порядке: +13-33% вычислений

Авторегрессионные (AR) генераторы изображений сильны, но негибки: их обучают с фиксированным порядком построчной развёртки (raster-scan), и в модель «зашивается» одна-единственная факторизация распределения изображений. Из-за этого на этапе вывода такая модель не умеет дорисовывать недостающие фрагменты (inpainting), расширять картинку за края (outpainting) и редактировать её.

Существующие решения, включая современное семейство дискретной диффузии, обучают с нуля на смеси разных порядков токенов, и это обходится примерно в 3 раза дороже по вычислениям, чем обычное обучение с построчной развёрткой. Кроме того, дискретная диффузия, как пишут авторы, по построению теряет совместимость с экосистемой AR-вывода (KV-кэширование, vLLM). Авторы считают, что эта плата лишняя.

Их довод: предобученная модель с построчной развёрткой уже выучила совместное распределение токенов изображения. Ей не хватает не знаний, а способности выразить их через непоследовательные условные пути. Предложенный рецепт адаптации состоит из двух компонентов: позиционных эмбеддингов, учитывающих будущие позиции (они решают проблему идентифицируемости целевой позиции при пренебрежимо малых накладных расходах), и учебного плана по порядкам (ordering curriculum), который прокладывает стабильный путь оптимизации от предобученного решения к хорошему режиму генерации в произвольном порядке.

Рецепт применили к четырём базовым моделям двух архитектур и двух масштабов: LlamaGen-L/XL и RAR-L/XL. По заявлению авторов, он заметно превосходит MaskGIT в дорисовке на ImageNet (FID 6,21 против 10,44; чем меньше, тем лучше) и в расширении изображений, а также сопоставим с MAR-L. Платой за гибкость становится рост FID на 1,2-1,9 в классово-условной генерации, а дополнительные вычисления сверх предобучения составляют 13-33%. Стандартный стек AR-вывода при этом остаётся нетронутым. Код опубликован на GitHub (репозиторий Ordered-AR/unlockedadaptation).

Ключевые факты

  • Фиксированный порядок построчной развёртки лишает AR-модели изображений возможности дорисовывать, расширять и редактировать картинки при выводе.
  • Существующие решения (в том числе дискретная диффузия) обучают с нуля примерно за 3x вычислений от обычного обучения; предложенный рецепт адаптации стоит 13-33% дополнительных вычислений сверх предобучения.
  • Рецепт включает позиционные эмбеддинги, учитывающие будущие позиции, и учебный план по порядкам; проверен на LlamaGen-L/XL и RAR-L/XL.
  • На дорисовке ImageNet FID 6,21 против 10,44 у MaskGIT; цена гибкости, рост классово-условного FID на 1,2-1,9.
  • Стандартный стек AR-вывода не меняется; код опубликован.

Почему это важно

Если подход работает так, как описывают авторы, то способности дорисовки, расширения и редактирования не нужно закладывать при обучении с нуля: их можно «открыть» в уже существующих AR-моделях изображений. Сравнение затрат у авторов такое: около 3x вычислений от обычного обучения у решений с нуля против 13-33% дополнительных вычислений сверх предобучения у их рецепта.

Кому это важно

Исследователям и инженерам, работающим с авторегрессионными генераторами изображений вроде LlamaGen и RAR, а также тем, кто хочет получить дорисовку и редактирование, не отказываясь от привычного AR-стека вывода (KV-кэширование, vLLM).

Как это применить

Авторы выложили код: https://github.com/Ordered-AR/unlockedadaptation. Рецепт рассчитан на адаптацию уже предобученных моделей с построчной развёрткой, а не на обучение с нуля. Проверка в работе проведена на четырёх базовых моделях: LlamaGen-L/XL и RAR-L/XL. Данных о применимости к другим моделям в источнике нет.

Можно ли доверять

Это препринт, представленный на Hugging Face Papers; все цифры (FID 6,21 против 10,44, рост FID на 1,2-1,9, 13-33% дополнительных вычислений) заявлены самими авторами. Код опубликован, так что результаты можно перепроверить. В аннотации не указано, какая именно модель дала FID 6,21.

Риски и подводные камни

Гибкость не бесплатна: классово-условный FID растёт на 1,2-1,9 пункта, то есть качество обычной генерации немного снижается. Превосходство над MaskGIT подтверждено на ImageNet; в аннотации нет значений для расширения изображений и для MAR-L, где сказано лишь, что рецепт сопоставим с этой моделью. Выводы о редактировании сформулированы авторами как предположение («наши результаты предполагают»).

«Дорисовку, расширение изображения и редактирование, как показывают наши результаты, не нужно добавлять в авторегрессионные модели изображений. Их можно раскрыть в уже существующих.»

— из аннотации работы