ИИтог

Вышла Qwen-Image-PE: нейросеть улучшает запросы для генерации картинок

моделиРедакция ИИтогHugging Face🔥57Рейтинг ИИтог57Влияние45Новизна60Релевантность95Неожиданность25Участники45Достоверность80
Вышла Qwen-Image-PE: нейросеть улучшает запросы для генерации картинок

В статье представлена Qwen-Image-PE, модель для улучшения запросов (prompt enhancement, PE) в генерации изображений по тексту. Задача PE, превратить сырой, недоопределённый запрос пользователя в связное визуальное описание, по которому генератор рисует картинку. Авторы считают, что существующие методы сохраняют намерение пользователя и повышают общую привлекательность картинки, но уделяют меньше явного внимания тонким дизайнерским параметрам. Qwen-Image-PE нацелена на этот пробел: она учится визуальному дизайну.

Обучение идёт в два этапа. Сначала, supervised fine-tuning (обучение с учителем) методом Caption-Based Reverse Distillation (CRD, «обратная дистилляция на основе подписей»): в качестве дизайнерского ориентира используются подробные описания хорошо оформленных изображений. Затем, обучение с подкреплением с наградой Groupwise Design Reward (GDR, «групповая награда за дизайн»): она совместно сравнивает все картинки-кандидаты, полученные по одному и тому же запросу, и помогает улучшать освещение, композицию, компоновку и детали.

Результаты на бенчмарке Qwen-Image-Bench с генератором Qwen-Image-2.1: старшая модель Qwen-Image-PE-397B улучшает результат по сравнению с исходными запросами на 7,81 пункта (шкала метрики в источнике не указана), а Qwen-Image-PE-9B превосходит все оценённые PE-базовые методы. Дополнительные проверки, по словам авторов, показывают прирост в визуальном дизайне, эстетике, качестве изображения и человеческих предпочтениях.

Авторы также отмечают, что PE масштабируется по трём осям: объём обучающих данных, размер модели и информационная плотность. При этом достаточная информационная плотность названа необходимым условием эффективного улучшения запроса. Наконец, Qwen-Image-PE обобщается на четыре дополнительные text-to-image модели и на HunyuanImage-2.1 и FLUX 3 Image Klein даже превосходит их собственные встроенные улучшатели запросов. Версия Qwen-Image-PE-9B опубликована на Hugging Face: huggingface.co/Qwen/Qwen-Image-2.1-PE-T2I.

Ключевые факты

  • Qwen-Image-PE превращает недоопределённые пользовательские запросы в подробные визуальные описания для генерации картинок по тексту.
  • Обучение двухэтапное: дообучение с учителем на подробных описаниях удачных изображений (CRD), затем обучение с подкреплением с групповой наградой за дизайн (GDR).
  • На Qwen-Image-Bench с Qwen-Image-2.1 версия 397B даёт +7,81 пункта к исходным запросам, а версия 9B обходит все оценённые PE-базовые методы.
  • Модель обобщается на четыре дополнительные text-to-image модели и на HunyuanImage-2.1 и FLUX 3 Image Klein превосходит их встроенные улучшатели запросов.
  • Опубликована версия Qwen-Image-PE-9B на Hugging Face.

Почему это важно

Пользователи обычно пишут генераторам картинок короткие и расплывчатые запросы, а качество результата сильно зависит от их проработки. Работа показывает способ научить отдельную модель добавлять в запрос то, что относится к дизайну: освещение, композицию, компоновку, детали. По утверждению авторов, это даёт прирост в визуальном дизайне, эстетике, качестве изображения и человеческих предпочтениях. Кроме того, они сообщают, что улучшение запросов масштабируется по данным, размеру модели и информационной плотности.

Кому это важно

Разработчикам и исследователям text-to-image систем, которым нужен модуль улучшения запросов перед генератором. Командам, которые используют HunyuanImage-2.1, FLUX 3 Image Klein или другие генераторы: авторы заявляют, что Qwen-Image-PE переносится на четыре дополнительные модели. Также тем, кто изучает обучение с подкреплением с групповой наградой и дистилляцию через подписи изображений.

Как это применить

Опубликована версия Qwen-Image-PE-9B: huggingface.co/Qwen/Qwen-Image-2.1-PE-T2I. Её можно поставить перед text-to-image генератором, чтобы расширять короткие запросы. Лицензия, объём обучающих данных и вычислительные затраты в источнике не указаны, поэтому условия использования стоит проверить на странице модели.

Можно ли доверять

Все результаты, собственные заявления авторов статьи, опубликованной на Hugging Face; независимой проверки в источнике нет. Названия авторов и организаций в тексте нет, о принадлежности к Qwen говорят лишь название модели и адрес релиза. Названия PE-базовых методов, с которыми шло сравнение, не приведены, шкала метрики 7,81 пункта и исходный балл не указаны, для версии 9B числовой прирост не дан.

Риски и подводные камни

Из источника известно, что выложена только версия 9B; о публикации модели 397B ничего не сказано. Основные результаты получены на одном бенчмарке и одном генераторе (Qwen-Image-Bench с Qwen-Image-2.1), а переносимость заявлена для четырёх дополнительных моделей, из которых названы только две. Авторы подчёркивают, что без достаточной информационной плотности улучшение запроса неэффективно, значит, результат зависит от того, насколько подробно модель дорабатывает исходный запрос.