Oxygen-TryOn: новая модель виртуальной примерки одежды обходит GPT-Image-2
Команда во главе с Yong Liu представила Oxygen-TryOn, фундаментальную модель, созданную специально для виртуальной примерки («any-item virtual try-on»), а не переделанную из универсального редактора изображений. На вход модель получает один или несколько референсов вещи (чистые фото товара или фото, где вещь уже надета на ком-то) и фото человека-цели, а на выходе выдаёт фотореалистичное изображение этого человека в этих вещах. Прежние системы обычно работают только с одной категорией одежды в студийных условиях, а недавние методы с несколькими референсами всё равно завязаны на конкретный тип вещи. Oxygen-TryOn поддерживает практически любую категорию одежды и аксессуаров, съёмку по пояс и в полный рост, переменное число референсов и свободную компоновку сразу нескольких вещей на одном человеке, сохраняя при этом и внешность самого человека, и точный вид примеряемых вещей.
Вместо примерки через маскированный инпейнтинг (закрашивание и перерисовка выделенной области) авторы переформулировали задачу как генерацию на основе понимания нескольких референсов сразу. Для обучения построен отдельный конвейер данных, который собирает, синтезирует, размечает и фильтрует материалы для примерки в большом масштабе. Обучение идёт в три стадии: продолженное предобучение (CPT), контролируемая дообучающая настройка (SFT) и обучение с подкреплением (RL). На стадии RL используется гибридная награда: собственная модель-оценщик качества примерки плюс проприетарная модель общего назначения с оценкой по рубрикам, вместе они контролируют и точность деталей, и соответствие инструкции. В этом же проходе модель выполняет и обычные инструкции по редактированию, например смену позы.
На публичных бенчмарках и на собственном внутреннем бенчмарке Oxygen-TryOn Bench модель показывает лучший результат по точности и реалистичности при примерке одной вещи и лидирует при примерке нескольких вещей одновременно, сравниваясь или превосходя как проприетарные системы (Nano Banana Pro, GPT-Image-2, Seedream5 Lite), так и открытую модель FLUX.2.
Ключевые факты
- Oxygen-TryOn, модель, обученная специально под примерку одежды с нуля, а не адаптированный универсальный редактор изображений
- Поддерживает разные категории вещей, переменное число референсов, съёмку по пояс и в полный рост, а также одновременную примерку нескольких вещей
- Задача переформулирована как генерация на основе понимания референсов вместо маскированного инпейнтинга
- Обучение в три стадии, продолженное предобучение, контролируемая настройка и обучение с подкреплением с гибридной наградой
- На бенчмарках сравнивается или превосходит Nano Banana Pro, GPT-Image-2, Seedream5 Lite и FLUX.2
Почему это важно
Работа показывает, что узкоспециализированная модель, обученная под одну задачу с нуля, способна обойти по качеству крупные универсальные генераторы изображений вроде GPT-Image-2 и Nano Banana Pro именно в своей нише, виртуальной примерке. Это подтверждает тезис, что для отдельных прикладных задач доменная модель с собственным конвейером данных и трёхстадийным обучением может оказаться эффективнее, чем попытка приспособить общий редактор изображений.
Кому это важно
В первую очередь, интернет-магазинам одежды и обуви, платформам виртуальных примерочных и разработчикам инструментов для fashion-ритейла, для которых качество сохранения внешности человека и точности передачи вещи напрямую влияет на конверсию. Также результат интересен исследователям в области генерации изображений как пример специализированного обучения поверх фундаментальной модели.
Как это применить
В тексте источника ничего не говорится о публичном релизе модели, доступе по API или лицензии, это описание научной работы (статья на HuggingFace Papers), а не анонс продукта. Судить о доступности модели для практического использования по имеющимся данным нельзя.
Можно ли доверять
Материал опубликован как научная статья на HuggingFace Papers, автор указан один (Yong Liu), но, вероятно, у работы есть соавторы, не перечисленные в источнике. Сравнение проводится частично на публичных бенчмарках, а частично, на собственном внутреннем бенчмарке авторов (Oxygen-TryOn Bench), что типично для отраслевых статей, но не заменяет независимую проверку.
Риски и подводные камни
В источнике не обсуждаются этические риски, хотя технология фотореалистичной подмены одежды на реальном человеке потенциально применима и для введения зрителя в заблуждение, а не только для честной онлайн-примерки. Также нет данных о том, доступна ли модель за пределами исследовательской статьи, поэтому реальное влияние на рынок пока оценить нельзя.