Представлена Intern Lumina U2: диффузионная модель для понимания и генерации изображений

В препринте описана Intern Lumina U2, диффузионная языковая модель для единой работы с текстом и визуальными данными. Исходная проблема, по описанию авторов, такова. Дискретные подходы с визуальным токенизатором на один словарь кодов (codebook) естественно сочетаются с моделированием текста, но у них ограниченная выразительность. Непрерывные и гибридные подходы сохраняют более богатые визуальные представления, но моделируют текст и изображения в разных пространствах с разными целями обучения, а это потенциально создаёт конфликты оптимизации между модальностями. Центральный вопрос, как его формулируют авторы: как эффективно моделировать визуальные представления высокой ёмкости вместе с текстом в общем пространстве оптимизации внутри одной базовой сети.

Ответ авторов, Intern Lumina U2, которая, по их словам, является первой диффузионной языковой моделью, представляющей визуальные токены из нескольких словарей кодов в полностью дискретном пространстве. Каждая визуальная позиция описывается группой кодов из взаимодополняющих словарей: это увеличивает выразительность представления и сохраняет совместимость с дискретным моделированием текста. На входе эмбеддинги (векторные представления) кодов конкатенируются в каждой позиции. На выходе лёгкая авторегрессионная «голова», работающая с несколькими словарями, последовательно предсказывает коды внутри каждой позиции, тогда как диффузионная основа обрабатывает все позиции параллельно.

Модель построена на унифицированном 4D-представлении AToken и, как заявлено, принимает на вход изображения, видео и 3D-данные в рамках одной базовой сети. Авторы утверждают, что она показывает лидирующие результаты среди унифицированных моделей в понимании изображений, их генерации и редактировании. Кроме того, они создали полный программный комплекс для обучения, вывода и оценки на платформах Ascend и NVIDIA, чтобы проверить работоспособность модели на обеих.

Отдельно улучшена эффективность вывода: стратегия сэмплирования с учётом стабильности сочетает разворачивание (снятие масок) токенов, ориентированное на плато уверенности, с обновлением кэша при срабатывании сигнала о дрейфе. По заявлению авторов, это ускоряет генерацию изображений в 4,45 раза.

Ключевые факты

Intern Lumina U2, диффузионная языковая модель, которая описывает каждую визуальную позицию группой кодов из нескольких взаимодополняющих словарей в полностью дискретном пространстве; авторы называют её первой такой, по их сведениям.
На выходе лёгкая авторегрессионная «голова» последовательно предсказывает коды внутри позиции, а диффузионная основа обрабатывает все позиции параллельно.
Модель опирается на унифицированное 4D-представление AToken и принимает изображения, видео и 3D-данные в одной базовой сети.
Авторы заявляют лидирующие результаты среди унифицированных моделей в понимании изображений, их генерации и редактировании.
Стратегия сэмплирования с учётом стабильности (плато уверенности и обновление кэша при дрейфе) ускоряет генерацию изображений в 4,45 раза.

Почему это важно

Работа целится в известный компромисс унифицированных мультимодальных моделей. Дискретные подходы с одним словарём кодов хорошо стыкуются с текстом, но ограничены по выразительности. Непрерывные и гибридные богаче по визуальным представлениям, но держат текст и изображения в разных пространствах и потенциально порождают конфликты оптимизации. Intern Lumina U2 пытается совместить богатство визуального представления с единым дискретным пространством для текста и изображений. Авторы называют это, по своим сведениям, первым такого рода решением среди диффузионных языковых моделей.

Кому это важно

Исследователям унифицированных мультимодальных моделей и диффузионных языковых моделей, а также командам, которых интересует единая модель для понимания и генерации изображений, видео и 3D-данных. Отдельный интерес для тех, кто работает на платформах Ascend и NVIDIA: авторы заявляют, что построили для обеих платформ полную систему обучения, вывода и оценки.

Как это применить

Это описание архитектуры и методов в препринте. О выпуске кода, весов или демо в тексте не упоминается, поэтому практически применить модель пока нельзя. Идеи можно изучать как референс: группа кодов из нескольких словарей на каждую визуальную позицию, лёгкая авторегрессионная «голова» поверх параллельной диффузионной основы, сэмплирование с разворачиванием по плато уверенности и обновлением кэша при дрейфе.

Можно ли доверять

Это препринт, и все ключевые утверждения, самоописание авторов: приоритет («первая, по нашим сведениям»), лидирующие результаты среди унифицированных моделей и ускорение в 4,45 раза. В описании нет названий бенчмарков, конкретных оценок и моделей для сравнения, не указана базовая схема сэмплирования, относительно которой считается ускорение, а также оборудование и разрешение изображений. Независимой проверки в источнике нет, поэтому цифры стоит воспринимать как заявленные, пока не появятся полный текст с таблицами и воспроизведение.

Риски и подводные камни

Ускорение в 4,45 раза, относительная величина без указанной базовой линии, поэтому сопоставлять её с другими методами напрямую нельзя. В описании не указаны размер модели, число параллельно используемых словарей кодов и ограничения подхода. Тезис о лидерстве относится только к унифицированным моделям и сформулирован без перечня конкретных конкурентов и метрик. Заявленная кроссплатформенность подтверждена лишь тем, что авторы построили систему на Ascend и NVIDIA; результаты по платформам по отдельности в описании не приведены.