UniSpark-9B: единая мультимодальная модель с гибридным вниманием

Авторы препринта представили UniSpark-9B, единую мультимодальную модель, которая и понимает визуальный контент, и генерирует его. Главный предмет исследования, гибридное внимание. В основе лежит архитектура Mixture-of-Transformer-Experts (смесь трансформерных экспертов) примерно с 9 млрд параметров в каждой ветви. Полное внимание (full attention) отвечает за явные взаимодействия между токенами, а линейное внимание GatedDeltaNet, за компактную передачу контекста.
Авторегрессионное предсказание текста и визуальный flow matching (согласование потоков) совместно поддерживают четыре задачи: ответы на вопросы по изображениям, генерацию изображений по тексту, редактирование по инструкции и чередующееся предсказание текста и изображений.
Отдельно описана чередующаяся генерация. Зашумлённые визуальные цели изолируются от последующих предсказаний, а чистые визуальные представления служат контекстом для дальнейших выходов. Это различие обеспечивает блочный (blockwise) протокол: в слоях с полным вниманием он работает через маски внимания, а в слоях с линейным вниманием, через правила сохранения рекуррентного состояния.
В выбранных обучающих источниках, 159,7 млн образцов для генерации, 213,4 млн для понимания и 624,8 тыс. чередующихся последовательностей. Обучение идёт по четырёхэтапной программе: она совместно учит понимание и генерацию, улучшает точность ответов и следование инструкциям и расширяет синтез изображений до 2K.
По заявлению авторов, UniSpark набирает 2470,3 на MME-S и 0,83 на GenEval. Качественные примеры показывают чередующуюся генерацию изображений, синтез видео и редактирование видео. Авторы заключают, что гибридное внимание, эффективная основа для единых моделей понимания и генерации.
Ключевые факты
- UniSpark-9B объединяет понимание и генерацию изображений в одной модели на архитектуре Mixture-of-Transformer-Experts, примерно по 9 млрд параметров в каждой ветви.
- Полное внимание сочетается с линейным вниманием GatedDeltaNet; блочный протокол задаёт его через маски внимания и правила сохранения рекуррентного состояния.
- Обучающие источники: 159,7 млн образцов генерации, 213,4 млн понимания и 624,8 тыс. чередующихся последовательностей; четыре этапа обучения, синтез изображений до 2K.
- Заявленные результаты: 2470,3 на MME-S и 0,83 на GenEval; для видео приведены только качественные примеры.
Почему это важно
Единые модели, которые и понимают, и создают изображения, активное направление. Здесь проверяют идею: заменить часть слоёв полного внимания линейным GatedDeltaNet, чтобы передавать контекст компактнее, не теряя явных взаимодействий между токенами. Авторы утверждают, что такая гибридная схема служит эффективной основой для обеих задач сразу.
Кому это важно
Исследователям мультимодальных архитектур и разработчикам моделей, которые совмещают понимание и генерацию изображений и видео. Тем, кого интересуют линейное внимание и рекуррентные состояния в длинном чередующемся контексте из текста и картинок.
Как это применить
Из текста источника практического применения не следует: это описание модели и результатов. Полезно взять идею раздельной обработки зашумлённых и чистых визуальных представлений в чередующейся генерации, а подробности реализации искать в самой статье.
Можно ли доверять
Все цифры и выводы, заявления самих авторов в аннотации препринта. В тексте не названы ни авторы, ни организации и не приведено сравнение с другими моделями, поэтому оценить 2470,3 на MME-S и 0,83 на GenEval относительно конкурентов нельзя. Для видео даны только качественные примеры без количественных оценок.
Риски и подводные камни
Без сравнения с базовыми моделями заявленные баллы трудно интерпретировать. В источнике нет сведений о выпуске кода, весов, лицензии и доступности модели, а также о затратах на обучение. Содержание четырёх этапов обучения не раскрыто, поэтому воспроизвести результат по аннотации не получится.