Представлена WeLM-Image: единая нейросеть для создания и правки картинок на 31,7 млрд параметров

В статье описана WeLM-Image, единая базовая модель для изображений, которая встраивает мультимодальное понимание в три задачи: генерацию изображения по тексту, редактирование по инструкции и синтез по нескольким эталонным изображениям (референсам). По заявлению авторов, она рассчитана на запуск на одной видеокарте в массовых потребительских приложениях WeChat.
Модель обрабатывает текст, референсные изображения и целевые латенты (внутренние представления будущей картинки) как одну чередующуюся последовательность. Основа, архитектура Mixture-of-Transformers (смесь трансформеров): общее внимание сочетается с независимыми параметрами для понимания и для генерации, чтобы снизить взаимные помехи при обучении. В каждый из двух путей добавлены модули Mixture-of-Experts (смесь экспертов), дающие разреженную ёмкость: всего хранится 31,7 млрд параметров, а на один целевой латентный токен задействуется примерно 5,4 млрд параметров генерации.
Данные готовит «генерационно-ориентированный» движок: он сочетает визуальный словарь, опирающийся на знания, с крупномасштабной кластеризацией изображений, чтобы сбалансировать семантическое покрытие и задачи редактирования; оценка в ходе обучения подсказывает, как итеративно улучшать данные. Двуязычные аннотации и проверенная разметка для правок поддерживают поэтапное обучение вплоть до нативного разрешения 1,5K.
Генерацию и редактирование оптимизируют отдельно, используя награды на основе рубрик и чек-листов, а затем сводят специализированные политики воедино с помощью шумо-осведомлённой дистилляции на собственных выборках (noise-aware on-policy distillation). В отчётных общих сравнениях модель с разрешением 1536 занимает первое место среди оценённых моделей с открытыми весами на бенчмарках PRISM-Bench, Qwen-Image-Bench и UnicBench.
Отдельно на основе дистилляции MeanFlow за несколько шагов получена версия WeLM-Image-Turbo: она создаёт изображение 1024×1024 за 4,98 с на одной видеокарте NVIDIA H20 за восемь шагов без guidance.
Ключевые факты
- WeLM-Image, единая модель для генерации по тексту, правки по инструкции и синтеза по нескольким референсам; по заявлению авторов, рассчитана на одну видеокарту в приложениях WeChat.
- Архитектура Mixture-of-Transformers с модулями Mixture-of-Experts: 31,7 млрд хранимых параметров, около 5,4 млрд параметров генерации активно на один целевой латентный токен.
- Версия с разрешением 1536 занимает первое место среди оценённых моделей с открытыми весами на PRISM-Bench, Qwen-Image-Bench и UnicBench (по отчётным сравнениям авторов).
- Дистилляция MeanFlow даёт WeLM-Image-Turbo: картинка 1024×1024 за 4,98 с на одной NVIDIA H20, восемь шагов без guidance.
Почему это важно
Модель собирает в одной системе три задачи, которые часто решают разными инструментами: генерацию, правку и синтез по референсам. Ставка сделана на практичность: разреженная архитектура с активными ~5,4 млрд параметров из 31,7 млрд и быстрая версия Turbo показывают, как крупную модель пытаются уместить в потребительский сервис на одной видеокарте.
Кому это важно
Исследователям генерации изображений, из-за сочетания Mixture-of-Transformers, смеси экспертов и дистилляции MeanFlow. Разработчикам, которых интересует запуск генеративных моделей на ограниченном железе. Тем, кто следит за встраиванием генерации изображений в крупные массовые приложения.
Как это применить
Из описания видно, что модель задумана для сценариев генерации по тексту, правки по инструкции и работы с несколькими референсами. Про выпуск весов, кода и лицензии в тексте не говорится, поэтому говорить о прямом использовании нельзя; ориентиром служит заявленная скорость Turbo: 4,98 с на 1024×1024 на одной H20 за восемь шагов.
Можно ли доверять
Это описание самих авторов. Первое место получено в «отчётных общих сравнениях» и только среди оценённых моделей с открытыми весами; превосходство над закрытыми моделями не заявлено, а конкретные баллы и список соперников в описании не приведены. Скорость 4,98 с относится только к версии Turbo, а не к базовой модели. О том, что модель уже работает в WeChat, не сказано: заявлено лишь, что она рассчитана на такое развёртывание.
Риски и подводные камни
Без опубликованных баллов и состава конкурентов сравнение невозможно проверить независимо. Скорость измерена на одной конфигурации (NVIDIA H20, 1024×1024, восемь шагов), на другом железе и при других настройках результат может отличаться. Данные об объёме обучающих данных и затратах на обучение не приведены, поэтому оценить воспроизводимость сложно.