WeMM-Video: выпущены открытые модели для понимания видео со звуком

WeMM-Video: выпущены открытые модели для понимания видео со звуком

В техническом отчёте представлено WeMM-Video, семейство двуязычных (китайский и английский) омни-модальных базовых моделей. Выпущены четыре варианта: 2B, 4B, 9B и 35B-A3B. Модели объединяют обработку текста, изображений, звука и видео, а главный упор сделан на совместное восприятие картинки и звука и рассуждения над ними. Авторы исходят из того, что понимание видео, особенно со звуковой дорожкой, остаётся одной из центральных задач мультимодального ИИ.

Модели работают в гибридной парадигме «думающего» режима: поддерживаются и режим без рассуждений (instruct) для быстрых прямых ответов, и режим размышления с явными пошаговыми рассуждениями.

Обучение шло на большом мультимодальном корпусе примерно в 1,2 трлн токенов: сначала поэтапное предобучение, затем многоэтапное послеобучение. В него входят multi-teacher OPD, MrDPO против повторов в ответах (anti-repetition) и обучение с подкреплением для отдельных специализаций (specialist RL). Расшифровок аббревиатур в тексте отчёта нет.

Оценка проводилась более чем на 120 бенчмарках. По заявлению авторов, модели показывают превосходные результаты в понимании и рассуждении над омни-модальным видео и остаются очень конкурентоспособными в задачах по общему аудио, видео без звука, изображениям и тексту.

Конкретные утверждения о результатах такие. В оценках омни-модального видео флагман WeMM-Video-35B-A3B устанавливает новый уровень лучшего результата среди открытых моделей (state of the art), существенно опережая закрытые (проприетарные) модели Qwen3.5-Omni-Flash и Seed2.0-Mini-0428 и сокращая отставание от сильной Gemini-3.0-Flash, то есть её не превосходит. Компактная WeMM-Video-9B, как сказано, обходит более крупную открытую Qwen3-Omni-30B-A3B-Instruct.

Авторы публично выпускают семейство WeMM-Video вместе с конвейером оценки и воспроизведения, чтобы стимулировать дальнейшие исследования и разработки в открытом сообществе. Названий бенчмарков и числовых результатов в тексте нет, поэтому величину преимущества оценить нельзя.

Ключевые факты

  • WeMM-Video, семейство китайско-английских омни-модальных моделей на 2B, 4B, 9B и 35B-A3B, объединяющих текст, изображение, звук и видео.
  • Два режима работы: быстрый без рассуждений (instruct) и режим размышления с явными пошаговыми рассуждениями.
  • Обучение: корпус примерно в 1,2 трлн токенов, поэтапное предобучение и многоэтапное послеобучение (multi-teacher OPD, MrDPO, specialist RL).
  • Оценка на более чем 120 бенчмарках; по заявлению авторов, 35B-A3B, новый лучший результат среди открытых моделей, он существенно опережает Qwen3.5-Omni-Flash и Seed2.0-Mini-0428 и сокращает отставание от Gemini-3.0-Flash.
  • WeMM-Video-9B, по словам авторов, превосходит более крупную открытую Qwen3-Omni-30B-A3B-Instruct; семейство выложено вместе с конвейером оценки и воспроизведения.

Почему это важно

Понимание видео вместе со звуком, одна из центральных нерешённых задач мультимодального ИИ, и именно на ней авторы делают акцент. Если заявления подтвердятся, у открытого сообщества появится семейство моделей, которое на омни-модальных видеотестах обходит ряд закрытых систем и приближается к Gemini-3.0-Flash. Особенно заметно утверждение про версию 9B: по словам авторов, она превосходит более крупную открытую Qwen3-Omni-30B-A3B-Instruct.

Кому это важно

Исследователям и разработчикам, которые работают с видео, аудио и мультимодальными моделями и ищут открытую альтернативу закрытым системам. Также тем, кому нужны модели для китайского и английского языков, и тем, кто хочет воспроизвести результаты: вместе с моделями заявлен выпуск конвейера оценки и воспроизведения.

Как это применить

Выбор размера: в семействе четыре варианта, 2B, 4B, 9B и 35B-A3B, то есть можно подобрать модель под доступные ресурсы. Есть два режима: быстрый без рассуждений для прямых ответов и режим размышления для задач, где нужен пошаговый разбор. Лицензия, ссылка на скачивание и репозиторий в тексте отчёта не указаны, их нужно искать отдельно.

Можно ли доверять

Все результаты, собственные заявления авторов отчёта. Названия бенчмарков и фактические показатели в тексте не приведены, а формулировки «существенно опережает» и «сокращает отставание» не подкреплены числами. В тексте не названы авторы, организация или компания, стоящие за WeMM-Video, нет сведений о лицензии и ссылки на репозиторий. Выложенный конвейер оценки позволит проверить заявления независимо, когда им воспользуются третьи стороны.

Риски и подводные камни

Без цифр нельзя оценить, насколько велико преимущество над Qwen3.5-Omni-Flash и Seed2.0-Mini-0428. Gemini-3.0-Flash по результатам, как следует из текста, остаётся впереди, отставание лишь сокращено. Сравнение идёт именно в омни-модальных видеооценках; в остальных задачах (общее аудио, видео без звука, изображения, текст) авторы говорят только о «высокой конкурентоспособности». Условия использования, требования к оборудованию и затраты на обучение не раскрыты.