VideoChat3: полностью открытая видеомодель на 4B параметров обошла аналоги
Последние успехи в понимании видео (анализ движения, работа с длинными роликами, потоковое взаимодействие) подтолкнули эту область к реальным применениям. Но у открытых моделей остаются три системные проблемы: они плохо обобщаются на разные типы видео и эффективны только в узкой области; высокие вычислительные требования ограничивают их эффективность и масштабируемость; а большинство моделей открыты лишь частично, код обучения, стратегия обучения или сами датасеты не публикуются, что мешает воспроизводимости и тормозит развитие силами сообщества.
Авторы представляют VideoChat3, полностью открытую, эффективную и универсальную видео-модель (video-centric MLLM). Улучшения идут по двум направлениям. Для эффективности предложены Inflated 3D Vision Transformer (I3D-ViT) и адаптивное разрешение кадров для потокового восприятия видео (Adaptive Frame Resolution for Streaming Video Perception), они дают эффективное пространственно-временное представление и снижают затраты на обработку видео при обучении и на инференсе. Для качества авторы построили масштабируемый конвейер синтеза видеоданных, из которого получились три новых датасета: VideoChat3-Academic2M, VideoChat3-LV116K и VideoChat3-OL617K, они покрывают общие сценарии, длинные видео и потоковое видео соответственно, что улучшает обобщение модели по разным доменам.
Сочетание этих решений даёт VideoChat3 редкое сочетание широкого обобщения и вычислительной эффективности. По результатам экспериментов на бенчмарках для общего, длинного и потокового видео VideoChat3 превосходит существующие открытые модели с равным или большим числом параметров, при том что у неё всего 4B параметров и она эффективнее в работе.
Ключевые факты
- VideoChat3, полностью открытая видео-MLLM (веса, код обучения и данные публичны) для эффективного и универсального понимания видео
- Всего 4B параметров, но модель превосходит открытые аналоги с равным или большим числом параметров на бенчмарках по общему, длинному и потоковому видео
- Архитектура включает Inflated 3D Vision Transformer (I3D-ViT) и адаптивное разрешение кадров для потокового видео, это снижает вычислительные затраты при обучении и инференсе
- Авторы выпустили три новых датасета, VideoChat3-Academic2M, VideoChat3-LV116K и VideoChat3-OL617K, для общих, длинных и потоковых видеосценариев
- Модель нацелена на типичные проблемы открытых видео-моделей: узкая специализация, высокая вычислительная стоимость и лишь частичная открытость у конкурентов
Почему это важно
Открытые видео-модели до сих пор либо работали только в узкой области, либо требовали слишком много вычислений, либо были открыты лишь частично, без кода обучения или обучающих данных, что не позволяло сообществу их воспроизвести и развивать дальше. VideoChat3 заявляет решение сразу всех трёх проблем: полная открытость всех компонентов, широкое обобщение на разные типы видео и приемлемая вычислительная стоимость, при модели всего в 4 миллиарда параметров.
Кому это важно
Исследователям и разработчикам, которые строят системы понимания видео и хотят воспроизводимую открытую базу вместо закрытых API; open-source-сообществу в области мультимодальных моделей, которому нужны не только веса, но и код обучения и датасеты; компаниям, которым нужна недорогая по вычислениям видео-модель для общих, длинных или потоковых сценариев без зависимости от закрытых сервисов.
Как это применить
Поскольку авторы открывают не только веса, но и стратегию обучения и сами датасеты (VideoChat3-Academic2M, VideoChat3-LV116K, VideoChat3-OL617K), модель можно дообучать и модифицировать напрямую, а не только использовать «как есть». Размер в 4B параметров делает её пригодной для развёртывания с меньшими вычислительными ресурсами по сравнению с более крупными открытыми альтернативами, при задачах как с обычным, так и с длинным или потоковым видео.
Можно ли доверять
Это научная публикация с описанием конкретной архитектуры (I3D-ViT, адаптивное разрешение кадров) и конкретного конвейера синтеза данных, а не маркетинговое заявление без деталей. При этом заявление о превосходстве над другими открытыми моделями, результат тестов самих авторов на выбранных ими бенчмарках; независимой проверки третьей стороной в тексте не приводится, так что цифры стоит воспринимать как предварительные до появления сторонних воспроизведений.
Риски и подводные камни
В самом описании не приводятся конкретные числовые отрывы от конкурентов на бенчмарках, только общая формулировка о превосходстве, что затрудняет самостоятельную оценку масштаба улучшения. Насколько полно на практике окажется открыт весь стек (веса, код, все три датасета) и насколько просто будет интегрировать новую архитектуру I3D-ViT в существующие пайплайны, можно оценить только при реальном использовании релиза, а не по тексту анонса.