Vidu S2: модель генерирует и редактирует видео в реальном времени
Разработчики представили Vidu S2, набор из двух моделей для работы с видео в реальном времени. Первая, Vidu S2-Avatar, интерактивная модель цифрового персонажа (аватара): по сравнению с предыдущей версией Vidu S1 она генерирует видео в реальном времени в разрешении 720p, умеет работать с динамическими референсами, которые можно обновлять в любой момент генерации, и точнее следует инструкциям, в частности, лучше отрабатывает танцевальные движения. Вторая модель, Vidu S2-Editing, редактирует видеопоток в реальном времени: меняет визуальный стиль ролика, заменяет одежду персонажа, самого персонажа целиком и фон. Отдельно авторы сообщают, что исследовали возможность генерации пространственного видео в реальном времени для обеих моделей, не раскрывая деталей того, что именно под этим подразумевается и как это реализовано. По их данным, в экспериментах Vidu S2 превосходит все сравниваемые базовые модели, конкретные названия этих моделей, метрики и числовые результаты сравнения в материале не приводятся. Опробовать систему можно в интерактивной онлайн-демонстрации по адресу vidu.com/vidu-stream.
Ключевые факты
- Vidu S2 состоит из двух моделей: Vidu S2-Avatar (интерактивный цифровой аватар) и Vidu S2-Editing (редактирование видео в реальном времени)
- Vidu S2-Avatar генерирует видео в 720p в реальном времени, поддерживает обновляемые «на лету» референсы и точнее исполняет инструкции, например танцевальные движения
- Vidu S2-Editing меняет в реальном времени стиль ролика, одежду, персонажа и фон видеопотока
- Авторы также исследовали генерацию пространственного видео в реальном времени для обеих моделей, но не раскрыли деталей
- По заявлению авторов, в их экспериментах Vidu S2 превосходит все сравниваемые базовые модели; доступна интерактивная демонстрация на vidu.com/vidu-stream
Почему это важно
Генерация видео долго оставалась пакетной задачей: запрос, ожидание, готовый ролик. Vidu S2 подаёт это как процесс в реальном времени, и для генерации видео с аватаром, и для редактирования уже идущего видеопотока (смена стиля, одежды, персонажа, фона на лету). Это шаг от «сгенерировать клип» к «управлять живым видео».
Кому это важно
В первую очередь тем, кто строит продукты с живыми цифровыми аватарами, стриминг, виртуальные ведущие, интерактивные персонажи, и тем, кто занимается инструментами для живого редактирования видео: студиям, разработчикам инструментов для стримеров и создателям контента, которым нужна быстрая правка видеопотока без пересъёмки.
Как это применить
Материал не описывает ни цену, ни условия доступа к моделям, ни то, как получить их для встраивания в собственные продукты, только ссылку на интерактивную демонстрацию по адресу vidu.com/vidu-stream, где можно опробовать возможности вживую.
Можно ли доверять
Заявление о превосходстве над «всеми базовыми моделями» сделано самими авторами: в тексте не указаны ни названия этих базовых моделей, ни метрики, ни числовые результаты сравнения, ни независимая проверка. Оценить заявленное преимущество со стороны по этому материалу нельзя, нужны отдельные независимые тесты.
Риски и подводные камни
Главный риск, заявления пока не подкреплены проверяемыми цифрами: «точнее следует инструкциям» и «превосходит все базовые модели» остаются утверждениями авторов без раскрытых деталей. Отдельный риск, сама функциональность: редактирование видео в реальном времени с заменой персонажа, одежды и фона снижает порог для создания правдоподобных подделок видео, и это стоит учитывать при оценке подобных инструментов, даже если авторы не поднимают эту тему сами.