Vidu S1: модель генерации видео в реальном времени с голосовым управлением персонажами
Команда представила Vidu S1, модель для интерактивной генерации видео в реальном времени с голосовым управлением цифровыми персонажами. Пользователь в любой момент может менять содержание генерируемого видео голосовыми командами, и модель перестраивает происходящее на экране прямо на лету.
Ключевая особенность Vidu S1, видео можно генерировать бесконечно долго без типичных для таких систем деградаций: без размытия картинки, без «дрейфа» сюжета и визуальных искажений, которые обычно накапливаются при длительной генерации. Модель построена на связке технологий TurboDiffusion и TurboServe и выдаёт видео в разрешении 540p со скоростью до 42 кадров в секунду, причём работает это на обычных потребительских видеокартах, а не только на дорогих серверных GPU.
Пользователи могут загружать собственные изображения, фотографии реальных людей, картинки в аниме-стиле, фото домашних животных, и выбирать разные голосовые тона, чтобы получить персонализированного цифрового персонажа. По заявлению авторов, эксперименты показали, что Vidu S1 превосходит аналоги по всем измеренным метрикам, при этом укладываясь в требования по скорости для работы в реальном времени. Опробовать модель можно в открытом онлайн-демо на vidu.com/vidu-stream.
Ключевые факты
- Голосовое управление цифровым персонажем в реальном времени, контент видео можно менять командами прямо во время генерации
- Бесконечная длина видео без размытия, «дрейфа» сюжета и визуальных искажений
- 540p при скорости до 42 кадров в секунду на обычных потребительских GPU, без серверного «железа»
- В основе, связка технологий TurboDiffusion и TurboServe
- Загрузка своих фото людей, аниме-персонажей и питомцев плюс выбор голосового тона для персонализации
Почему это важно
Генерация видео в реальном времени с голосовым управлением, это шаг от «модель рисует ролик по запросу» к «модель ведёт себя как живой интерактивный персонаж». Обычно длительная генерация видео деградирует: картинка размывается, сюжет «уплывает», появляются искажения. Vidu S1 заявляет решение именно этой проблемы, бесконечную по длине генерацию без потери качества, да ещё и на потребительском железе, а не в дата-центре.
Кому это важно
Разработчикам виртуальных аватаров и цифровых персонажей, стримерам и VTubers, создателям интерактивных развлечений и игровых демо, а также исследователям в области генеративного видео, которым интересна архитектура TurboDiffusion и TurboServe как альтернатива классическим диффузионным пайплайнам для видео.
Как это применить
Модель уже доступна для пробы в виде играбельного онлайн-демо на vidu.com/vidu-stream: там можно загрузить своё фото (человека, аниме-персонажа или питомца), выбрать голосовой тон и управлять персонажем голосом в реальном времени.
Можно ли доверять
Заявления о превосходстве по всем метрикам и об отсутствии деградации при бесконечной генерации пока опираются только на эксперименты самих авторов статьи, независимой проверки или стороннего бенчмарка в тексте не приведено. Судить о реальном качестве стоит по демо, а не только по цифрам из работы.
Риски и подводные камни
Возможность загрузить фото реального человека и «озвучить» его выбранным голосом, прямой путь к дипфейк-подобным сценариям злоупотребления; в описании модели ничего не сказано о модерации загружаемых изображений, согласии на использование чужого лица или ограничениях на такой контент.