Представлена SepGen: видео, звук и отдельная дорожка на каждый источник за один проход
В статье представлена SepGen. Она расширяет предобученный генератор аудио и видео так, чтобы за один совместный проход выдавать сразу три вещи: видео, общий микс звуковой дорожки и по одной звуковой волне (отдельной дорожке, stem) на каждый источник, описанный в подписи.
Мотивация авторов такая. 4D аудиовизуальная сцена состоит из видео, динамической геометрии и источников звука, у каждого из которых своё положение и траектория. Чтобы показать такую сцену с нового ракурса, каждый источник должен быть доступен как отдельная волна: его нужно разместить в сцене и передать наблюдателю до смешивания сигналов. Существующие совместные генераторы аудио и видео синтезируют ролик и его звук, но звук выдают единым миксом, где источники по отдельности недоступны.
SepGen поддерживает два взаимодополняющих режима. В режиме генерации подпись каждого источника задаёт, что содержится в его дорожке. Например, диалог двух говорящих получается как по одной дорожке на каждого говорящего с сохранением исходного порядка реплик. В режиме разделения входной микс остаётся чистым, а подписи указывают, что именно нужно извлечь, так что модель может разложить запись по свободному текстовому описанию.
Генерацию авторы оценивали на сценах, синтезированных из текста, а разделение, на сценах, отрисованных другими генераторами, и на реальных записях речи, музыки и звуковых эффектов. По утверждению авторов, если на вход подан микс и подписи с произносимыми репликами, SepGen превосходит разделители звука, управляемые текстом, причём заметнее всего на речи, и сохраняет преимущество, когда реплики из подписей убирают. Код, чекпойнты и наборы данных доступны на странице проекта sepgen.github.io.
Ключевые факты
- SepGen достраивает предобученный генератор аудио и видео: за один совместный проход выдаёт видео, общий микс и по одной дорожке на каждый источник из подписи.
- Два режима: генерация (подпись задаёт содержимое дорожки, диалог двух говорящих раскладывается по дорожке на говорящего) и разделение (микс на входе, подписи задают, что извлечь).
- Генерация проверена на сценах, синтезированных из текста; разделение, на сценах других генераторов и на реальных записях речи, музыки и звуковых эффектов.
- По заявлению авторов, SepGen обходит разделители звука, управляемые текстом, заметнее всего на речи, и сохраняет лидерство при удалении реплик из подписей.
- Код, чекпойнты и наборы данных опубликованы на sepgen.github.io.
Почему это важно
Современные генераторы аудио и видео выдают звук единым миксом, а чтобы показать сцену с другого ракурса, нужен каждый источник отдельной волной. SepGen закрывает этот разрыв: отдельные дорожки получаются прямо в процессе генерации, а не отдельным шагом после неё. Один и тот же подход, по описанию авторов, работает и для создания сцены, и для разбора готовой записи по текстовому запросу.
Кому это важно
Исследователям и инженерам, которые работают с генерацией аудио и видео, разделением источников звука и пространственными аудиовизуальными сценами. Тем, кому нужны раздельные дорожки (речь по говорящим, музыка, эффекты) для последующей обработки или размещения в сцене.
Как это применить
Код, чекпойнты и наборы данных доступны на странице проекта sepgen.github.io. Режим генерации подходит, когда нужно получить видео с раздельными дорожками по описанным источникам; режим разделения, когда есть готовый микс и нужно извлечь из него источники по свободному текстовому описанию. Лицензия на код, чекпойнты и данные в источнике не указана.
Можно ли доверять
Это аннотация научной статьи: все утверждения о превосходстве принадлежат самим авторам и в источнике не подкреплены цифрами. Метрики и величина отрыва не приведены, сравниваемые разделители звука не названы, как и исходный предобученный генератор, который расширяет SepGen. Перед использованием стоит смотреть полный текст статьи и страницу проекта.
Риски и подводные камни
Преимущество над разделителями заявлено без количественных значений, поэтому оценить его масштаб по аннотации нельзя. «Заметнее всего на речи» не означает, что на музыке и звуковых эффектах результат хуже или лучше: об этом в аннотации не сказано. Сравнение сделано при подписях, содержащих произносимые реплики; авторы отмечают, что лидерство сохраняется и без реплик. Размер модели, объём обучающих данных, вычислительные затраты и скорость работы не указаны.
«Совместные генераторы аудио и видео могут синтезировать видео и его звуковую дорожку, но звуковая дорожка выдаётся единым миксом, в котором источники по отдельности недоступны.»
— Из аннотации статьи о SepGen