WaveGen: исследователи показали синтез речи из текста сразу в звуковую волну без кодеков

WaveGen: исследователи показали синтез речи из текста сразу в звуковую волну без кодеков

В препринте предложена WaveGen, полностью сквозная (end-to-end) диффузионная система синтеза речи из текста сразу в звуковую волну. В основе лежит подход Spectral Forcing: одна модель совместно учит внутреннюю спектральную траекторию и траекторию целевой волны, что позволяет генерировать звук напрямую из текста.

Главное отличие от современных конвейеров синтеза речи (TTS), отказ от промежуточных представлений, которые обучаются отдельно или декодируются внешними средствами. По заявлению авторов, WaveGen не использует нейронные аудиокодеки, вокодеры по мел-спектрограмме и латентные модели на основе VAE. Выравнивание текста и речи тоже происходит внутри той же модели, поэтому внешние модули вроде предсказателей длительности не нужны.

Чтобы сохранить «по-настоящему сквозную» постановку, авторы также отказались от самообучаемых (self-supervised) представлений, текстовых эмбеддингов на основе BERT и семантических представлений на основе Wav2Vec 2.0, и от методов семантической дистилляции при обучении. Для этого они разработали Spectral Forcing, архитектуру с разделёнными диффузионными «головами», и функцию потерь на основе многомасштабного спектрального v-loss.

Масштабируемость сквозных TTS-моделей проверили, увеличивая размер модели от 0,1 до 0,6 млрд параметров. По утверждению авторов, при единой архитектуре, открытых данных и одноэтапном обучении, без внешних модулей (предсказателя длительности, REPA), WaveGen показывает лучший в своём классе результат при обучении на датасете Emilia. В частности, на бенчмарке Seed-en заявлены WER (доля ошибок в словах) 1,47 и SIM (сходство голоса диктора) 0,75. Код и чекпойнты опубликованы на GitHub.

Ключевые факты

  • WaveGen, диффузионная модель на основе Spectral Forcing, генерирующая звуковую волну прямо из текста в рамках одной модели.
  • Не используются нейронные аудиокодеки, вокодеры по мел-спектрограмме, латентные модели на VAE и внешние модули выравнивания (предсказатели длительности).
  • Также исключены BERT-эмбеддинги, семантические представления Wav2Vec 2.0 и семантическая дистилляция; обучение одноэтапное, на открытых данных Emilia.
  • Размер модели масштабировали от 0,1 до 0,6 млрд параметров.
  • На бенчмарке Seed-en заявлены WER 1,47 и SIM 0,75; код и чекпойнты доступны на GitHub.

Почему это важно

Большинство современных систем синтеза речи собираются из нескольких отдельно обученных частей: аудиокодека или вокодера, модулей выравнивания, предобученных текстовых и речевых представлений. WaveGen, попытка показать, что всё это можно заменить одной моделью, которая сама учится и выравниванию, и построению звука. Если подход подтвердится, конвейер синтеза речи заметно упростится.

Кому это важно

Исследователям синтеза речи и диффузионных моделей, а также разработчикам TTS-систем, которым важна простота конвейера и отсутствие зависимости от внешних кодеков и предобученных энкодеров.

Как это применить

Авторы сообщают, что исходный код и чекпойнты доступны на GitHub (репозиторий sh-lee-prml/WaveGen). Лицензия в источнике не указана, поэтому перед использованием её нужно проверить самостоятельно. Модели масштабировали в диапазоне от 0,1 до 0,6 млрд параметров.

Можно ли доверять

Это препринт: все утверждения принадлежат авторам, независимой проверки в тексте нет. Результат WER 1,47 и SIM 0,75 на Seed-en приведён без сравнения с конкурирующими системами, и не указано, какой размер модели его дал. Утверждение о лучшем результате относится к обучению на датасете Emilia. Имена авторов и организации в доступном тексте не названы.

Риски и подводные камни

Без таблиц сравнения нельзя оценить, насколько заявленные цифры лучше альтернатив. В тексте нет данных о вычислительных затратах на обучение, скорости генерации и субъективной оценке качества звука (MOS). Не сказано, какие языки, кроме английского (Seed-en), проверялись. Лицензия кода и чекпойнтов не указана.