GRAFT: Эталонная аудио для управления произношением в синтезе речи без обучения
Исследователи представили GRAFT, механизм управления произношением на уровне отдельных слов для синтеза речи (TTS) на основе нейросетевых кодеков-языковых моделей. Проблема существующих систем TTS: они хорошо работают, но наследуют неоднозначность текста и ошибаются при произношении редких собственных имён, заимствованных слов и технических терминов. Даже модели с фонемным кондиционированием не дают прямого звукового контроля над произношением конкретного слова.
GRAFT решает задачу через звуковое кондиционирование: пользователь даёт короткий образец желаемого произношения интересующего слова, модель токенизирует его своим встроенным токенайзером и привязывает к позиции слова в тексте. На этапе подготовки данных используется голосовая конверсия, которая отделяет голос эталона от целевого голоса, позволяя эталону быть в любом голосе при сохранении результата в целевом голосе.
В англоязычном слепом тесте людей GRAFT заняла первое место с большим отрывом, слушатели оценили её произношение сложного слова как наиболее близкое к эталонной записи. На эталонном наборе в пяти языках GRAFT снизила фонемную ошибку целевого слова на 22, 39% по сравнению с текстовым базовым вариантом, превзошла конкурирующие открытые системы (как фонемные, так и текстовые) в произношении целевого слова, сохраняя сходство голоса и естественность.
Ключевые факты
- Управляет произношением отдельного слова через короткий звуковой образец без фонетических знаков
- Снижает фонемную ошибку целевого слова на 22, 39%, превосходит конкурентов в слепом тесте людей
- Голосовая конверсия отделяет эталонный голос от целевого, позволяя эталону в любом голосе
- Протестирована и показала улучшения на пяти языках
- Первое место в слепом тесте людей с большим отрывом
Почему это важно
Синтез речи из текста широко используется в коммуникации и доступности, но системы часто ошибаются при редких или иностранных словах. GRAFT решает классическую проблему TTS: текст неоднозначен, модель гадает. Прямое звуковое кондиционирование, это качественно новый уровень контроля, который превращает синтез речи из чёрного ящика в инструмент, чувствительный к тонкостям произношения. Возможность пользователя задать правильное произношение прямо звуком, без фонетических знаков, снижает барьер входа и решает задачу, которую не решали даже фонемные модели.
Кому это важно
Разработчикам, встраивающим TTS в продукты: голосовые ассистенты, навигационные системы, приложения доступности. Медиа-компаниям, требующим высокого качества озвучивания: новостные агентства, издатели аудиокниг, видеопроизводство. Локализационным агентствам, сталкивающимся с иностранными собственными именами и брендами. Компаниям, разрабатывающим голосовые сервисы для многоязычной аудитории.
Как это применить
GRAFT встраивается в конвейер TTS: на этапе подготовки текста пользователь записывает короткий звуковой образец желаемого произношения для критичных слов и передаёт его вместе с текстом модели. Архитектура совместима с нейросетевыми кодеками; авторы демонстрируют её с кодеком для синтеза речи. Модель требует синхронизации текста и звука, система привязывает эталон к позиции слова в строке. Для большинства слов GRAFT просто игнорирует эталоны и синтезирует из текста; эталоны используются только для целевых слов.
Можно ли доверять
Исследование проведено с участием людей: слепой тест человеческих оценок, обычная практика в TTS-исследованиях и даёт достоверные результаты. Тест проведён на пяти языках, указывая на кросс-языковую применимость. Авторы честно описывают проблему, целевое решение и сравнивают с открытыми конкурентами, а не только со своим базовым вариантом. Препринт arXiv, это ранняя версия; рецензирование в процессе. Методология ясна, результаты воспроизводимы.
Риски и подводные камни
Качество GRAFT зависит от качества звукового образца: плохая запись эталона замусорит результат. Требует точной синхронизации текста и звука; голосовая конверсия может недостаточно хорошо отделить эталонный голос от целевого в сложных случаях (сильный акцент, фоновый шум, эмоциональная окраска). Тест пока только в пяти языках, результаты на других языках неизвестны. Коммерческие сценарии требуют проверки на масштабных датасетах в реальных условиях. Остаётся неясно, как система справляется с множеством эталонов на одно слово или с противоречащими эталонами.
«В слепом англоязычном тесте людей GRAFT заняла первое место с большим отрывом, судьи оценили её произношение сложного слова как наиболее близкое к эталонной записи.»
— Препринт GRAFT (arxiv-2607.02633)