Vāgdhenu, система озвучивает санскритские стихи с учётом их стихотворного размера
Vāgdhenu, система синтеза речи для декламации санскритских стихов, которая учитывает vṛtta (стихотворный размер) исходного текста. Автор, профессор Пратхош А. П. (Prathosh A P) из Индийского института науки в Бангалоре. В открытом демо можно вставить санскритский стих на любом из индийских алфавитов, система сама определит размер и озвучит стих распевом. Первая генерация занимает от 10 до 60 секунд, пока модель «прогревается»; система умеет озвучивать шесть разных vṛtta.
Голосовой движок, это модель на архитектуре flow matching, дообученная на специально записанном корпусе санскритской декламации одного диктора длительностью около 5 часов, плюс отдельное дообучение для управления голосом; нейронный вокодер также дообучен под манеру распевного чтения. Вокруг модели выстроен целый конвейер для достоверного звучания: фронтенд, учитывающий скрипт написания, пропускает санскрит через каннадскую орфографию, чтобы избежать характерного для деванагари выпадения гласного «а» (эффект, свойственный хинди); отдельно обрабатываются сандхи висарги с аллофонами jihvāmūlīya и upadhmānīya, контраст придыхательных согласных, три шипящих и полный ряд ретрофлексных звуков, однородная по месту образования анусвара и слоговая ṝ; механизм, учитывающий размер стиха, определяет vṛtta и подбирает подходящий эталон декламации по «правилу половинного эталона». По оценке экспертов дообученная модель получает средний балл качества (MOS) около 4.6, а плотные консонантные сочетания, включая ретрофлексные придыхательные, воспроизводятся корректно, с этим не справлялись более ранние архитектуры синтеза речи.
На основе Vāgdhenu уже сделаны два продукта. Бесплатное приложение «Bhāgavatavāṇī» озвучивает всю Śrīmad Bhāgavatam, все 12 книг (скандх), около 18 000 стихов, с синхронной аудиодорожкой и построчной подсветкой текста караоке-стиля на 10 индийских алфавитах; работает офлайн, без рекламы. Второй продукт, «Vāgbodhinī», тренажёр для отработки декламации: пользователь вставляет любой стих или прозаический текст, слышит эталонное чтение от Vāgdhenu, повторяет вслух, а отдельная речевая модель для санскрита оценивает произношение каждого слога и указывает на ошибки; предназначен для классического (лаукика) санскрита. На той же системе озвучены ещё два больших корпуса: комментарий «Mahābhārata Tātparya Nirṇaya» (32 главы, 5183 стиха, около 17,5 часа записи, с сопровождающей серией видео) и полная Śrīmad Bhāgavatam (около 18 000 стихов в 12 книгах, с сопровождающей серией караоке-видео).
Ключевые факты
- Vāgdhenu, TTS-система, которая автоматически распознаёт стихотворный размер (vṛtta) санскритского стиха и озвучивает его традиционным распевом; автор, профессор Пратхош А. П. из Индийского института науки в Бангалоре
- В основе, модель на архитектуре flow matching, дообученная на корпусе санскритской декламации одного диктора (~5 часов); эксперты оценивают качество озвучки в среднем на 4,6 балла (MOS)
- Конвейер отдельно обрабатывает орфографические и фонетические особенности санскрита: сандхи висарги, ретрофлексные и придыхательные согласные, выпадение гласных в деванагари
- На базе системы выпущены бесплатное офлайн-приложение с озвучкой всей Śrīmad Bhāgavatam (~18 000 стихов, 12 книг, 10 алфавитов) и тренажёр декламации «Vāgbodhinī», который оценивает произношение по слогам
- Система также озвучила комментарий «Mahābhārata Tātparya Nirṇaya», 32 главы, 5183 стиха, около 17,5 часа записи
Почему это важно
Синтез речи для санскрита, задача сложнее, чем для большинства языков: распевная декламация священных текстов подчиняется строгим правилам стихотворного размера (vṛtta) и фонетики (сандхи, ретрофлексные и придыхательные согласные, особые аллофоны), которые обычные TTS-модели не воспроизводят. Vāgdhenu решает именно эту узкую, но требовательную задачу: система сама определяет размер стиха и подбирает подходящую манеру декламации, а не просто озвучивает текст по буквам.
Кому это важно
В первую очередь, узкой аудитории: исследователям санскрита, преподавателям и студентам классической индийской словесности, а также практикующим, которые изучают традиционную декламацию священных текстов вроде Bhagavad-gītā или Śrīmad Bhāgavatam. Также интересно разработчикам речевых технологий как пример того, как под конкретный язык и жанр можно выстроить специализированный лингвистический конвейер поверх универсальной TTS-архитектуры.
Как это применить
Демо-версия системы доступна бесплатно в браузере: достаточно вставить санскритский стих на любом из индийских алфавитов, дождаться прогрева модели (10, 60 секунд на первую генерацию) и получить озвучку. На основе Vāgdhenu уже работают готовые продукты: бесплатное офлайн-приложение с полной озвучкой Śrīmad Bhāgavatam и тренажёр декламации, который проверяет произношение по слогам и указывает на ошибки.
Можно ли доверять
Систему представил профессор Индийского института науки в Бангалоре, и она опирается на специально собранный экспертный корпус декламации, а качество озвучки проверено экспертной оценкой (средний балл 4,6 из 5). На системе уже построены два публичных продукта с большими объёмами озвученного материала (около 18 000 и 5183 стихов), что говорит о работоспособности решения за пределами демо.
Риски и подводные камни
Это узкоспециализированный инструмент для конкретного языка и жанра, распевной декламации санскритских стихов, а не универсальный синтез речи; массового применения у него не будет. Источник не раскрывает подробностей о лицензии, стоимости использования вне демо-версии или планах по расширению на другие языки и диалекты.