Опубликован RealtimeVAD: детектор конца речи опережает Silero VAD на ~100 мс

RealtimeVAD, открытая (лицензия MIT) библиотека на Python для детекции речи, сейчас в статусе альфы (версия 0.0.5, API может измениться). Идея: голосовому ассистенту нельзя ничего делать, пока он не узнал, что пользователь закончил говорить. Распознавание речи, вызов языковой модели и озвучка ждут этого одного решения, а обычный детектор голосовой активности принимает его за несколько сотен миллисекунд.
RealtimeVAD оставляет модель Silero VAD для решения, что считать речью, и добавляет вторую, более быструю проверку: каждые 10 мс сравнивается уровень звука с шумом помещения и с собственным уровнем говорящего. Как только звук стихает, приходит событие, задолго до того, как упадёт вероятность речи у Silero. На вход подаётся аудио 16 кГц, моно, кусками любого размера (float32, int16 или байты int16). На выходе, события start, pause и end, а также аудио текущего сегмента в любой момент. Работает на одном потоке процессора, много быстрее реального времени; нужны только numpy и onnxruntime, модель Silero встроена, torch не требуется. Установка: pip install realtimevad.
Цифры из README. На 3279 реальных репликах живого голосового ассистента (с хвостовой тишиной, настройки по умолчанию) «выключение речи» (speech-off) приходит в среднем по медиане на 100 мс раньше, чем падает вероятность у Silero, и на 206 мс раньше, чем конец сообщает VADIterator из Silero. Само событие end приходит раньше, чем у Silero, в 82 % реплик, с медианным выигрышем 70 мс; в остальных 18 % выигрыша нет. Причина разницы: end ждёт 0,24 с после speech-off в обоих случаях. Видео в демо использует синтетический голос и показывает медианное опережение 92 мс; до версии 0.0.4 в первой строке таблицы стояло 110 мс, но 10 мс ушли на то, чтобы не обрезать тихих говорящих.
Цена: детектор срабатывает в коротких промежутках между словами примерно в десять раз чаще, чем Silero. Событие pause раннее и часто ошибочное намеренно: оно приходит на каждый вдох, короткий промежуток между словами и взрывной согласный, поэтому за большинством pause следует продолжение речи. README советует использовать pause для запуска отменяемой работы (подготовить транскрипт, вызвать языковую модель, подготовить озвучку) и отменять её, если речь продолжилась. Считать pause концом реплики нельзя, сегмент закрывает только end. Если работу быстро отменить нельзя, лучше игнорировать pause и ждать end: лишние ложные срабатывания обойдутся дороже выигрыша.
Можно заменить и итератор Silero: достаточно сменить импорт на VADIterator из RealtimeVAD, конструктор и результаты остаются прежними, но end приходит, как только звук стихает. Есть плагин для LiveKit (realtimevad.VAD.load() вместо silero.VAD.load()). По его README, относительно настроек Silero по умолчанию конец речи наступает примерно на 380 мс раньше, но в основном за счёт более короткой настройки тишины (0,25 с вместо 0,55 с), которую можно задать и Silero. При одинаковой настройке конец у RealtimeVAD раньше на 65-110 мс, а детектор конца реплики LiveKit стартует на 95-180 мс раньше. В сессии LiveKit реплика фиксировалась примерно на 150 мс раньше, чем с настройками Silero по умолчанию, и примерно на 70 мс раньше, чем с Silero при 0,25 с.
Тихие говорящие. До 0.0.4 порог «тишины» был фиксированным (около −54 dBFS), и у тихого говорящего (телефонная линия, дальний микрофон) мягкие окончания слов считались тишиной: через 0,24 с сегмент закрывался, пока человек ещё говорил. С 0.0.5 порог следует за говорящим: это quiet_rms или уровень на 20 дБ ниже собственного уровня говорящего, смотря что ниже. Ещё одна поправка: до 0.0.4 один громкий 10-миллисекундный блок (щелчок, причмокивание, вдох) навсегда останавливал счёт тишины и оставлял конец Silero, в трети из 680 проверенных реплик; теперь счёт начинается заново. Для тихого входа есть опция normalize_to_dbfs (например, −30): она усиливает кадры, которые видит Silero, до 20 дБ без клиппинга. По умолчанию выключена, потому что на обычном уровне не бесплатна: 2 из 3401 реплики потеряли больше 100 мс, а speech-off раньше Silero был в 96 % реплик вместо 98 %.
На шумной линии выигрыша нет: если шум ближе чем примерно на 20 дБ к уровню говорящего, RealtimeVAD заканчивает там же, где Silero, верно, но не быстрее. Короткие реакции вроде «угу», «ага», «окей» (200 настоящих из записей совещаний корпуса AMI) до 0.0.4 не определялись как речь в 50 случаях; с мягким стартом пропускаются 25, из них 15, и у самого Silero. Шёпот в основном не детектируется, смех, кашель и чихание часто детектируются. Поддерживается только 16 кГц моно. Бенчмарки воспроизводятся скриптом benchmarks/speech_off_lead.py на собственных записях.
Ключевые факты
- RealtimeVAD, открытая библиотека (MIT, альфа 0.0.5): оставляет Silero VAD и добавляет проверку уровня звука каждые 10 мс, чтобы раньше узнать, что человек замолчал.
- На 3279 реальных репликах speech-off приходит по медиане на 100 мс раньше падения вероятности у Silero и на 206 мс раньше конца от VADIterator; само событие end раньше Silero в 82 % реплик (медиана 70 мс), в 18 % выигрыша нет.
- Цена: ложные «паузы» в промежутках между словами примерно в десять раз чаще, чем у Silero; pause нужно использовать только для отменяемой работы, а концом реплики считать лишь end.
- Выигрыш зависит от условий: на шумной тихой линии его нет, цифры получены на одном говорящем и одной цепочке захвата звука.
- Работает на одном потоке процессора, нужны numpy и onnxruntime без torch; есть замена VADIterator и плагин для LiveKit.
Почему это важно
В голосовых ассистентах задержка ответа складывается из ожидания решения «пользователь закончил говорить»: распознавание, вызов языковой модели и озвучка ждут именно его. Авторы проекта предлагают срезать эту задержку не заменой модели, а второй быстрой проверкой по уровню звука поверх Silero VAD. По README, speech-off приходит по медиане на 100 мс раньше падения вероятности у Silero. Это альфа-проект, но с подробным описанием измерений, ограничений и воспроизводимыми бенчмарками.
Кому это важно
Разработчикам голосовых ассистентов и диалоговых систем реального времени, особенно тем, кто уже использует Silero VAD или LiveKit и считает миллисекунды до первого ответа. Тем, кому нужна простая замена VADIterator без torch, тоже может быть интересно.
Как это применить
Установка: pip install realtimevad. Основной путь, цикл по кускам аудио с vad.feed(chunk): на start передавать аудио в распознавание, на pause запускать отменяемую работу (транскрипт, вызов языковой модели, подготовка озвучки) и отменять её, если речь продолжилась, на end финализировать сегмент. Если ассистент говорит при открытом микрофоне, передавайте playback=True для таких кусков. Вместо этого можно просто заменить импорт VADIterator из silero_vad на RealtimeVAD, либо взять плагин для LiveKit. Для очень тихого входа предусмотрена опция normalize_to_dbfs, но она выключена по умолчанию. Если отменять работу быстро нельзя, README советует игнорировать pause и ждать end. Лицензия, MIT (встроенная модель Silero тоже MIT).
Можно ли доверять
Все цифры взяты из README самого проекта, независимой проверки в тексте нет. Авторы сами указывают границы: данные получены от одного говорящего и одной цепочки захвата звука (браузерный захват с шумоподавлением и эхоподавлением, в основном тихие комнаты); не проверялось по временным меткам слов, не попадает ли speech-off иногда внутрь мягкого окончания слова («раньше» не значит «правильно»); телефонная линия в тестах смоделирована. Заголовок на Hacker News называет 110 мс, но это значение было в README до версии 0.0.4, сейчас указано 100 мс. Выигрыш самого события end скромнее (медиана 70 мс, в 18 % реплик его нет), а доля снижения относительно настроек Silero по умолчанию в плагине LiveKit в основном объясняется более короткой настройкой тишины. Сам автор называет проект альфой.
Риски и подводные камни
Главная цена, частые ложные pause (примерно в десять раз чаще, чем у Silero): если не умеете быстро отменять запущенную работу, выгоды не будет. Выигрыш пропадает на шумной тихой линии и при шуме ближе чем примерно на 20 дБ к говорящему. Версия 0.0.5, альфа, API может измениться. Поддерживается только 16 кГц моно; шёпот в основном не детектируется, а смех, кашель и чихание часто детектируются; постоянное смещение (DC offset) во входе скрывает тишину от быстрой проверки (раннего конца не будет, но и потерь тоже). Опция normalize_to_dbfs на обычном уровне не бесплатна: 2 из 3401 реплики потеряли более 100 мс.
«pause срабатывает рано и часто ошибочно, намеренно.»
— README проекта RealtimeVAD