VibeVoice-ASR-Streaming распознаёт, кто что сказал, в потоке речи

Классические системы распознавания речи с определением говорящего решали две задачи по отдельности: сначала распознавали саму речь (ASR), а затем отдельным шагом выполняли диаризацию, то есть размечали, кто из говорящих произнёс каждый фрагмент. Позже появились сквозные (end-to-end) модели, которые объединяют обе задачи в одной модели, например, VibeVoice-ASR. Но, по словам авторов, такие объединённые модели пока в основном работают в офлайн-режиме, дожидаясь полной записи целиком, а это плохо сочетается с требованиями к низкой задержке у голосовых ассистентов и агентов, работающих в реальном времени.

Чтобы решить эту проблему, авторы представили VibeVoice-ASR-Streaming, по их собственному описанию, один из первых сквозных подходов на основе LLM (большой языковой модели) к потоковому распознаванию речи с определением говорящего. Во входной последовательности модель перемежает блоки аудио фиксированного размера, небольшой участок звука «наперёд» по времени (lookahead) и уже распознанный ранее текст. Такая схема позволяет модели выдавать, кто что сказал, прямо по мере поступления речи, без отдельного этапа диаризации после записи.

В экспериментах модель на 7 млрд параметров показала лучший, самый низкий, средний показатель ошибок распознавания (WER/CER: word error rate и character error rate, то есть доля ошибочно распознанных слов и символов соответственно) среди пяти тестовых наборов данных для оценки точности распознавания. По качеству определения говорящего та же модель показала лучший или сопоставимый с лучшим результат в 12 из 13 тестовых условий.

Веса обеих версий модели, на 1,5 и на 7 млрд параметров, авторы выложили в открытый доступ вместе с кодом для инференса (запуска уже обученной модели).

Ключевые факты

VibeVoice-ASR-Streaming, один из первых, по словам авторов, сквозных подходов на основе LLM к потоковому распознаванию речи с определением говорящего: в отличие от офлайн-моделей вроде VibeVoice-ASR, она размечает, кто что сказал, по мере поступления речи, без отдельного этапа диаризации.
Во входной последовательности модель перемежает блоки аудио фиксированного размера, небольшой участок звука «наперёд» по времени (lookahead) и уже распознанный ранее текст, это и даёт низкую задержку в потоковом режиме.
Версия на 7 млрд параметров показывает самый низкий средний показатель ошибок распознавания (WER/CER) среди пяти тестовых наборов данных для оценки точности.
По определению говорящего та же 7-миллиардная модель показывает лучший или сопоставимый с лучшим результат в 12 из 13 тестовых условий.
Авторы выложили в открытый доступ веса версий на 1,5 и 7 млрд параметров вместе с кодом для инференса.

Почему это важно

Голосовые ассистенты и агенты, которые слушают разговор нескольких людей, должны не просто распознавать слова, а сразу понимать, кто их произнёс, и делать это без задержки, по мере того как человек говорит. До сих пор сквозные модели, которые решают распознавание речи и определение говорящего одной моделью, в основном работали в офлайн-режиме: ждали конец записи и только потом выдавали результат. VibeVoice-ASR-Streaming, по словам авторов, один из первых подходов, который переносит эту связку в потоковый режим: модель размечает говорящих «на лету», без отдельного шага диаризации после записи. Это шаг к более быстрым голосовым системам реального времени, от ассистентов до расшифровки встреч с несколькими участниками.

Кому это важно

В первую очередь, командам, которые строят голосовых ассистентов и агентов для разговоров с несколькими собеседниками в реальном времени: например, для расшифровки встреч или звонков с разметкой «кто что сказал» без задержки. Дальше, разработчикам инфраструктуры распознавания речи, которым сейчас нужна связка «отдельный ASR + отдельная диаризация» и которые ищут ей замену в виде одной потоковой модели. И исследователям, которые занимаются потоковым распознаванием речи и определением говорящего, VibeVoice-ASR-Streaming даёт ещё одну точку сравнения для будущих работ.

Как это применить

Авторы выложили в открытый доступ веса обеих версий, на 1,5 и на 7 млрд параметров, вместе с кодом для инференса: тем, кто хочет проверить потоковое распознавание с определением говорящего у себя, не нужно ждать отдельного релиза кода. При этом сам текст не даёт ни ссылки на конкретный репозиторий или страницу с весами, ни лицензии, ни даты релиза, эти детали стоит уточнить на странице проекта, прежде чем встраивать модель в свой пайплайн. Результат по точности (WER/CER), без конкретных чисел, в тексте назван только для версии на 7 млрд параметров, для более компактной, 1,5-миллиардной модели, отдельных результатов не названо.

Можно ли доверять

Метод описан достаточно конкретно: понятно, как устроен вход модели (блоки аудио фиксированного размера, небольшой запас звука «наперёд» и уже распознанный текст) и чем это отличается от офлайн-моделей вроде VibeVoice-ASR, упомянутой как пример более раннего подхода. Заявлены количественные результаты, лучший средний WER/CER на пяти тестовых наборах и лучший или сопоставимый с лучшим результат в 12 из 13 тестовых условий, но сами тестовые наборы и условия не названы, а конкретные числовые значения WER/CER не приведены: указано только то, что результат 7B-модели, лучший по среднему значению. Текст также не называет ни одной модели, с которой сравнивали VibeVoice-ASR-Streaming впрямую, кроме офлайн-модели VibeVoice-ASR как общего примера прежнего подхода. Ни авторов, ни организацию сама аннотация не называет: имя, указанное в карточке публикации на Hugging Face, это метаданные страницы, а не подпись под текстом работы, поэтому в пересказе оно не приводится как имя автора. Заявлен релиз весов и кода для инференса, это позволит независимо проверить цифры, когда материалы станут доступны, но на момент публикации аннотации проверить приведённые метрики не на чем.

Риски и подводные камни

Несмотря на то что снижение задержки, главный заявленный мотив разработки, в тексте нет ни одной цифры по задержке (например, в миллисекундах): оценить, насколько потоковая модель быстрее офлайн-подходов на практике, по одному этому источнику нельзя. Формулировка «лучший или сопоставимый с лучшим на 12 из 13 тестовых условий» не говорит, насколько велик отрыв от других результатов и что произошло в оставшемся одном условии из тринадцати. Числовые значения WER/CER в тексте не приведены вовсе, только то, что среднее у 7B-модели оказалось самым низким среди пяти тестовых наборов, без указания самих чисел и явного перечня моделей, с которыми её сравнивали. Результат по точности назван только для более крупной, 7-миллиардной версии, тоже без чисел; для компактной модели на 1,5 млрд параметров отдельных числовых результатов текст не даёт. Наконец, архитектура раскрыта только как «сквозная модель на основе LLM», какая именно языковая модель лежит в основе и насколько велик буфер «наперёд» по времени, из текста не следует.