Confucius4-R2T2: потоковое распознавание речи без правок уже выданного текста

Авторы работы представили Confucius4-R2T2 (R2T2 расшифровывается как Real Real-Time Transcription, «по-настоящему реальное время»), потоковую модель распознавания речи (ASR), которая никогда не изменяет ранее выданный текст, сохраняя, по заявлению авторов, высокую точность и низкую задержку.
Мотивация такая: потоковое распознавание всё чаще потребляют не люди, а машины, например, переводчики и голосовые агенты, которые действуют на каждый токен сразу, как только он появился. Если токен потом пересматривается, это означает впустую потраченную работу или неверное действие.
Модель получена дообучением Qwen3-ASR-1.7B на 1500 часах китайского и английского аудио; предобученные аудиоэнкодер и проектор при этом заморожены. В основе адаптации, новое понятие, которое вводят авторы: Longest Stable Prefix, LSP (самый длинный устойчивый префикс). Авторы утверждают, что доказали три его свойства: монотонность относительно порядка префиксов, согласованность с результатом по полному аудио и максимальность среди меток, совпадающих с целым более ранним выводом.
Ключевая идея: обучение на метках LSP превращает модель, которой нужен весь контекст целиком, в потоковую модель со стабильным префиксом, без каких-либо изменений архитектуры.
По оценке авторов, по итогам обширных проверок R2T2 приближает качество потокового распознавания к качеству базовой модели с полным контекстом, при этом выдаёт стабильный текст с малой задержкой эмиссии. Выигрыш, как заявлено, распространяется и на языки за пределами тех, на которых шло дообучение. Авторы называют это практическим путём от ASR с полным контекстом к стабильному потоковому. Веса модели и код опубликованы на Hugging Face и GitHub в организации netease-youdao.
Ключевые факты
- Confucius4-R2T2, потоковая модель распознавания речи, которая по заявлению авторов никогда не меняет ранее выданный вывод.
- Получена дообучением Qwen3-ASR-1.7B на 1500 часах китайского и английского аудио при замороженных аудиоэнкодере и проекторе.
- Ключевое понятие, Longest Stable Prefix (самый длинный устойчивый префикс): обучение на таких метках не требует менять архитектуру.
- Авторы заявляют, что качество близко к полноконтекстному качеству базовой модели, а выигрыш распространяется и за пределы языков дообучения.
- Веса и код открыты (Hugging Face и GitHub, netease-youdao).
Почему это важно
Распознавание речи всё чаще кормит не экран с субтитрами, а другие программы: переводчиков и голосовых агентов. Они реагируют на каждый токен сразу, и для них правка уже выданного текста, это лишняя работа или неверное действие. Работа предлагает решать проблему на уровне обучения: стабильность вывода задаётся метками LSP, а архитектура остаётся прежней.
Кому это важно
Разработчикам голосовых агентов и систем синхронного перевода, которым нужен поток текста без откатов, а также исследователям потокового ASR. Интересна и сама схема: полноконтекстную модель дообучают, заморозив энкодер и проектор.
Как это применить
Авторы опубликовали веса модели и код на Hugging Face (netease-youdao/Confucius4-R2T2) и на GitHub (netease-youdao/Confucius4-R2T2). Подход, дообучение существующей полноконтекстной модели на метках LSP, в принципе можно примерить к другой аналогичной модели, но в тексте аннотации это не проверялось. Лицензия весов в тексте не указана.
Можно ли доверять
Все утверждения пока исходят от самих авторов и взяты из аннотации. Доказательство трёх свойств LSP заявлено, но в пересказываемом тексте его нет. Результаты вроде «близко к качеству полноконтекстной модели» и «малая задержка» не подкреплены числами: ни ошибок распознавания, ни величин задержки, ни сравнения с другими потоковыми системами в тексте нет. Публикация открытых весов и кода позволяет перепроверить заявления.
Риски и подводные камни
Дообучение шло на китайском и английском; утверждение, что выигрыш выходит за их пределы, не расшифровано, не названо, какие именно языки проверяли. Модель близка к полноконтекстной по качеству, но не равна ей, и насколько велик разрыв, из текста неясно. Реальное поведение в продуктах стоит проверять самостоятельно.
«Токен, который позже пересматривается, стоит впустую потраченной работы или неверного действия.»
— Авторы Confucius4-R2T2, аннотация статьи