ИИтог

NVIDIA выпустила Nemotron 3.5 Transcribe: открытая нейросеть для расшифровки речи на 40 языках

моделиРедакция ИИтогHugging Face🔥71Рейтинг ИИтог71Влияние65Новизна65Релевантность100Неожиданность40Участники85Достоверность85
NVIDIA выпустила Nemotron 3.5 Transcribe: открытая нейросеть для расшифровки речи на 40 языках

NVIDIA опубликовала в блоге на Hugging Face описание Nemotron 3.5 Transcribe, модели с открытыми весами, которой можно управлять текстовыми инструкциями. Она превращает записанную речь в текст и сочетает в одной контрольной точке (checkpoint) расшифровку, определение говорящих (диаризацию), перевод и ответы на вопросы по аудио. Модель расшифровывает 40 языков, переводит 31 из них на английский или с английского и помечает говорящих в 13 языках. Она работает с записями длиной до часа и различает до восьми говорящих. Модель доступна на Hugging Face и ModelScope. Поддержка языков зависит от задачи, а ответы на вопросы по аудио обучены на английском; поддерживаются и метки времени для каждого слова.

Управление идёт обычными фразами: «расшифруй запись и подпиши каждого говорящего», «переведи аудио на английский», «какие решения приняли на встрече?». Для незнакомых терминов авторы советуют сначала дать контекст в подсказке, например, перечислить возможные термины (HbA1c, метформин) и попросить использовать их только если они подтверждаются звуком. В карточке модели есть рекомендуемые пресеты, полное руководство по подсказкам и таблица «задача, язык». В качестве примера применения упомянута компания Agora: в учебной демонстрации она использовала пословные метки времени, чтобы показывать транскрипт рядом с записью урока.

В обзоре результатов NVIDIA приводит такие цифры. На рейтинге Hugging Face Open ASR Leaderboard модель первая среди моделей с открытыми весами на английском (средний WER 5,33%, API-модели в сравнение не входят); на многоязычной дорожке средний WER по семи языкам 4,62%, на длинных записях, 10,98%, и это наименьшие значения в сравнении из карточки модели. На независимом рейтинге Artificial Analysis она делит первое место среди открытых моделей с AA-WER 2,8%, имея около 4 млрд активных параметров против 24 млрд у модели, с которой делит место. На наборе AA-AgentTalk (половина индекса AA-WER) ошибка составила 1,8% против 2,3% у ближайшей открытой модели. Архитектура, речевой кодировщик плюс гибридная языковая модель Mamba, Transformer с «смесью экспертов»: из 30 млрд параметров на каждый токен задействовано около 4 млрд. На общей диаграмме Artificial Analysis модель, по утверждению NVIDIA, обгоняет несколько распространённых коммерческих речевых API (названия не приведены).

По определению говорящих: подсказки от Sortformer подаются языковой модели вместе с акустическими признаками, так что реплики помечаются прямо при генерации. На рейтинге David AI по 21 языку ошибка диаризации (DER) у Transcribe 18,26%, лучший результат из 14 систем, чуть впереди отдельной модели NVIDIA Nemotron 3 Diarization (18,38%). На комбинированной дорожке DAI-ASR-I18N она первая среди оценённых открытых моделей и вторая в целом. На VoiceArena Diarization-Bench (английские сессии целиком, 2-8 говорящих) у неё лучший cpWER, 32,4% против 34,2% у NVIDIA Multitalker Parakeet с Nemotron 3 Diarization; доля пропущенных слов 8,32% против медианы около 31%. Ещё упомянуты оценки Ocular AI (Converse-STT, первая среди открытых) и Josh Talks (Voice of India).

По скорости: с готовящейся квантованной версией NVFP4 на одной видеокарте NVIDIA RTX PRO 6000 Blackwell Server Edition модель обработала 100 часов аудио меньше чем за три минуты (30-секундные фрагменты при высокой параллельности). Квантованные версии и локальный запуск через NeMo-Speech.cpp обещаны «скоро»; доступную контрольную точку уже можно запускать через vLLM. Модель рассчитана на записанное аудио, а не на потоковую расшифровку в реальном времени.

Вторая часть релиза, Granary v2, открытый набор данных и повторно используемый конвейер подготовки речевых данных на NeMo Curator. Публичный манифест охватывает 463 062 часа на 48 языках из 16 корпусов (в Granary v1 было 25 языков); эти цифры описывают набор данных, а не полную обучающую смесь Transcribe. Для каждой записи создаются три формы транскрипта, а также аудиоподписи, восстановление заимствованных слов при смене языка, пары «вопрос, ответ», термины для контекстного распознавания и переводы с автоматической оценкой качества. Конвейер состоит из четырёх этапов: подготовка аудио (в этом релизе пропущена, так как источники уже нарезаны), расшифровка с запасной моделью при сбое проверки на галлюцинации, генерация текстовых меток и фильтр высокой точности (HiFi): для VoxPopuli он сократил 354 тыс. часов до 111 тыс. по 22 европейским языкам. Исходное аудио нужно скачивать отдельно по лицензии каждого корпуса.

Наконец, NVIDIA показывает, как подстроить модель под предметную область на примере медицины. Тестом служит открытый набор Eka Care, записи индийских врачей и студентов-медиков (3 619 фрагментов, обучающей части нет). Одна лишь подсказка с указанием английского языка и латинского алфавита снизила WER на всём наборе с 30,8% до 23,8%, а дообучение довело его до 11,8%, примерно на 62% меньше ошибок, чем у исходной модели. На новых для модели говорящих дообучение сократило WER на 45,8% по сравнению с лучшей подсказкой. Для адаптации использовали около 153 часов синтетической речи, 29 часов английской речи с акцентами из Common Voice и 63 часа медицинских записей MultiMed. Текст источника обрывается на описании тестового набора, так что дальнейшие подробности исследования недоступны.

Ключевые факты

  • Nemotron 3.5 Transcribe, открытая модель NVIDIA: расшифровка 40 языков, перевод 31 языка на английский или с английского, определение говорящих в 13 языках; записи до часа, до восьми говорящих.
  • Первое место среди открытых моделей на Open ASR Leaderboard (английский, средний WER 5,33%) и ничья за первое место на рейтинге Artificial Analysis (AA-WER 2,8%) при около 4 млрд активных параметров из 30 млрд.
  • В определении говорящих лидирует: DER 18,26% по 21 языку на рейтинге David AI и cpWER 32,4% на VoiceArena (14 систем).
  • Granary v2, открытый набор и конвейер данных: 463 062 часа, 48 языков, 16 корпусов; исходное аудио скачивается отдельно по лицензиям корпусов.
  • В медицинском примере подсказка снизила WER с 30,8% до 23,8%, дообучение, до 11,8%; квантованные версии пока только анонсированы, потоковой расшифровки нет.

Почему это важно

Обычно расшифровка, разметка говорящих и перевод, отдельные инструменты. NVIDIA предлагает одну открытую модель, которой задачу ставят обычным текстом, и подкрепляет её результатами на нескольких независимых рейтингах. Заметна и эффективность: по данным самой NVIDIA, на рейтинге Artificial Analysis модель делит первое место среди открытых с моделью, у которой 24 млрд активных параметров, имея около 4 млрд. К релизу добавлены открытые данные и конвейер, то есть можно повторить подготовку данных и дообучение, а не только скачать веса.

Кому это важно

Разработчикам продуктов с расшифровкой встреч, звонков и лекций, особенно многоязычных; командам, которым нужны метки говорящих и пословные метки времени; тем, кто работает в предметных областях со сложной лексикой (в источнике разобрана медицина); исследователям речевых систем, которым пригодятся Granary v2 и конвейер NeMo Curator.

Как это применить

Доступную контрольную точку можно взять с Hugging Face или ModelScope и запускать через vLLM уже сейчас. Начинать советуют с подсказки на отладочной выборке: указать язык, алфавит и формат транскрипта; для редких терминов, перечислить возможные слова. Если ошибки остаются, используются рецепты дообучения NeMo Speech: в медицинском примере подсказка снизила WER с 30,8% до 23,8%, а дообучение, до 11,8%. Для локального запуска на RTX Spark, DGX Spark или Jetson AGX Thor нужно дождаться квантованных версий; NeMo-Speech.cpp тоже обещан «скоро». Лицензия весов в тексте не указана, источник отсылает к опубликованным условиям релиза.

Можно ли доверять

Это публикация самой NVIDIA, то есть первоисточник, но оценки в основном выбраны и поданы разработчиком. Часть рейтингов независимая (Artificial Analysis, Hugging Face, David AI, VoiceArena). Первое место на Open ASR Leaderboard, только среди моделей с открытыми весами, API-модели исключены. Утверждение об обгоне коммерческих API дано без названий. Показатель в 100 часов за три минуты относится к ещё не вышедшей версии NVFP4 и к определённым условиям (30-секундные фрагменты, высокая параллельность). Цифры Granary v2 описывают набор данных, а не полную обучающую смесь модели. Текст источника обрывается на медицинском примере. Сами авторы советуют сверять имена, смену говорящих и ответы с записью.

Риски и подводные камни

Модель рассчитана на записанное аудио, не на потоковое. Поддержка зависит от задачи: 40 языков расшифровки, 31 перевода, 13 с метками говорящих, а ответы на вопросы по аудио обучены на английском. Квантованные версии и локальный запуск пока не вышли. Исходное аудио для Granary v2 нужно скачивать отдельно и соблюдать лицензию каждого корпуса. Итоговый результат в вашей области может отличаться от рейтинговых: потребуется проверка на своих данных и, возможно, дообучение.