Rumble-2-Flash: открыли модель распознавания речи на 0,5 млрд параметров для 40+ языков

Rumble-2-Flash: открыли модель распознавания речи на 0,5 млрд параметров для 40+ языков

Авторы модели в блоге Hugging Face объявили, что открывают Rumble-2-Flash под лицензией Apache 2.0. Это модель распознавания речи на 0,5 млрд параметров для 40+ языков с автоматическим определением языка. По словам авторов, она конкурирует с моделями, которые больше в 3-60 раз.

Модель построена на архитектуре Qwen3-ASR, поэтому работает сразу в Transformers и vLLM, без собственного кода, форка среды выполнения и trust_remote_code. Чтобы выяснить, насколько можно уменьшить модель без потери точности, авторы «сжали» в неё свою более крупную производственную модель Rumble-2 методом дистилляции on-policy (обучения на собственных ответах ученика). Ученик не учится на готовых транскриптах учителя: он сам расшифровывает аудио, а учитель оценивает транскрипт токен за токеном, выдавая для каждой позиции свою вероятность следующего токена. Ученик учится её повторять. Так он исправляется именно на своих ошибках, а обратная связь приходит по каждому токену, а не одной оценкой на весь фрагмент.

Обычно такая дистилляция требует общего токенизатора у учителя и ученика, а здесь токенизаторы разные: выбрав Qwen3-ASR, авторы взяли и его словарь. Ограничение снимает метод GOLD. Он объединяет токены там, где два токенизатора по-разному режут текст, чтобы сравнивать модели на одном и том же тексте. Токены, которые есть в обоих словарях, сравниваются напрямую, остальные, по отсортированным вероятностям.

Результаты, которые приводят сами авторы. На мультиязычной дорожке Open ASR Leaderboard (китайский, немецкий, французский, итальянский, испанский, португальский, хинди, нидерландский и английский) средняя ошибка составляет 6,96%. Это лучше, чем у omniASR-LLM 7B от Meta, которая в 15 раз больше, и выше, чем у Whisper large-v3 (цифры для этих двух моделей в тексте не приведены). На английской дорожке средний WER, 6,6%.

По скорости: на крупных наборах Open ASR Leaderboard, где батчи заполнены, модель выдаёт более 7000 RTFx, то есть час аудио примерно за полсекунды. Авторы оговаривают, что пропускная способность зависит от заполненности батчей.

Отдельно проверяли телефонные звонки: они сжаты, шумны и часто с очень разными акцентами. На бенчмарке колл-центра AppTek (302 часа звонков в службу помощи, 14 английских акцентов, оценка по скрипту AppTek) Rumble-2-Flash показывает 7,86% WER. Это на уровне Nemotron 3.5 Transcribe (30 млрд параметров) от NVIDIA с 7,78%, заметно лучше Qwen3-ASR 0,6B (8,7%) из того же семейства и близко к Qwen3-ASR 1,7B (7,4%), единственной модели в сравнении, которая оказалась точнее.

Практические возможности: управление выводом (числа цифрами или словами, слова-паразиты, дословные повторы, принудительный выбор языка). Вес модели лежит на Hub по адресу Reson8/Rumble-2-Flash, а ещё она доступна через API авторов. В блоге есть пример запуска через Transformers: язык можно указать явно или опустить для автоопределения.

Ключевые факты

  • Rumble-2-Flash, модель распознавания речи на 0,5 млрд параметров для 40+ языков, открыта под лицензией Apache 2.0; работает в Transformers и vLLM без собственного кода.
  • Построена на архитектуре Qwen3-ASR и получена дистилляцией on-policy из более крупной производственной модели Rumble-2; разный токенизатор у учителя и ученика обошли методом GOLD.
  • Мультиязычная дорожка Open ASR Leaderboard: средняя ошибка 6,96%, лучше omniASR-LLM 7B от Meta (в 15 раз крупнее) и выше Whisper large-v3; на английской дорожке средний WER 6,6%.
  • Скорость: свыше 7000 RTFx на заполненных батчах, примерно час аудио за полсекунды.
  • Колл-центр AppTek (302 часа, 14 акцентов): 7,86% WER против 7,78% у Nemotron 3.5 Transcribe (30B); точнее оказалась только Qwen3-ASR 1,7B (7,4%).

Почему это важно

Распознавание речи обычно упирается в размер модели: чем точнее, тем она тяжелее и дороже в запуске. Авторы показывают открытую модель на 0,5 млрд параметров, которая по их измерениям держится на уровне моделей, больших в 3-60 раз, в том числе 30-миллиардной Nemotron 3.5 Transcribe на звонках колл-центра. Лицензия Apache 2.0 и поддержка в Transformers и vLLM из коробки снижают порог внедрения.

Кому это важно

Разработчикам, которые строят расшифровку звонков, голосовых сообщений или субтитров и хотят запускать модель у себя, а не платить за внешний сервис. Тем, кто работает с многоязычным аудио (40+ языков, автоопределение языка). Исследователям дистилляции: в посте описан способ учить малую модель на собственных ответах ученика при несовпадающих токенизаторах.

Как это применить

Веса лежат на Hub (Reson8/Rumble-2-Flash). Установите torch, transformers и accelerate, загрузите AutoProcessor и AutoModelForMultimodalLM, передайте аудио (локальный путь, URL, массив NumPy или список таких значений) через apply_transcription_request. Язык можно указать явно или не указывать для автоопределения. Можно настроить вывод: числа цифрами или словами, слова-паразиты, дословные повторы. Модель также доступна через API авторов; цены в посте не названы. Лицензия Apache 2.0 разрешает свободное использование.

Можно ли доверять

Все цифры точности и скорости приводят сами авторы, независимой проверки в посте нет. Часть сравнений неполна: для omniASR-LLM 7B и Whisper large-v3 числа не даны, оборудование для замера скорости не указано, список языков не приведён. Тест колл-центра AppTek оценён скриптом AppTek, и на нём Rumble-2-Flash не лучшая: она уступает Qwen3-ASR 1,7B. Достоинство в том, что веса открыты и результаты можно перепроверить на своих данных.

Риски и подводные камни

Показатель более 7000 RTFx получен на крупных наборах, где батчи заполнены; при небольших или редких запросах скорость будет ниже. Заявленные «40+ языков» названы поимённо лишь частично: девять языков мультиязычной дорожки, качество на остальных в посте не показано. Оценка на звонках касается английских акцентов, для других языков такой проверки в посте нет. Какие данные использовались при обучении и какого размера учитель Rumble-2, не сообщается.

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.