ИИтог

Mistral выпустила Voxtral 3: распознавание речи на 50+ языках, синтез голоса и SDK для голосовых агентов

моделиРедакция ИИтогHacker News🔥81Рейтинг ИИтог81Влияние70Новизна70Релевантность100Неожиданность45Участники75Достоверность80
Mistral выпустила Voxtral 3: распознавание речи на 50+ языках, синтез голоса и SDK для голосовых агентов

Mistral AI представила Voxtral 3, новое семейство моделей для перевода речи в текст и текста в речь, а также SDK для голосовых агентов, построенный на LiveKit. По словам компании, надёжный голосовой агент должен одновременно хорошо слушать (разные языки, акценты, говорящие, перебивания), глубоко понимать смысл сказанного, говорить естественно и с эмоцией, а также выполнять многошаговые действия через подключённые системы. Voxtral 3 призван свести всё это в один потоковый конвейер реального времени: слушание, рассуждение, вызов инструментов и ответ голосом. Целевые сценарии, агенты колл-центров, службы поддержки, виртуальные ассистенты и голосовые помощники для работы без рук.

Распознавание речи. Модель Voxtral Small Transcribe 3 заявлена как лучшая в своём классе по многоязычной транскрипции. Она определяет, кто говорит (диаризация), использует подсказки с ключевыми фразами для повышения точности (context biasing) и определяет момент, когда человек закончил говорить. Список поддерживаемых языков расширен до 50, включая 24 официальных языка ЕС и многие малоресурсные азиатские и индийские языки. По утверждению Mistral, Small показывает лучшие результаты по диаризации и многоязычной транскрипции, в том числе для английского, французского и испанского, и превосходит Whisper, Scribe v2 и Gemini 3.5 Transcribe; конкретных цифр в тексте анонса нет. Вариант Mini имеет 4 млрд параметров и стоит $0,0035 за минуту. Обе модели поддерживают подсказки терминов и свободного текста, поэтому работают со специальной лексикой без дообучения. Отдельная модель Voxtral Realtime Transcribe 3 для агентных сценариев даёт транскрипцию с задержкой менее 500 мс более чем на 35 языках, тоже с диаризацией и подсказками. Конец реплики она предсказывает, учитывая и звук, и смысл, что снижает число ложных обрывов, когда пользователя перебивают раньше времени.

Синтез речи. Voxtral Mini TTS 3.0 работает в пакетном режиме и в реальном времени, поддерживает 35+ языков и 50+ диалектов. Голоса подстраивают эмоцию, темп и акценты под контекст разговора. Цена, $13 за 1 млн символов; Mistral утверждает, что это дешевле сопоставимых моделей OpenAI TTS-1, Deepgram, ElevenLabs Flash и Gemini Flash. Среди функций: клонирование голоса по 30+ минутам записи, следование инструкциям в промпте (эмоция, темп, акценты), контекстный синтез и библиотека словаря. Готовые голоса доступны на 18 языках, от арабского (эмиратский и литературный) и китайского (путунхуа) до русского, хинди и вьетнамского. В примерах сравнивают Voxtral 1 и Voxtral 3 на числах, датах, адресах электронной почты и именах. Для профессиональных задач, где обычного клонирования мало, предложена адаптация Pro Voice: она воспроизводит характер, эмоциональный диапазон и манеру речи говорящего на разных языках всего по 30 минутам аудио.

Голосовой агент. SDK объединяет три шага в один потоковый конвейер: Voxtral Mini Transcribe Realtime 3 слушает и определяет конец реплики звонящего, универсальная модель вроде Mistral Small рассуждает и вызывает инструменты, а Voxtral Speech 3 отвечает в тоне разговора. По словам Mistral, ни один этап не ждёт предыдущего, поэтому каждая реплика укладывается меньше чем в секунду, а агент замолкает, когда его перебивают. Во время звонка агент может проверить личность, посмотреть счёт или записать на приём, используя вызов функций, веб-поиск и извлечение данных из ваших систем. Он принимает и совершает звонки по SIP, работает в браузерах и приложениях через WebRTC и подключается к уже используемому ПО для телефонии, IVR и контакт-центров. Каждый этап, отдельная модель, поэтому можно менять языковую модель, голос или язык, не переписывая агента.

Доступность. Voxtral 3 доступен сразу через API Mistral на европейских, американских и глобальных endpoint. Распознавание, синтез, клонирование голоса и агентов можно опробовать в Studio playgrounds. Как и другие модели Mistral, семейство рассчитано на суверенное развёртывание: через размещённый в ЕС API или на собственной инфраструктуре, что даёт организации контроль над тем, где обрабатывается звук, как обрабатываются данные и сохраняются ли разговоры. В анонсе показан пример: ассистент Béatrice по просьбе пациента читает французское направление к дерматологу и записывает на приём, а подтверждение отправляет по-английски. Текст источника обрывается на разделе «Get started», поэтому условия самостоятельного развёртывания в нём не видны.

Ключевые факты

  • Voxtral 3, семейство моделей распознавания и синтеза речи плюс SDK для голосовых агентов на базе LiveKit; доступно через API Mistral на европейских, американских и глобальных endpoint или для самостоятельного развёртывания.
  • Распознавание: 50+ языков (включая 24 официальных языка ЕС), диаризация, подсказки терминов, определение конца реплики; Mini, 4 млрд параметров, $0,0035 за минуту; Realtime-модель, менее 500 мс на 35+ языках.
  • Синтез речи Voxtral Mini TTS 3.0: 35+ языков и 50+ диалектов, $13 за 1 млн символов; по заявлению Mistral, дешевле OpenAI TTS-1, Deepgram, ElevenLabs Flash и Gemini Flash.
  • Pro Voice воспроизводит голос и манеру речи по 30 минутам аудио; готовые голоса доступны на 18 языках.
  • Агентный конвейер (слушание, рассуждение, ответ) укладывается, по словам Mistral, меньше чем в секунду на реплику; работает по SIP и WebRTC.

Почему это важно

Mistral предлагает не отдельные модели, а связанный набор для голосовых агентов: распознавание, синтез и SDK, который собирает их в потоковый конвейер реального времени. Компания делает упор на суверенность: API размещён в ЕС, а модели можно развернуть у себя, контролируя, где обрабатывается звук и хранятся ли разговоры. Заявленная цена синтеза речи ($13 за 1 млн символов) и распознавания у Mini ($0,0035 за минуту) вместе с поддержкой 50+ языков делает предложение заметным на рынке голосовых интерфейсов.

Кому это важно

Разработчикам и компаниям, которые строят агентов для колл-центров, служб поддержки и виртуальных ассистентов, особенно в Европе и с требованиями к размещению данных. Также тем, кому нужно многоязычное распознавание с определением говорящих и специальной лексикой без дообучения, и командам, которым нужен фирменный голос бренда или клонирование голоса.

Как это применить

Voxtral 3 доступен через API Mistral на европейских, американских и глобальных endpoint. Попробовать агентов, распознавание, синтез и клонирование голоса можно в Studio playgrounds. Из цен в тексте указаны $0,0035 за минуту для Mini-распознавания и $13 за 1 млн символов для синтеза. Агент собирается из отдельных моделей, поэтому языковую модель, голос или язык можно менять без переписывания агента, а по SIP он подключается к уже используемой телефонии, IVR и контакт-центрам. Для самостоятельного развёртывания в видимой части анонса подробностей нет.

Можно ли доверять

Это официальный анонс самой Mistral, поэтому сравнения с Whisper, Scribe v2, Gemini 3.5 Transcribe, OpenAI TTS-1, Deepgram и ElevenLabs Flash, заявления компании. Цифр качества (доли ошибок распознавания и диаризации) в видимом тексте нет, независимых оценок и названных клиентов тоже. В самом тексте встречаются разные названия моделей и две формулировки длины записи для клонирования голоса (30 минут и 30+ минут), без пояснений.

Риски и подводные камни

Заявления о превосходстве над конкурентами и о задержке менее секунды на реплику пока не подкреплены в тексте измерениями, поэтому их стоит проверить на своих данных и языках. Качество голосов на 18 языках с готовыми пресетами и на остальных диалектах может отличаться. Цены для Small-распознавания, Realtime-модели и Pro Voice в видимом тексте не указаны. Клонирование голоса требует осторожности с согласием владельца голоса, но анонс этого вопроса в видимой части не обсуждает.