ElevenLabs выпустила Scribe v3 и Scribe v3 Live для распознавания речи

ElevenLabs выпустила две новые модели преобразования речи в текст: Scribe v3 и Scribe v3 Live. Они рассчитаны на сложные условия: когда люди перебивают друг друга на встречах или когда телефонный разговор идёт с фоновым шумом. Scribe v3 предназначена для готовых аудиозаписей, а Scribe v3 Live, для приложений реального времени с низкой задержкой. Обе модели уже доступны через интерфейс для разработчиков ElevenAPI и платформу ElevenAgents.
По данным самой ElevenLabs, Scribe v3 снижает долю ошибок в словах примерно на 25% по сравнению с предыдущей моделью, причём по 102 языкам; заметно, по словам компании, улучшилась и точность для немецкого языка. Диаризация (определение, кто из говорящих произнёс реплику) стала надёжнее в групповых разговорах с большим числом участников, а Scribe v3 Live впервые делает её доступной в реальном времени.
Независимые тесты Artificial Analysis подтверждают, что Scribe v3 входит в число самых точных моделей транскрибации на рынке: она немного опережает модели Microsoft, Mistral, xAI, Google и OpenAI и уступает только предварительной (preview) модели Alibaba. Но тем, кому нужно быстро и дёшево обрабатывать большие объёмы аудио, лучше подойдут другие поставщики: по скорости и цене ElevenLabs оказывается в середине списка, а модели Microsoft и xAI работают во много раз быстрее при чуть более высокой доле ошибок и стоят примерно вдвое меньше. При этом бенчмарк измеряет только ошибки в словах на записанных файлах и не учитывает заявленные улучшения диаризации, редких языков и поведения Scribe v3 Live в реальном времени.
Главная идея Scribe v3 Live, исправить недостаток нынешних голосовых агентов: они часто полагаются на жёсткие таймеры пауз и перебивают звонящего на полуслове, когда тот ненадолго задумался или медленно диктует ряд цифр. Новая модель реального времени анализирует контекст разговора вместе со звуковым сигналом, чтобы понять, закончил ли человек говорить на самом деле.
Разработчикам дали больше контроля над итоговым текстом. В модели можно заранее загрузить тысячи специальных терминов, например названия брендов или лекарств, чтобы они не искажались при распознавании. Правила форматирования чисел и дат задаются обычным языком, а многоязычный режим справляется со сменой языка прямо внутри фразы. Корпоративным клиентам доступны изолированные серверы в ЕС и режим нулевого хранения (zero retention), который должен удалять данные сразу после каждого запроса.
Одновременно с моделями ElevenLabs расширяет корпоративное направление. В рамках расширенного партнёрства с Nvidia компания встраивает открытую языковую модель Nemotron 3.5 Super VL в ElevenAgents, закрепляет дополнительные вычислительные мощности на оборудовании Nvidia, разрабатывает локальное голосовое управление роботами и запускает телефонного агента для государственной системы здравоохранения Польши. Кроме того, объявлены альянс с консалтинговой компанией McKinsey, более широкая партнёрская программа для системных интеграторов и собственный маркетплейс, где такие компании, как Salesforce, IBM и Zendesk, предлагают готовых голосовых агентов.
Ключевые факты
- ElevenLabs выпустила Scribe v3 (для готовых записей) и Scribe v3 Live (для реального времени с низкой задержкой); обе модели доступны через ElevenAPI и ElevenAgents.
- По заявлению компании, Scribe v3 снижает долю ошибок в словах примерно на 25% относительно предшественницы на 102 языках; это данные самой ElevenLabs.
- По тестам Artificial Analysis, Scribe v3 входит в число самых точных моделей и уступает лишь предварительной модели Alibaba, но по скорости и цене она в середине списка; модели Microsoft и xAI заметно быстрее и примерно вдвое дешевле.
- Scribe v3 Live анализирует контекст разговора вместе со звуком, чтобы голосовой агент не перебивал звонящего на коротких паузах.
- Параллельно ElevenLabs объявила о расширенном партнёрстве с Nvidia, альянсе с McKinsey, партнёрской программе для интеграторов и собственном маркетплейсе голосовых агентов.
Почему это важно
Перебивание клиента на полуслове, распространённая слабость голосовых агентов, построенных на жёстких таймерах пауз. Scribe v3 Live пытается решить её, оценивая контекст разговора, а не только тишину в аудио. Для компаний, которые доверяют телефонным агентам общение с клиентами, это шаг к более естественному диалогу. Вторая часть новости, Scribe v3 в независимом бенчмарке оказалась среди лидеров по точности, хотя и не по скорости и цене.
Кому это важно
Разработчикам голосовых агентов и колл-центровых решений, командам, которые расшифровывают встречи и звонки с несколькими участниками и фоновым шумом, а также корпоративным клиентам, которым важны серверы в ЕС и режим нулевого хранения данных. Тем, кто оценивает рынок, интересны и партнёрства ElevenLabs с Nvidia и McKinsey, и маркетплейс готовых голосовых агентов.
Как это применить
Обе модели доступны сейчас через ElevenAPI и платформу ElevenAgents. Scribe v3 подходит для обработки готовых записей, Scribe v3 Live, для разговоров в реальном времени. Можно заранее загрузить тысячи специальных терминов (бренды, лекарства), задать правила форматирования чисел и дат обычным языком и включить многоязычный режим для смены языка внутри фразы. Цены в источнике не приводятся, поэтому стоимость придётся проверять отдельно. Если главное для вас, скорость и цена на больших объёмах, стоит сравнить модели Microsoft и xAI: по бенчмарку они работают во много раз быстрее и примерно вдвое дешевле при чуть более высокой доле ошибок.
Можно ли доверять
Цифра о снижении ошибок примерно на 25% на 102 языках, заявление самой ElevenLabs, она не подтверждена бенчмарком Artificial Analysis, а какая именно предыдущая модель взята для сравнения, не сказано. Улучшение для немецкого языка и надёжность диаризации в больших группах тоже даны со слов компании, без чисел. Независимый бенчмарк подтверждает высокую точность Scribe v3 на записанных файлах, но не проверяет ни диаризацию, ни редкие языки, ни поведение Scribe v3 Live в реальном времени. Независимой проверки того, как Scribe v3 Live справляется с паузами в диалоге, в материале нет.
Риски и подводные камни
По скорости и цене Scribe v3 уступает части конкурентов, поэтому для массовой дешёвой обработки аудио она может оказаться неудачным выбором. Как именно Scribe v3 Live анализирует контекст, в материале не раскрыто, так что реальное качество определения конца реплики придётся проверять на собственных сценариях. Условия партнёрств с Nvidia и McKinsey и объём дополнительных вычислительных мощностей не названы, поэтому судить об их практическом эффекте пока нельзя.