Apple SpeechAnalyzer обогнал все модели Whisper в тестах распознавания речи

Разработчики приложения Inscribe (приватный оффлайн-инструмент для транскрибации на базе ИИ) провели независимый бенчмарк нового речевого API Apple, SpeechAnalyzer и SpeechTranscriber, которые в iOS 26 и macOS 26 заменили старый SFSpeechRecognizer. Apple не публиковала собственных цифр точности для новых API, поэтому разработчики, выбирающие между ними и моделями Whisper от OpenAI, действовали вслепую. Inscribe встроила все пять движков (SFSpeechRecognizer, SpeechAnalyzer и три модели Whisper, Tiny, Small и ещё одну) в один продукт и прогнала их через идентичный код на одном и том же наборе аудио.

Результат: новый SpeechAnalyzer, самый точный оффлайн-движок распознавания речи из всех протестированных. Он снизил долю ошибочных слов (WER, word error rate) на чистой речи с 9,02% (у старого SFSpeechRecognizer) до 2,12%, то есть в 3,5, 4 раза, а на зашумлённой речи, с 16,25% до 4,56%. При этом SpeechAnalyzer обошёл по точности даже Whisper Small, крупнейшую из моделей Whisper в продукте, работая примерно в три раза быстрее неё. Старый SFSpeechRecognizer, для сравнения, проигрывал даже Whisper Tiny, самой маленькой 40-мегабайтной модели. Все пять движков работали быстрее реального времени, час аудио транскрибируется примерно за 1,5, 5 минут прямо на устройстве.

Тестирование проводилось на корпусе LibriSpeech (части test-clean и test-other, всего 5559 фраз) на Apple M2 Pro с 32 ГБ памяти под macOS 26.5.1, полностью оффлайн, команда намеренно отключила отправку аудио на серверы Apple и заставила программу отказываться от запуска, если распознавание пыталось уйти в облако. Чтобы подтвердить корректность методики, авторы сверили свои цифры по Whisper с официальными цифрами OpenAI на том же корпусе: расхождение оказалось небольшим и системным (из-за более строгой нормализации текста и квантования модели), а не случайным разбросом, это, по их словам, признак честного воспроизведения теста. Все результаты по отдельным фразам и сырые расшифровки обоих движков Apple выложены в открытый доступ, чтобы результаты мог перепроверить любой желающий.

У Whisper остаются два реальных преимущества: он поддерживает намного больше языков (SpeechTranscriber охватывает около 30 локалей, Whisper, свыше 100) и работает не только на актуальных устройствах Apple. Но для английского текста на современном iPhone или Mac, заключают авторы, эпоха, когда Whisper был очевидным выбором по точности, закончилась, сама Inscribe теперь по умолчанию использует SpeechAnalyzer для поддерживаемых им языков, переключаясь на Whisper только для остальных. Попутно бенчмарк вскрыл баг в самом приложении Inscribe: импорт аудио через Apple-движок не вызывал финальный метод обработки потока (finalizeAndFinishThroughEndOfInput), из-за чего импорт зависал навсегда; ошибку не замечали, потому что по умолчанию использовался Whisper. Баг исправили в день обнаружения.

Авторы отдельно оговаривают ограничения теста: измерения касаются только английского языка и чтения аудиокниг (LibriSpeech), а не реальных совещаний с акцентами, шумом и несколькими говорящими; тест проводился на одной машине (M2 Pro), и скорость на других чипах Apple Silicon может отличаться; Whisper тестировался в квантованной оффлайн-сборке WhisperKit CoreML, которая может немного отличаться от эталонной GPU-реализации.

Ключевые факты

SpeechAnalyzer снизил долю ошибок распознавания (WER) с 9,02% до 2,12% на чистой речи и с 16,25% до 4,56% на шумной по сравнению со старым SFSpeechRecognizer.
SpeechAnalyzer обошёл по точности Whisper Small, крупнейшую модель Whisper в продукте Inscribe, и работал при этом примерно втрое быстрее неё.
Тест проведён на корпусе LibriSpeech полностью оффлайн на Apple M2 Pro (macOS 26.5.1); цифры по Whisper сверили с официальными данными OpenAI на том же корпусе, расхождение оказалось небольшим и системным.
У Whisper остаётся преимущество в охвате языков: SpeechTranscriber поддерживает около 30 локалей, Whisper, свыше 100, и работает не только на устройствах Apple.
В ходе тестирования нашли баг в самом приложении Inscribe, не вызывался метод завершения потока для Apple-движка, из-за чего импорт зависал; исправили в тот же день.

Почему это важно

С выходом iOS 26 и macOS 26 Apple заменила старый API распознавания речи SFSpeechRecognizer на SpeechAnalyzer и SpeechTranscriber, но не опубликовала собственных цифр точности, разработчики выбирали между новым API и моделями Whisper вслепую. Независимый бенчмарк Inscribe закрывает этот пробел и показывает резкий скачок точности: новый API не просто лучше старого в разы, но и обходит крупнейшую модель Whisper на английском языке, работая заметно быстрее неё.

Кому это важно

В первую очередь, разработчикам приложений под iOS и macOS, которые используют распознавание речи или транскрибацию: диктофонам, заметкам, инструментам для совещаний. Также это касается компаний, которые выбирают между встроенным API Apple и открытыми моделями Whisper, и пользователей, которым важна приватность, оба движка Apple работают полностью на устройстве без отправки данных в облако.

Как это применить

Для английского языка на актуальном iPhone или Mac имеет смысл переходить с SFSpeechRecognizer на SpeechAnalyzer, по данным теста, выигрыш в точности почти без компромиссов. Для языков, которые SpeechTranscriber ещё не поддерживает (примерно 30 локалей против 100+ у Whisper), либо для платформ вне экосистемы Apple по-прежнему нужен Whisper. Сама Inscribe уже перестроила логику выбора движка по умолчанию именно так, Apple-API там, где он доступен, Whisper, везде остальном.

Можно ли доверять

Бенчмарк выпустила компания, которая продаёт один из сравниваемых движков (Whisper в составе своего продукта), поэтому конфликт интересов есть. Авторы сами это признают и подкрепляют результат двумя вещами: их цифры по Whisper почти совпали с официальными цифрами OpenAI на том же корпусе LibriSpeech (расхождение маленькое и системное, а не случайное), а также они выложили в открытый доступ сырые расшифровки и результаты по каждой отдельной фразе, чтобы любой мог перепроверить подсчёт независимо.

Риски и подводные камни

Результаты касаются только английского языка и чтения аудиокниг из LibriSpeech, про акцентную речь, шум реальных совещаний и несколько говорящих одновременно тест ничего не говорит, авторы прямо называют это следующим шагом. Замеры сделаны на одной машине (Apple M2 Pro), скорость на других чипах Apple Silicon может отличаться. Whisper тестировался в квантованной оффлайн-сборке WhisperKit CoreML, которая может слегка отличаться по точности от эталонной GPU-версии модели, а точную таблицу скорости авторы пока не публикуют из-за шума в замерах.

«Бенчмарку от компании, которая продаёт один из движков, по умолчанию стоит не доверять.»

— Inscribe, авторы бенчмарка