Hugging Face добавила в Open ASR Leaderboard египетский и нигерийский английский

Команда Open ASR Leaderboard в Hugging Face объявила о новом сотрудничестве с Liva AI. Благодаря ему в рейтинг систем распознавания речи (ASR) добавляются ещё и закрытые данные с двумя новыми акцентами английского языка: египетским и нигерийским.
Предыстория такая. Несколько месяцев назад в рейтинг уже добавили закрытые данные: 11 наборов (splits) от компаний Appen и DataOceanAI, охватывающих постановочную (по сценарию) и разговорную речь с пятью акцентами. Авторы пишут, что отклик сообщества был отличным, а многие подчёркивали важность отложенных наборов (held-out sets) для надёжной оценки. Позже добавили ещё один закрытый набор для английского с индийским акцентом, его подготовили вместе с Voice Arena.
Новая партнёрская работа, по словам авторов, продолжает усилия по двум направлениям: улучшить представленность в оценках ASR (больше акцентов и больше языков) и повысить доверие к результатам (новые закрытые данные, чтобы свести к минимуму подгонку моделей под бенчмарки, так называемый benchmaxxing, а также новые поставщики данных).
С новыми акцентами рейтинг получает возможность показывать более подробную разбивку по акцентам на основе «трёх кругов» Качру (Kachru's Three Circles), модели распространения английского языка в мире. Идею авторы приписывают Hume AI и благодарят их за неё в их собственном рейтинге. Открытый рейтинг теперь будет сообщать результаты по этой разбивке. Сам список групп в доступном тексте обрывается, поэтому состав кругов здесь не приводится. Авторы также заявляют намерение: по мере появления новых акцентов они разделят Внешний и Расширяющийся круги (Outer и Expanding Circles).
Отдельно в заметке описана компания Liva AI. Она собирает данные о мультимодальном взаимодействии через потребительские продукты, которыми пользуются реальные люди. Поскольку Liva владеет и средой сбора, и распространением, она может проектировать продукты под конкретные слабые места моделей в разных областях, отраслях, языках, модальностях и типах взаимодействия. Это даёт доступ к естественному поведению, которое возникает при реальном использовании продукта, а не к искусственно вызванным или заданным по заданию сценариям.
Ключевые факты
- Open ASR Leaderboard от Hugging Face получает закрытые данные от Liva AI с двумя новыми акцентами английского: египетским и нигерийским.
- Ранее в рейтинг добавили 11 закрытых наборов от Appen и DataOceanAI (пять акцентов, постановочная и разговорная речь) и один набор для индийского английского вместе с Voice Arena.
- Рейтинг будет показывать разбивку по акцентам на основе «трёх кругов» Качру; идею авторы заимствовали у Hume AI.
- Цель, по заявлению авторов: больше акцентов и языков в оценке, а закрытые данные должны снизить подгонку под бенчмарки (benchmaxxing).
- Авторы намерены по мере добавления акцентов разделить Внешний и Расширяющийся круги.
Почему это важно
Публичные рейтинги распознавания речи сильны ровно настолько, насколько репрезентативны и непредсказуемы их тестовые данные. Закрытые наборы затрудняют подгонку моделей под бенчмарк, а новые акценты показывают, как системы справляются с английским, на котором говорят не только носители из привычных стран. Египетский и нигерийский английский расширяют этот охват. Изменение инкрементальное: это дополнение существующего рейтинга, а не новый бенчмарк.
Кому это важно
Разработчикам и исследователям систем распознавания речи, которые сравнивают модели по рейтингу. Командам, чьи продукты рассчитаны на пользователей из Египта, Нигерии и других регионов с разными акцентами английского. Тем, кто следит за тем, как строятся честные оценки без утечки тестовых данных в обучение.
Как это применить
Смотрите на разбивку по акцентам в Open ASR Leaderboard, когда выбираете модель распознавания речи для аудитории с конкретным акцентом. Сколько данных в новых наборах и какие результаты показывают модели, в заметке не сказано, поэтому конкретные цифры придётся искать в самом рейтинге.
Можно ли доверять
Источник, собственный блог команды Open ASR Leaderboard в Hugging Face, то есть заявления организаторов рейтинга о своих же улучшениях. В заметке нет объёма новых данных, результатов моделей и условий сотрудничества с Liva AI, а перечень разбивки по кругам в доступном тексте обрывается. Описание Liva AI и её преимуществ, это формулировка самих авторов заметки.
Риски и подводные камни
Данные закрытые, поэтому независимо проверить качество и состав наборов нельзя; доверие держится на репутации организаторов. Пока акцентов мало, группы внутри разбивки по трём кругам будут грубыми: сами авторы признают, что Внешний и Расширяющийся круги разделят только по мере добавления новых акцентов. Одна и та же страна не обязательно даёт один акцент, а числа и результаты по новым наборам в заметке не приведены.