Беззвучную речь научились распознавать по ультразвуку языка

Исследователи Aleph Neuro (Vadims Casecnikovs, Gimran Abdullin, Raffi Hotter, Lev Chizhov) обучили модель распознавать речь по ультразвуковым видео языка человека, который говорит беззвучно, без единого произнесённого звука. На открытом словаре (без ограниченного набора команд) система достигает ошибки на уровне слов (WER) 15,6%. Для сравнения: лучшие системы распознавания речи по губам достигают WER 12,5%, но обучены на 1 млн часов видео, против 50 часов ультразвука у авторов, собранных и обученных за один месяц.

Идея, сделать разговор с компьютером приватным. Речь примерно в четыре раза быстрее набора текста, и по мере развития ИИ люди всё чаще общаются с компьютерами голосом (уже есть Wispr Flow, голосовой режим ChatGPT). Но обычная речь не приватна: рядом коллеги, соседи в кафе, попутчики в транспорте. Авторы проводят аналогию с наушниками, которые сделали приватным слушание, беззвучная речь может сделать приватным разговор. Среди способов распознавания беззвучной речи есть ЭМГ (электромиография), радар и чтение по губам, но ультразвук напрямую показывает форму языка, без шумных косвенных сигналов ЭМГ или радара, и в перспективе позволяет говорить незаметно для окружающих. Язык различает около 34 классов фонем из 40 английских, тогда как по губам различимо лишь 10, 14 форм.

Для сбора данных датчик ультразвука закрепляли под подбородком. Собрали 50 часов записей: люди читали вслух сгенерированные короткие истории, не беззвучно. Озвученная речь позволяла проверять качество через транскрипцию аудио и следить за корректной постановкой датчика в реальном времени. Наблюдение показало, что движения языка при беззвучной и озвученной речи похожи, поэтому озвученные данные пригодны и для обучения модели беззвучному распознаванию.

Архитектура собрана не с нуля: видео языка кодирует предобученная сеть ResNet-18 (2+1)D, а превращает эмбеддинги речи в текст декодер Whisper Base. Видео-энкодер обучали так, чтобы его эмбеддинги были максимально близки к аудио-эмбеддингам Whisper для того же произнесённого текста. На раннем этапе обучение было нестабильным, модель либо схлопывалась, либо слишком полагалась на языковые предсказания. Но примерно после 20 000 примеров начали появляться осмысленные фонетические ошибки, «a key stick» вместо «acoustic», «heart» вместо «hard», знак, что модель училась именно по сигналу языка, а не просто угадывала вероятные слова. Ошибка WER падала с 102% на 15 тысячах примеров до 15,6% на 50 тысячах и продолжала снижаться без признаков выхода на плато.

За несколько дней до публикации команда обнаружила, что модель обобщается на новых людей, при условии, что те говорят с американским акцентом; знакомые могли взять датчик и сразу начать пользоваться системой без дополнительного обучения под конкретного человека. С другими акцентами, включая восточноевропейский, результат заметно хуже. Авторы прямо называют работу ранним прототипом, а не потребительским продуктом. Два главных технических барьера, уменьшить размер и вес ультразвукового датчика и заменить гель для контакта с кожей на что-то практичнее, например гидрогель, чтобы в перспективе получился лёгкий носимый датчик или наклеиваемый патч.

Ключевые факты

Модель Aleph Neuro распознаёт слова по ультразвуковым видео языка человека, говорящего беззвучно; ошибка на уровне слов (WER), 15,6% на открытом словаре
Для сравнения: лучшая система распознавания по губам даёт WER 12,5%, но обучена на 1 млн часов видео, против 50 часов ультразвука у авторов
Обучающие данные, 50 часов записей, как люди читали вслух сгенерированные истории; беззвучная и озвученная речь дают похожие движения языка, поэтому озвученные записи годятся и для беззвучной модели
Архитектура: видео-энкодер ResNet-18 (2+1)D учат приближать свои эмбеддинги к аудио-эмбеддингам Whisper, чей декодер затем превращает их в текст; WER упал со 102% на 15 тыс. примеров до 15,6% на 50 тыс. и продолжает снижаться
Модель обобщается на новых людей «с порога», но пока только с американским акцентом, с другими, включая восточноевропейский, результат заметно хуже

Почему это важно

Речь примерно в четыре раза быстрее набора текста, и по мере роста возможностей ИИ голос всё чаще становится способом общения с компьютером, уже есть Wispr Flow и голосовой режим ChatGPT. Но обычная речь не приватна: рядом всегда кто-то есть. Технология беззвучной речи по аналогии с наушниками, сделавшими приватным слушание, может сделать приватным и разговор с ИИ. В отличие от ЭМГ и радара, которые дают шумные косвенные сигналы, ультразвук напрямую показывает форму языка и в перспективе позволяет говорить с компьютером совершенно незаметно для окружающих.

Кому это важно

Разработчикам голосовых интерфейсов и ИИ-ассистентов, которым нужен приватный ввод текста голосом; производителям носимых устройств и AR/умных очков, ищущим следующий способ взаимодействия помимо экрана и клавиатуры; пользователям, которым важно общаться с ИИ в открытых офисах, транспорте и других людных местах, не произнося слов вслух; исследователям речевых и нейроинтерфейсов.

Как это применить

Пока это исследовательский прототип, а не готовый продукт: авторы прямо говорят, что систему нельзя ставить на полку рядом с потребительской электроникой. О цене, лицензии или открытии кода в тексте ничего не сказано. Дорожная карта, уменьшить размер и вес ультразвукового датчика и заменить гель для контакта с кожей на более практичный материал, например гидрогель, чтобы в итоге получился лёгкий носимый датчик или наклеиваемый патч, а не оборудование, которое нужно держать под подбородком.

Можно ли доверять

Это пост в блоге самой компании Aleph Neuro, а не рецензируемая научная публикация, метрики и сравнения выбраны и посчитаны самими авторами на собственном внутреннем валидационном наборе. Сами авторы в сноске признают, что цифры по беззвучной речи «путаные», потому что задача сильно различается от статьи к статье: ближайший найденный ими аналог, распознавание по ультразвуку с обобщением на новых говорящих, даёт WER 83,8% на датасете TaL, тогда как их система показывает 15,6%, но это сравнение не строго методологически чистое из-за разницы в постановке задач.

Риски и подводные камни

Ошибка 15,6% всё ещё намного выше типичной точности обычного распознавания речи (единицы процентов), так что до практического использования далеко. Система пока надёжно работает только с американским акцентом, с восточноевропейским, по признанию самих авторов, результат заметно хуже. Оборудование пока громоздкое: датчик с гелем нужно физически держать под подбородком. Датасет всего 50 часов, что оставляет риск переобучения и ограниченного обобщения на реальное разнообразие голосов и языков. Есть и этическая сторона: технология, задуманная как средство приватности, сама по себе может стать инструментом скрытой записи речи без согласия человека.

«Как наушники сделали приватным слушание, беззвучная речь может сделать приватным разговор.»

— из блога Aleph Neuro