Block показала Dessa: голосовую нейросеть, обученную только на речи
Небольшая лаборатория по исследованию ИИ компании Block представила Dessa, речевую модель «речь в речь» для полнодуплексного разговора. Полный дуплекс означает, что модель слушает и говорит одновременно: она может поддакивать собеседнику (backchannel, короткие реплики-подтверждения) и вклиниваться в разговор в естественные моменты. Руководит проектом Рагаван Турайратнам (Ragavan Thurairatnam).
Главное заявление разработчиков: Dessa обучена с нуля только на человеческой речи, без текста и без предобученных моделей. По их словам, модель слышит и воспроизводит эмоции, смех, сарказм и паузы, то, что, как они утверждают, теряется в голосовом ИИ, построенном на тексте. Команда также говорит, что выучила язык на словах, которых в сотни раз меньше, чем у больших языковых моделей; точная цифра не приводится.
Технические детали, которые называют авторы: для обучения использовалась одна система NVIDIA GB200 NVL72; вывод (инференс) работает быстрее реального времени и, как сказано, запускается локально на MacBook Pro M4 Max или мощнее.
Команда считает, что голосовой ИИ, не слышащий эмоций, проблема безопасности. Поэтому ранний доступ предлагают небольшой группе исследователей безопасности ИИ: заявку можно оставить через форму на странице. В демонстрационном разговоре появляется сторонняя модель GPT-Live-1; Block уточняет, что не связана с её разработчиком.
Бенчмарков, цифр по задержке и количественных сравнений с другими речевыми моделями в доступном тексте нет. Не указаны дата выпуска, лицензия, доступность весов и цены. Не объясняется и то, как измеряется «подлинность» (authentic), вынесенная в название страницы. Все свойства модели, заявления самих разработчиков.
Ключевые факты
- Dessa, речевая модель «речь в речь» полного дуплекса от небольшой ИИ-лаборатории Block; проект возглавляет Рагаван Турайратнам.
- По заявлению разработчиков, обучена с нуля только на человеческой речи, без текста и предобученных моделей; языку учили на словах в сотни раз меньшем числе, чем у больших языковых моделей.
- Обучение шло на одной системе NVIDIA GB200 NVL72; инференс, как сказано, быстрее реального времени и локально работает на MacBook Pro M4 Max или мощнее.
- Модель слушает и говорит одновременно, умеет поддакивать и вклиниваться в разговор; разработчики говорят, что она слышит и воспроизводит эмоции, смех, сарказм и паузы.
- Ранний доступ предлагают небольшой группе исследователей безопасности ИИ через форму; бенчмарков, лицензии и цен в доступном тексте нет.
Почему это важно
Большинство голосовых ассистентов, как утверждают авторы Dessa, опираются на текст и теряют интонации: эмоции, смех, сарказм, паузы. Dessa заявлена как попытка обойтись вообще без текста и без предобученных моделей, обучить разговорную модель с нуля только на человеческой речи. Если заявление подтвердится, это любопытный аргумент о том, сколько данных нужно для освоения языка: по словам команды, слов потребовалось в сотни раз меньше, чем большим языковым моделям.
Кому это важно
Исследователям речевых и разговорных моделей, как пример подхода «только речь» и полнодуплексного диалога. Исследователям безопасности ИИ, именно им предлагают ранний доступ; команда считает, что голосовой ИИ, не слышащий эмоций, проблема безопасности. Разработчикам голосовых интерфейсов, как ориентир того, что заявляется о локальном запуске на ноутбуке уровня MacBook Pro M4 Max.
Как это применить
Практически пока только оставить заявку на ранний доступ через форму на странице проекта: он рассчитан на небольшую группу исследователей безопасности ИИ. Дата общего выпуска, лицензия, доступность весов и цены в доступном тексте не указаны, поэтому планировать использование в продуктах рано. Заявленные требования к локальному запуску, MacBook Pro M4 Max или лучше.
Можно ли доверять
Все свойства модели, заявления самих разработчиков («по их словам», «они утверждают»). Независимых проверок, бенчмарков, цифр по задержке и сравнений с другими речевыми моделями нет. Не объяснено, как измеряется «подлинность» из названия. Первоисточник доступен лишь в кратком изложении, прямых цитат и формулировок самой страницы увидеть не удалось, так что детали могут отличаться. Относиться как к анонсу, а не к проверенному результату.
Риски и подводные камни
Заявления про «сотни раз меньше слов», скорость быстрее реального времени и локальный запуск не подкреплены цифрами, точное число слов или часов речи не названо. Неясно, как модель проявит себя вне демонстрации. Доступ ограничен узкой группой, поэтому воспроизвести результаты большинству читателей не получится. В демонстрационном разговоре присутствует сторонняя модель GPT-Live-1; Block говорит, что не связана с её разработчиком, так что сравнивать эти системы по демо не стоит.