Duo v1: авторы представили модель мира, которая слушает и отвечает одновременно

Авторы отчёта на Hugging Face Papers вводят понятие Reciprocal World Model (RWM, «взаимная модель мира») и представляют Duo v1, полнодуплексную (full-duplex) модель мира. Полнодуплексность здесь означает, что система не ждёт конца реплики пользователя: она непрерывно воспринимает аудио и видео и одновременно отвечает ему в реальном времени. Обе части системы постоянно принимают звук, видео и текст, поэтому возможны спонтанные разговоры и перебивания.
Идея RWM в том, что интеллект и физическая реальность одинаково фундаментальны для понятия «мир». По утверждению авторов, существующие модели мира в основном сосредоточены на симуляции физической реальности, а рассуждение и принятие решений остаются внешним управлением, а не внутренней частью самого мира. В RWM выделены две равнозначные способности: Intent («намерение»), когнитивная основа взаимодействия с миром, и Realization («воплощение»), генерация согласованного аудиовизуального поведения.
Для этого в Duo v1 предложены три технических решения. Первое: авторегрессионное моделирование используется для непрерывного рассуждения о взаимодействии и решений об участии в нём, а не только для понимания инструкций перед диффузионной моделью. Второе: для каждого фрагмента (chunk) строятся свои условия, а токены модулей Intent и Realization синхронизируются на единой временной шкале; специальные маски внимания для каждого модуля обеспечивают причинные зависимости внутри фрагментов и между ними и не дают доступа к будущим входным данным. Третье: сдвиг распределения в обоих модулях смягчается дистилляцией с двойным прогоном (dual rollout distillation), обучением на авторегрессионно сгенерированных токенах Intent и синтезированной аудиовизуальной истории из Realization.
Помимо разговора, как пишут авторы, пользователь может показывать системе реальные предметы, перестраивать виртуальные сцены, направлять ассистентов или играть в аудиовизуальные игры без мыши и клавиатуры. Duo v1 назван первым шагом; следующая версия, по словам авторов, появится «скоро». Метрик, сравнений с другими системами и сведений о размере модели в тексте нет.
Ключевые факты
- Представлена Reciprocal World Model (RWM) и Duo v1, полнодуплексная модель мира, которая непрерывно воспринимает аудио и видео и отвечает пользователю в реальном времени.
- RWM состоит из двух равнозначных способностей: Intent (когнитивная основа взаимодействия) и Realization (генерация согласованного аудиовизуального поведения).
- В Duo v1 три технических решения: авторегрессионное рассуждение о взаимодействии, синхронизация токенов на единой шкале с масками внимания, дистилляция с двойным прогоном против сдвига распределения.
- Заявленные сценарии: спонтанные разговоры с перебиваниями, показ реальных предметов, перестройка виртуальных сцен, аудиовизуальные игры без мыши и клавиатуры.
- Duo v1 назван первым шагом, следующая версия обещана «скоро»; результатов замеров в тексте нет.
Почему это важно
Работа предлагает расширить представление о модели мира: по мнению авторов, привычные модели мира симулируют в основном физическую реальность, а рассуждение и решения остаются внешним управлением. RWM включает интеллект в сам мир наравне с физикой. Для интерактивных систем, которые слушают, смотрят и отвечают одновременно, это возможный сдвиг в постановке задачи, но пока это заявка авторов, а не подтверждённый результат.
Кому это важно
Исследователям мультимодальных генеративных моделей, голосовых и видеоассистентов, интерактивных миров и игр, а также тем, кто следит за сочетанием авторегрессионных моделей и диффузии в одной системе. Для широкого пользователя пока рано: в тексте описаны возможности, а не готовый продукт.
Как это применить
Практических инструкций в источнике нет. Не сказано, опубликованы ли веса, код или демонстрация и где их искать. Разумный шаг, следить за выходом следующей версии, которую авторы обещают «скоро», и за подробным техническим описанием.
Можно ли доверять
Источник, краткое описание отчёта на Hugging Face Papers, написанное самими авторами; имена авторов и организации в тексте не названы. Все утверждения о возможностях (перебивания, игры, работа без мыши и клавиатуры) даны как описание системы, без бенчмарков, замеров задержки, сравнений с другими моделями мира или полнодуплексными системами и без пользовательских исследований. Оценивать качество по этому тексту нельзя.
Риски и подводные камни
Нет данных о размере модели, обучающих данных и задержке, поэтому неясно, насколько «реальное время» работает на практике. Нет сравнений с аналогами и независимой проверки. Срок выхода следующей версии не указан, кроме слова «скоро». Описание построено на новых терминах (RWM, Intent, Realization), и их содержание пока известно только из заявлений авторов.
«Выпуск Duo v1, наш первый шаг, следующая версия появится совсем скоро.»
— авторы отчёта, Hugging Face Papers