Google DeepMind представила Genie 4: мировая модель со звуком и диалогами в реальном времени

Google DeepMind объявила о Genie 4, новой мировой модели (world model), которая симулирует интерактивный мир в реальном времени. По словам компании, она «открывает беспрецедентный реализм» и является нативно мультимодальной: музыка, фоновые шумы и интерактивные диалоги генерируются одновременно с самим миром. Genie 4 названа первой мировой моделью компании реального времени, которая генерирует звук нативно.

Модель опирается на возможности семейства Gemini: Gemini Omni привязывает симуляции к реальному облику и поведению объектов, а другие модели Gemini обеспечивают рассуждения, нужные для связности и непрерывности симуляции. Идея в том, что можно запустить событие, а Genie 4 покажет, что будет дальше: как мир отреагирует, как это прозвучит и как люди в нём будут двигаться, реагировать и говорить.

DeepMind выделяет четыре ключевые возможности. Первая, управление миром на лету: пользователь перемещается и управляет камерой стандартными клавишами клавиатуры, а текстовыми подсказками на естественном языке меняет погоду, двигает камеру, добавляет нового человека или предмет; Gemini подстраивает запрос под окружающую сцену и между вводами сам следит за сценой, чтобы мир развивался связно. Вторая, реализм физики и действий людей: Genie 4 симулирует аэродинамику, столкновения и другие физические сценарии, а «самым заметным скачком» названа симуляция людей, персонажи двигаются естественно, органично реагируют на окружение и управляются в реальном времени. Третья, звук: у каждого мира свой фоновый звук (от ветра в деревьях до прибоя), а «настоящий рубеж», человеческая речь: персонажи ведут диалог, реагируя на действия пользователя и события, и всё это адаптируется на ходу. Четвёртая, сложные многошаговые события с моделями Gemini: Gemini 3.8 Flash работает «направляющим агентом в цикле», постоянно наблюдает сцену, разбивает цели на шаги, проверяет входящие кадры и убеждается, что каждый шаг выполнен, а при изменении мира или вмешательстве пользователя перестраивает план.

Отдельно упомянут эксперимент с Gemini 4 Argon и Genie 4 в связке с Gemini Robotics: Argon разбивает поставленную пользователем задачу на шаги, которые подаются в Genie в виде текстовых подписей по ходу рендеринга. Это, как говорится, открывает путь к симуляции множества сценариев в воображаемых мирах. Результаты и показатели успеха не приводятся.

Сейчас Genie 4 разворачивается как исследовательский предпросмотр для доверенных тестировщиков из творческих индустрий, журналистики, образования, игр и инженерии. Они, по описанию DeepMind, пробуют её как быстрый «черновой режим» для предвизуализации (кинематографисты могут входить в живую симуляцию сцены и прогонять несколько «дублей», меняя ракурсы, свет, диалоги и действие); фотожурналисты изучают, как один архивный 2D-снимок может за секунды стать симуляцией места; разработчики игр идут от идеи к исследуемому прототипу за секунды, прежде чем написана «хоть одна строка кода движка»; корпоративные партнёры оценивают модель для быстрой генерации сценариев «с нуля» и выявляют, что нужно улучшить.

Дальше планируется выпуск для потребителей и разработчиков, начиная с подписчиков Google AI Ultra в Project Genie и партнёров раннего доступа Gemini API и Google AI Studio; в Project Genie открыт лист ожидания. Дата и условия не названы, только «скоро».

О безопасности: Genie 4 прошла внутренние оценки безопасности, чтобы не допустить вредного контента, и снабжена ограничителями, согласованными с политиками компании для других моделей. Всё видео и аудио, созданное Genie 4, будет содержать водяной знак SynthID. Ограничения DeepMind признаёт прямо: модель остаётся ранней и экспериментальной; связные окружения она держит на коротких сессиях, а детали и постоянство объектов могут «плыть» со временем, особенно при долгой работе симуляции, после нескольких сложных правок запроса и при перемещении по сцене. Сложные физические взаимодействия, точность звука в реальном времени, чёткий текст, пространственная точность и долгосрочная согласованность названы областями текущих исследований. Среди будущих направлений, гибридные мировые модели, сочетающие структурные рассуждения кода и языковых моделей с пиксельной симуляцией.

Ключевые факты

Genie 4, новая мировая модель Google DeepMind: интерактивный мир в реальном времени, управляется клавиатурой и текстовыми подсказками, нативно генерирует звук и диалоги персонажей.
Модель опирается на семейство Gemini: Gemini Omni задаёт реальный облик и поведение, Gemini 3.8 Flash выступает направляющим агентом, разбивая цели на шаги и проверяя кадры; с Gemini 4 Argon проводятся эксперименты для робототехники.
Доступ пока ограничен: исследовательский предпросмотр для доверенных тестировщиков; скоро, для подписчиков Google AI Ultra в Project Genie и партнёров раннего доступа Gemini API и Google AI Studio.
Тестировщики из кино, журналистики, образования, игр и инженерии пробуют модель для предвизуализации, прототипов игр и сценарного моделирования.
Ограничения: связность держится на коротких сессиях, детали и постоянство объектов могут «плыть»; всё видео и аудио получит водяной знак SynthID.

Почему это важно

Мировые модели, симуляторы, которые строят окружение и предсказывают, как оно реагирует на действия. Genie 4 добавляет к интерактивной симуляции в реальном времени нативный звук, включая речь персонажей, и связку с моделями Gemini, которые следят за целями и шагами. DeepMind подчёркивает, что понимание и симуляция мира, важная часть пути к AGI, а Genie 4 может помочь с обучающими средами для роботов и агентов и с новыми интерактивными форматами. Это пока заявление компании о направлении, а не подтверждённый результат.

Кому это важно

Прежде всего исследователям ИИ-агентов и робототехники (среды для проверки поведения систем до выхода в реальный мир), а также тем, кто работает с визуальным контентом. По описанию DeepMind, тестируют модель кинематографисты и креативные команды (предвизуализация), фотожурналисты (симуляция по архивному снимку), разработчики игр (быстрые прототипы) и корпоративные партнёры (генерация сценариев). Пользователям Google AI Ultra и партнёрам раннего доступа Gemini API и Google AI Studio стоит следить за анонсами выпуска.

Как это применить

Свободно воспользоваться Genie 4 пока нельзя: модель выдана как исследовательский предпросмотр доверенным тестировщикам. В Project Genie можно записаться в лист ожидания. Следующий этап, доступ для подписчиков Google AI Ultra в Project Genie и для партнёров раннего доступа в Gemini API и Google AI Studio; точных сроков («скоро»), цен и региональных условий в материале нет. Заранее стоит учесть, что результаты будут помечены водяным знаком SynthID, а сессии рассчитаны на короткие сценарии.

Можно ли доверять

Источник, официальный блог самой Google DeepMind, то есть описание продукта его создателями. Заявления о реализме и «беспрецедентности», самооценка. В материале нет бенчмарков, количественных оценок, данных о разрешении, задержке и длине сессий, нет сравнения с предыдущими версиями Genie и с другими мировыми моделями. Пример с Gemini 4 Argon описан только словами, без результатов. Положительно, что авторы прямо перечисляют ограничения модели и называют её ранней и экспериментальной.

Риски и подводные камни

Сама DeepMind признаёт, что детали и постоянство объектов могут дрейфовать при длинных сессиях, после нескольких сложных правок запроса и при перемещении по сцене; слабыми местами названы сложные физические взаимодействия, точность звука в реальном времени, чёткий текст, пространственная точность и долгосрочная согласованность. Сценарии тестировщиков, пока исследование, а не доставленный результат. Реалистичные видео и голоса поднимают вопрос о синтетическом контенте: компания заявляет о внутренних оценках безопасности, ограничителях и водяном знаке SynthID, но их эффективность в материале не показана. Сроки и условия широкого доступа не определены.

«Хотя Genie 4, важная веха в исследованиях, это по-прежнему ранняя, экспериментальная модель.»

— Google DeepMind, блог о запуске Genie 4