Google запустила Genie 4: интерактивные миры со звуком в реальном времени

Google запустила Genie 4: интерактивные миры со звуком в реальном времени

Google выкатила новую версию Project Genie, экспериментального исследовательского прототипа, который появился раньше в этом году и позволяет генерировать интерактивные миры и исследовать их прямо в браузере. По словам Google, ранние тестеры просили больше контроля над происходящим внутри миров и более простые способы их создавать и делиться ими. Обновление доступно подписчикам Google AI Ultra, подходящим под условия доступа, начиная с дня публикации. Подписчики Google AI Pro могут записаться в список ожидания на той же странице.

Главная новинка, Genie 4. Google называет её своей самой реалистичной и интерактивной моделью мира на сегодня. Во время сессии можно вводить новый запрос и менять окружение в реальном времени: сменить погоду, добавить персонажа, перенаправить действие. Кроме того, Genie 4 впервые сочетает картинку с родным звуком в реальном времени, который подстраивается под развитие сцены: от фоновых звуков окружения до реплик персонажей. По описанию Google, Genie 4 даёт самое качественное изображение, физику и звук.

Genie 3 остаётся в Project Genie и выбирается в переключателе моделей, если нужны более долгие прогоны или миры, заданные панорамой. Её тоже обновили. Время исследования одной генерации выросло с 60 секунд до 3 минут, а несколько миров можно связывать в цепочку для более длинных путешествий. Новые миры можно запускать из 360-градусных панорамных изображений. А окружение можно менять на ходу запросами на естественном языке (события в мире в реальном времени).

Появился и агент Project Genie. Он выходит за рамки одного текстового или графического запроса: пользователь описывает замысел обычным языком, а агент задействует набор мультимодальных моделей Google и создаёт стартовую картинку с узнаваемым стилем мира и фоновую музыку под настроение. В сессию можно подключить и модели Gemini: они следят за происходящим на экране, предлагают подсказки, куда двигаться дальше, или сами запускают события в мире.

Третья часть обновления, галерея. В ней собраны отобранные миры и работы сообщества. Примеры: «Living Memory» превращает личные фотографии в исследуемые пространства, «Dino Field Guide» ведёт по доисторическим средам на основе 360-градусных панорам, а в «Rock Paper Scissors» предметы на столе соревнуются друг с другом, и Gemini работает судьёй в реальном времени. Есть и совместные работы с авторами, получившими ранний доступ: с креативным технологом Will aka BLVCKL!GHT создан «Villa Giallo», атмосферный детектив по комнатам готического особняка, а с режиссёром Anand Gandhi, «The Life of Ants», где нужно ориентироваться в сложной колонии глазами муравья; здесь, по словам Google, использована фотореалистичность Genie 4. Миры галереи можно ремиксовать вместе с агентом, меняя структуру мира, саундтрек или правила, а готовые работы публиковать для других.

По части ответственности Google сообщает, что всё видео и аудио в Project Genie получает водяной знак SynthID, а все входы и выходы моделей проходят проверки безопасности. Genie 3 и Genie 4 остаются моделями мира на переднем крае исследований. Google работает над задержкой камеры, сложными физическими взаимодействиями, точностью звука в реальном времени и долгой устойчивостью сцены. Подробнее об ограничениях модели компания предлагает прочитать в обзоре исследования Genie 4.

Ключевые факты

  • Genie 4, «самая реалистичная и интерактивная модель мира» Google на сегодня: в ходе сессии мир можно менять новым запросом (погода, персонажи, действие).
  • Genie 4 впервые сочетает картинку с родным звуком в реальном времени: фоновые звуки и реплики персонажей подстраиваются под сцену.
  • Genie 3 обновлена: до 3 минут на генерацию (раньше 60 секунд), цепочки миров, запуск из 360-градусных панорам, события в мире по текстовым запросам.
  • Появились агент Project Genie (стартовая картинка и музыка по описанию, подключение Gemini) и галерея с возможностью ремикса и публикации миров.
  • Доступ получают подходящие подписчики Google AI Ultra; подписчики Google AI Pro могут встать в список ожидания. Всё видео и аудио помечается SynthID.

Почему это важно

Модели мира генерируют не ролик, а пространство, по которому можно перемещаться и которое реагирует на действия. В этом релизе Google объединяет сразу несколько шагов: правку мира запросом прямо во время сессии, родной звук в реальном времени, агента для сборки мира из описания и галерею для обмена работами. Для Genie 3 время одной генерации выросло с 60 секунд до 3 минут. Сведений о том, насколько долгими могут быть сессии в Genie 4, в тексте нет.

Кому это важно

Тем, кто следит за моделями мира и интерактивной генерацией, а также авторам игр, интерактивных историй и экспериментальных проектов: Google показывает работы вроде детектива «Villa Giallo» и «The Life of Ants». Практически сейчас это касается подписчиков Google AI Ultra, остальные могут лишь встать в список ожидания.

Как это применить

Подходящие подписчики Google AI Ultra могут открыть Project Genie в браузере и выбрать модель: Genie 4 для самой качественной картинки, физики и звука, Genie 3 для более долгих прогонов или миров из панорам. Миры можно строить по описанию с помощью агента, ремиксовать из галереи и публиковать. Цены Google AI Ultra и Google AI Pro, а также страны и регионы доступа в тексте не названы; понятие «подходящие» подписчики не раскрыто.

Можно ли доверять

Источник, официальный блог Google, то есть рассказ самой компании о своём продукте. Формулировки вроде «самая реалистичная и интерактивная», оценка Google. В тексте нет тестов, сравнений Genie 4 с Genie 3 и технических характеристик (размер модели, разрешение, частота кадров, задержка). Независимых отзывов пользователей в нём тоже нет.

Риски и подводные камни

Сама Google признаёт нерешённые проблемы: задержка камеры, сложные физические взаимодействия, точность звука в реальном времени и долгая устойчивость сцены. Доступ пока ограничен тарифом Ultra и списком ожидания. Безопасность Google описывает так: на всём видео и аудио стоит водяной знак SynthID, входы и выходы моделей проходят проверки безопасности; подробности этих проверок в тексте не раскрыты.

«С Genie 4, нашей самой реалистичной и интерактивной моделью мира на сегодня, вы теперь можете прямо во время сессии вводить запрос и менять созданный вами мир.»

— Google, блог о релизе Genie 4