Wired объяснил, что такое мировые модели (world models) и почему их не избежать

Wired публикует объяснительный материал о мировых моделях (world models). В отличие от текстовых больших языковых моделей, они работают с визуальными данными и могут создавать цифровые среды, имитирующие физику. По словам автора, это программное обеспечение скоро проникнет в повседневную жизнь, причём люди необязательно будут взаимодействовать с ним напрямую. Автор считает, что 2027 год может стать важным для расширения домашней робототехники и беспилотных автомобилей, и те и другие опираются на успехи мировых моделей.
Оливер Кэмерон, глава Odyssey (ИИ-лаборатории, занимающейся мировыми моделями), объясняет разницу так: языковой модели дают предложение, и она предсказывает следующее слово; мировой модели дают визуальное состояние мира, то есть изображение, и она предсказывает следующее визуальное состояние. Такие трёхмерные генерации служат цифровыми полигонами: «это симуляции, но они выглядят и ощущаются как настоящие».
Начинает материал с истории Niantic, создателя Pokémon Go. В 2016 году сотни миллионов игроков сканировали окрестности, играя в мобильную игру. Niantic продала игру в прошлом году и ушла в мировые модели. Технический директор Niantic Spatial Брайан Макклендон говорит, что компания занимается реконструкцией реального мира и хочет использовать накопленные данные для построения его копий. По мнению автора, такие сканы однажды помогут роботам обходить препятствия и взаимодействовать с предметами. Макклендон описывает сценарий: сфотографировать место, где должен работать робот, построить трёхмерную модель и запустить «миллионы симуляций», чтобы обучить робота параметрам помещения.
Беспилотные автомобили тоже совершенствуются с помощью мировых моделей: без водителя за рулём критичны мгновенные реакции программы. Главный научный сотрудник Wayve Джейми Шоттон, чья компания делает мировые модели для автомобилей, подчёркивает: мировая модель должна реагировать на наши действия, то есть понимать физику, причинно-следственные связи и то, как другие объекты и люди меняют поведение в ответ. Генеративная мировая модель Wayve частично обучается на записях с видеорегистраторов; с её помощью стартап воссоздаёт опасные дороги и небезопасные условия, которые непрактично проверять в реальности.
Разработчики также изучают влияние мировых моделей на видеоигры: физика и трёхмерная графика там центральны, поэтому крупные игроки вроде Tencent вкладываются в собственные мировые модели. Крупные ИИ-компании, например Google, продолжат хвалиться улучшениями своих мировых моделей, а инвесторы вкладывают деньги в известных учёных, занявшихся этой темой. Ян Лекун, бывший главный научный сотрудник Meta по ИИ, недавно привлёк более миллиарда долларов на стартап Advanced Machines Intelligence. Стартап World Labs, запущенный в 2024 году Фэй-Фэй Ли, известным компьютерным учёным из Стэнфорда, в этом году купила AMD больше чем за $8 млрд.
Отдельный сюжет, труд за кадром. Чтобы симулировать физический мир, лабораториям нужны люди, которые его записывают. Автор рассказывает, что в этом году прикрепил iPhone ко лбу и несколько часов снимал у себя дома, как складывает бельё, моет посуду и наливает диетическую колу, а затем продал видео через приложение за довольно скромную сумму. По мнению автора, по мере появления новых компаний с мировыми моделями такой подработки с записью данных может стать ещё больше. Финал шутливый: автор представляет цифрового призрака робота-гуманоида, запертого в симуляции спальни и бесконечно складывающего его бельё.
Ключевые факты
- Мировые модели используют визуальные данные и создают цифровые среды, имитирующие физику, в отличие от текстовых языковых моделей.
- Применения по тексту Wired: обучение домашних роботов (Niantic Spatial), беспилотные автомобили (Wayve, где используют записи с видеорегистраторов) и видеоигры (Tencent вкладывается в свои модели).
- Деньги в отрасли: стартап Яна Лекуна Advanced Machines Intelligence недавно привлёк более миллиарда долларов, а World Labs Фэй-Фэй Ли в этом году купила AMD больше чем за $8 млрд.
- Автор считает, что 2027 год может стать важным для расширения домашних роботов и беспилотных автомобилей.
- Для обучения таких систем нужны люди, снимающие видео: автор сам продавал записи бытовых дел через приложение за скромную плату.
Почему это важно
Мировые модели названы в Wired одной из самых обсуждаемых тем Кремниевой долины в ИИ. Они не просто генерируют текст или картинки, а предсказывают, как изменится визуальное состояние мира, и потому лежат в основе обучения роботов и беспилотных автомобилей. Автор подчёркивает, что люди будут сталкиваться с результатами этой технологии, даже не взаимодействуя с моделями напрямую. Вокруг темы уже большие деньги: более миллиарда долларов у стартапа Лекуна и покупка World Labs компанией AMD больше чем за $8 млрд.
Кому это важно
Разработчикам и компаниям в робототехнике и беспилотном транспорте, у которых симуляция заменяет дорогие испытания в реальном мире. Игровой индустрии, где физика и трёхмерная графика центральны. Инвесторам, следящим за стартапами в этой области. Людям, которые подрабатывают записью видео для обучающих наборов: автор прямо говорит, что такой работы может стать больше.
Как это применить
Материал обзорный и готовых инструкций не содержит. Практический сценарий приведён один: по словам Макклендона, достаточно сфотографировать место, где будет работать робот, построить трёхмерную модель и прогнать «миллионы симуляций» для обучения. Wayve применяет схожий подход для опасных дорожных ситуаций, которые трудно проверять вживую.
Можно ли доверять
Это объяснительный материал Wired, а не отчёт об исследовании или новом релизе. Его основа: общие утверждения автора и цитаты руководителей Niantic Spatial, Odyssey и Wayve, то есть компаний, работающих именно с мировыми моделями. Прогноз про 2027 год, мнение автора, а не подкреплённая цифрами оценка. В тексте не указаны ни имя автора, ни дата публикации, ни сумма, полученная автором за проданное видео, ни название приложения.
Риски и подводные камни
Автор сам указывает на оборотную сторону: мировые модели уже меняют рынок труда за кулисами, а такие системы всё глубже поглощают данные о физической жизни людей, от сканов местности в игре до домашних видео. Оплата за запись данных, по описанию автора, довольно скромная. Прогнозы о скором распространении домашних роботов и беспилотных автомобилей в тексте не подкреплены цифрами продаж или внедрения.
«Если у языковой модели есть предложение, она предскажет следующее слово. Мировой модели вы даёте визуальное состояние мира, изображение, и она предскажет следующее визуальное состояние мира.»
— Оливер Кэмерон, глава Odyssey, ИИ-лаборатории, занимающейся мировыми моделями
Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.