LingBot-World 2.0: бесконечные виртуальные миры с гибким взаимодействием
Команда во главе с Зелинь Гао опубликовала работу о LingBot-World 2.0 (также известной как LingBot-World-Infinity), новой версии модели-«мирогенератора» LingBot-World, которая создаёт интерактивные видеомиры и реагирует на действия пользователя. Заявлены четыре ключевых улучшения по сравнению с предыдущей версией.
Во-первых, модель научили работать без ограничения по длительности взаимодействия: качество генерируемого видео не деградирует со временем благодаря специальной каузальной схеме предобучения (модель обучена предсказывать только на основе прошлых кадров, без заглядывания вперёд).
Во-вторых, авторы дистиллировали из базовой модели облегчённую версию для работы в реальном времени, она способна воспроизводить видеопоток в разрешении 720p с частотой 60 кадров в секунду, то есть с задержкой, достаточной для живого взаимодействия.
В-третьих, расширен набор доступных действий персонажа: помимо базовых движений добавлены атака, стрельба из лука, применение заклинаний и стрельба из огнестрельного оружия, а также более широкий набор событий, запускаемых текстовыми командами.
В-четвёртых, в модель встроили агентный каркас (agentic harness): агент-«пилот» планирует и исполняет поведение персонажа, а отдельный агент-«режиссёр» отвечает за появление новых элементов окружения по мере развития сцены, то есть за сценарий и режиссуру происходящего в мире. Дополнительно авторы сделали интерфейс, позволяющий нескольким игрокам одновременно находиться в одном и том же сгенерированном мире.
Модель выпущена в двух размерах: основная версия на 14 миллиардов параметров и облегчённая версия на 1,3 миллиарда параметров, которую можно развернуть на одной видеокарте.
Ключевые факты
- LingBot-World 2.0 (LingBot-World-Infinity), обновление модели, генерирующей интерактивные видеомиры
- Заявлена неограниченная по времени работа без потери качества за счёт каузального предобучения
- Облегчённая дистиллированная версия работает в реальном времени: 720p при 60 кадрах в секунду
- Добавлены новые действия персонажа (атака, стрельба из лука, заклинания, огнестрельное оружие) и текстовые события
- Встроен агентный каркас из двух агентов, «пилота» (поведение персонажа) и «режиссёра» (генерация окружения); поддержан многопользовательский режим; модель выпущена в версиях на 14B и 1,3B параметров
Почему это важно
Работа, часть быстро растущего направления нейросетевых «мирогенераторов» (world models), которые пытаются заменить традиционные игровые движки генеративным видео, реагирующим на действия пользователя в реальном времени. Ключевая проблема таких систем, деградация качества при длительном взаимодействии; авторы заявляют, что решили её через каузальное предобучение, а также впервые добавили агентное управление сюжетом и окружением поверх генеративного видео.
Кому это важно
Разработчикам генеративных игр и интерактивных симуляций, исследователям в области видеогенерации и мировых моделей, а также командам, работающим над агентными системами, здесь агенты не просто отвечают на текст, а управляют персонажем и режиссируют сцену в реальном времени.
Как это применить
Модель доступна в двух вариантах: тяжёлая версия на 14 миллиардов параметров и облегчённая на 1,3 миллиарда, рассчитанная на развёртывание на одной видеокарте, это снижает порог для экспериментов с локальным запуском. Дистиллированная версия для реального времени (720p, 60 кадров в секунду) пригодна для прототипирования живых интерактивных демо; идею разделения на агента-«пилота» и агента-«режиссёра» можно рассматривать как паттерн для собственных интерактивных генеративных систем.
Можно ли доверять
Материал, препринт на площадке huggingface papers (22 балла, 1 комментарий на момент публикации), заявления об «отсутствии деградации качества», задержке в реальном времени и работе агентного каркаса приведены со слов авторов; независимой проверки или сравнительных тестов с другими мирогенераторами в исходном тексте нет, поэтому цифры и характеристики стоит воспринимать как заявленные разработчиками, а не подтверждённые третьей стороной.
Риски и подводные камни
Заявление о «неограниченном» горизонте взаимодействия без потери качества требует независимой проверки на длинных сессиях, в подобных системах деградация часто проявляется только после многих минут работы. Разделение на «пилота» и «режиссёра» добавляет сложности: рассинхронизация между агентами может проявляться как нелогичные события в мире. Облегчённая версия на 1,3 миллиарда параметров ради скорости почти наверняка жертвует частью качества по сравнению с основной 14-миллиардной моделью, а генерация видео такого масштаба требует значительных вычислительных ресурсов даже для дистиллированного варианта.