Представлен GameVerse: датасет геймплея на 1655 часов для моделей мира

В статье, опубликованной в каталоге Hugging Face Papers, представлен GameVerse, датасет видео игрового процесса, рассчитанный на минутные масштабы и созданный специально для обучения интерактивных моделей мира (world models) с длинным горизонтом. Такие модели генерируют управляемые динамические среды по входным действиям.

Исходная проблема, по словам авторов: современные интерактивные модели мира с трудом сохраняют связность картинки дольше примерно минуты прогона. Причина, как утверждают авторы, не в мощности самих моделей, а в нехватке обучающих данных для длинных горизонтов. Существующие датасеты геймплея обычно состоят из клипов короче десяти секунд, а подписи к ним описывают клип целиком грубым, недифференцированным текстом, для управляемой генерации на длинных отрезках этого недостаточно.

Масштаб GameVerse: 69,7 тыс. клипов, 1655 часов видео и 349,6 млн кадров. Материал охватывает разнообразный геймплей от первого и от третьего лица. В общий объём входят 1358 часов непрерывных двухминутных последовательностей, по утверждению авторов, на порядок длиннее клипов в прежних датасетах.

Клипы проходят единый конвейер обработки: сегментация с сохранением единства сцены, фильтрация по качеству, оценка положения камеры и разметка подписей по событиям. К каждому клипу прилагается временно устойчивая траектория камеры, остающаяся согласованной на протяжении минут. Подписи разделяют статический контекст сцены и динамические события на переднем плане и привязаны к границам событий, а не к фиксированным временным окнам.

Итог, по заявлению авторов: анализ показывает, что GameVerse превосходит существующие публичные датасеты по масштабу, разнообразию и качеству разметки, а эксперименты демонстрируют, что обучение на нём существенно увеличивает временной горизонт интерактивных моделей мира.

Ключевые факты

GameVerse: 69,7 тыс. клипов геймплея, 1655 часов и 349,6 млн кадров, игровой процесс от первого и от третьего лица.
1358 часов, непрерывные двухминутные последовательности; по словам авторов, на порядок длиннее клипов прежних датасетов (обычно короче десяти секунд).
К каждому клипу даны устойчивая на протяжении минут траектория камеры и подписи по событиям, отделяющие статичную сцену от динамики переднего плана.
Авторы считают узким местом моделей мира не их мощность, а нехватку длинных обучающих данных: сейчас связность держится лишь около минуты.
Авторы заявляют, что обучение на GameVerse существенно удлиняет временной горизонт интерактивных моделей мира.

Почему это важно

Интерактивные модели мира генерируют окружение по действиям пользователя, но, как пишут авторы, теряют связность после примерно минуты прогона. Если причина действительно в нехватке длинных данных, а не в мощности моделей, то именно такие датасеты определяют, насколько долгими станут генерируемые миры. GameVerse задуман как ответ на этот дефицит: двухминутные непрерывные отрезки на порядок длиннее клипов прежних наборов.

Кому это важно

Исследователям моделей мира и генерации видео по действиям, а также тем, кто строит обучающие конвейеры для управляемой видеогенерации: интерес представляют и сами объёмы данных, и схема разметки, траектории камеры и подписи, привязанные к границам событий.

Как это применить

Практическую пользу пока можно извлечь в основном как идею. Подход к разметке, сегментация с сохранением единства сцены, фильтрация по качеству, оценка положения камеры, подписи по событиям с разделением статичного контекста и динамики, можно взять за образец для собственных длинных видеоданных. Сведений о доступности самого датасета, лицензии или ссылке на скачивание в источнике нет.

Можно ли доверять

Все утверждения, самооценка авторов статьи по её аннотации: превосходство над публичными датасетами и заметное удлинение горизонта моделей. Численных результатов экспериментов (новой длины горизонта, метрик, названий моделей) в источнике не приведено, поэтому масштаб эффекта проверить нельзя. Не названы авторы и организации, игры и источники записей, а также датасеты, с которыми идёт сравнение.

Риски и подводные камни

Заявленное улучшение не подкреплено в тексте конкретными цифрами. Не указано, откуда взяты записи геймплея и на каких условиях они доступны, а также как устроены оставшиеся примерно 297 часов, не входящие в двухминутные последовательности. Тезис о том, что проблема именно в данных, а не в архитектуре, остаётся утверждением авторов.

«Современные модели с трудом сохраняют связность дольше примерно минуты прогона, это ограничение связано не с мощностью модели, а с нехваткой обучающих данных для длинных горизонтов.»

— из аннотации статьи о GameVerse