Game2Player: 568 веб-игр и обучение ИИ-агента играть по картинке

Игры хорошо подходят для проверки визуальных агентов: они требуют восприятия, долгосрочного планирования и точного управления. Но данных для обучения мало. Записывать игру людей дорого, а при обучении по видеозаписям приходится восстанавливать недостающие действия. Существующие наборы данных охватывают ограниченный круг игр и часто не содержат явных заданий и проверяемых результатов.
Чтобы закрыть этот пробел, авторы предлагают Game2Player, фреймворк, в котором игровые среды и игроки развиваются вместе. Цикл устроен так. Агент-«строитель» (Builder) берёт существующие веб-игры, адаптирует их, открывает их внутреннее состояние и задаёт задания с мерами прогресса по состоянию игры и проверками успеха. Затем Coding Player (игрок-программист) и VLM Player (игрок на основе визуально-языковой модели) пытаются выполнить эти задания и сообщают «строителю» о найденных проблемах, чтобы он их исправил. Так игра одновременно проверяет среду и собирает обучающие данные.
С помощью Game2Player авторы построили 568 проверенных веб-игр с 3436 заданиями и собрали 15,7 тыс. траекторий игры (307 часов). Ещё 50 игр отложили в отдельный бенчмарк PlayerBench.
Чтобы проверить, годится ли собранный опыт как обучающие данные, авторы обучили визуально-языковые агенты методом SFT (дообучение на примерах) с весами по прогрессу: шаги, продвигающие задание, получают больший вес. Результат: Game2Player-9B повышает прогресс с 14,3% до 31,2% на PlayerBench и с 30,0% до 53,1% на внешнем бенчмарке GameWorld (все значения, абсолютные проценты прогресса). Авторы осторожно заключают, что работа указывает путь, как визуальным агентам наращивать игровой опыт: строить, проверять и изучать уже существующие игровые миры.
Ключевые факты
- Game2Player, цикл, где агент-«строитель» адаптирует существующие веб-игры и задаёт задания, а игроки (Coding Player и VLM Player) проходят их и сообщают об ошибках для исправления.
- Построено 568 проверенных веб-игр с 3436 заданиями; собрано 15,7 тыс. траекторий (307 часов игры); 50 игр отложены как бенчмарк PlayerBench.
- Обучение, SFT с весами по прогрессу: больший вес получают шаги, продвигающие выполнение задания.
- Game2Player-9B: прогресс на PlayerBench вырос с 14,3% до 31,2%, на внешнем GameWorld, с 30,0% до 53,1% (абсолютные проценты).
- Авторы лишь предполагают, что так можно масштабировать игровой опыт визуальных агентов, а не доказывают это.
Почему это важно
Нехватка данных о том, как играть, узкое место для визуальных агентов. Человеческая запись дорога, видеозаписи не содержат самих действий, а готовые наборы покрывают мало игр и редко задают проверяемые цели. Game2Player пробует обойти это: игры строятся и проверяются самой системой, а игра одновременно служит и отладкой среды, и источником обучающих данных. Заявленный итог, рост прогресса Game2Player-9B на PlayerBench с 14,3% до 31,2% и на GameWorld с 30,0% до 53,1%.
Кому это важно
Исследователям визуально-языковых агентов и тем, кто строит среды и бенчмарки для обучения агентов: в работе описан способ получать задания с проверяемым результатом и мерами прогресса по состоянию игры. Тем, кто следит за подходами к масштабированию обучающих данных для агентов, работающих с экраном.
Как это применить
Из описания видна общая схема: взять готовые веб-игры, открыть их внутреннее состояние, задать задания с проверкой успеха, прогнать игроков, исправить найденные проблемы и обучить модель с большим весом на шагах, продвигающих задание. В тексте источника не упоминается выпуск кода, данных, моделей или бенчмарка, поэтому воспроизводимость по этому описанию оценить нельзя.
Можно ли доверять
Это препринт, представленный на Hugging Face; в имеющемся тексте имена авторов и организации не названы. Числа взяты из аннотации и не перепроверены независимо. В тексте нет сравнения с другими агентами, проприетарными моделями или людьми, не названа базовая модель Game2Player-9B и не уточнено, какой модели относятся исходные 14,3% и 30,0%. Не объяснено и то, как числом считается «прогресс», кроме указания на меры прогресса по состоянию игры. Сами авторы формулируют вывод осторожно: работа «указывает путь».
Риски и подводные камни
Исходные и итоговые значения, абсолютные проценты прогресса, а не относительный прирост; сравнивать их с другими работами без знания методики подсчёта нельзя. Не описаны вычислительные затраты, детали обучения и состав выборки для SFT, а число заданий в PlayerBench не указано. Часть результатов получена на отложенных играх самих авторов, и только GameWorld, внешний бенчмарк. Вывод о масштабировании остаётся предположением авторов.