GTAGym: представлена среда для оценки ИИ-агентов в GTA V, лучший результат 70,9%

GTAGym: представлена среда для оценки ИИ-агентов в GTA V, лучший результат 70,9%

В статье представлена GTAGym, среда и фреймворк для оценки агентов и обучения с подкреплением (RL) на задачах из GTA V. Исходная проблема, по словам авторов, в том, что AAA-игры, богатый полигон для проверки восприятия, рассуждения и управления агентов, но понять, выполнил ли агент задачу, трудно: результат сложно проверить автоматически, поэтому оценка часто делается людьми, а об использовании для RL и говорить нечего.

Оценочный бенчмарк GTAGym называется GTAVBench и построен на основе сюжетных миссий GTA V. Он содержит 103 онлайн-задачи, воссозданные в девяти семействах задач, и ещё 47 задач на стрельбу и снайперскую стрельбу по картинкам с изображениями из GTA V. К онлайн-среде и интерфейсу оценки можно обратиться через веб-сервер: он поддерживает параллельное тестирование, агент получает скриншоты и отправляет действия клавиатурой и мышью, а исход задачи проверяется автоматически по состоянию игрового движка.

Авторы оценили шесть передовых языковых моделей (какие именно, в источнике не названо) в двух режимах: на GTAVBench с текстовыми инструкциями и на ветке GTAVBench-AGI. В ней инструкция показана только на первом скриншоте, а специальная обвязка автоматически сжимает историю взаимодействия. Лучшая конфигурация набрала 70,9% общей точности в GTAVBench-AGI. При этом воздушная навигация, уклонение и перехват остаются для моделей трудными.

Отдельно GTAGym включает масштабируемый генератор задач. Он подбирает параметры в заданных пользователем диапазонах и наборах вариантов по фиксированным шаблонам и создаёт пакеты 3D-сред и сред со стрельбой по картинкам для RL, с автоматическими сигналами награды и завершения эпизода. В качестве проверки авторы обучили Qwen3.8-27B методом LoRA RL на сгенерированных задачах пешей навигации. Это улучшило результаты в той же области, перенеслось на другие категории задач и на «родные» задачи GTA V: с 15% до 23%.

Ключевые факты

  • GTAGym, среда и фреймворк для оценки и RL-обучения агентов на задачах GTA V; исход задач проверяется автоматически по состоянию движка.
  • Бенчмарк GTAVBench: 103 онлайн-задачи в девяти семействах, воссозданные по сюжетным миссиям, плюс 47 задач на стрельбу и снайперскую стрельбу по картинкам.
  • Шесть передовых языковых моделей: лучшая конфигурация достигла 70,9% общей точности в ветке GTAVBench-AGI; воздушная навигация, уклонение и перехват остаются сложными.
  • Генератор задач создаёт пакеты сред для RL с автоматической наградой; LoRA RL модели Qwen3.8-27B на задачах пешей навигации подняла результат на родных задачах GTA V с 15% до 23%.

Почему это важно

Проверять агентов в больших коммерческих играх трудно из-за того, что исход задачи нелегко определить автоматически. Авторы предлагают решение: автоматическая проверка по состоянию движка плюс параллельный запуск через веб-сервер. Это даёт одновременно и бенчмарк, и среду для RL с автоматической наградой, а не только набор задач для ручной оценки.

Кому это важно

Исследователям ИИ-агентов, которые работают с управлением по скриншотам и клавиатурой-мышью, и тем, кто строит бенчмарки для интерактивных сред. Результат по воздушной навигации, уклонению и перехвату показывает, где у моделей остаются слабые места.

Как это применить

В источнике нет сведений о публикации кода, данных, лицензии или ссылки, поэтому воспроизвести работу по описанию нельзя. Идея, которую можно взять на заметку: сочетать автоматическую проверку исхода по состоянию движка с генератором задач по шаблонам, чтобы получать из одной среды и оценку, и обучающие эпизоды.

Можно ли доверять

Это статья на Hugging Face, в источнике приведено только краткое описание работы. Все утверждения исходят от самих авторов; имена авторов и организации в тексте не указаны. Не названы шесть оценённых моделей, неизвестно, какая из конфигураций дала 70,9%, нет сравнения с человеком. Для прироста с 15% до 23% не указана метрика и не сказано, абсолютные это пункты или относительные.

Риски и подводные камни

Результат 70,9%, лучшая конфигурация в одной ветке бенчмарка, а не среднее по моделям. Прирост от LoRA RL показан на одной модели Qwen3.8-27B и на задачах пешей навигации, поэтому обобщать его на другие задачи и модели рано. Об отношениях с издателем игры и разрешении на использование GTA V в источнике ничего не сказано.