Представлен Gamer: ИИ-агент играет в 2D- и 3D-игры через клавиатуру и мышь

Gamer, это универсальный агентский фреймворк для долгих задач в сложных интерактивных средах. Архитектура сквозная: она объединяет восприятие, управление памятью и многошаговые рассуждения. Единый конвейер обучения и развёртывания рассчитан и на обычные 2D-графические интерфейсы, и на сложные 3D-симулированные миры.
Обучение идёт в несколько этапов. Сначала модель дообучают (continued pre-training) на датасете из десятков тысяч часов записей взаимодействия на уровне устройств, клавиатуры и мыши. Траектории охватывают симулированные игры и воплощённые среды (embodied environments), поэтому, как пишут авторы, модель учится динамике окружения и в физических, и в виртуальных областях. Затем применяется инструктивная донастройка с «разреженным мышлением» (sparse-thinking instruction tuning): она заметно сокращает лишние вычисления и сохраняет рассуждения, нужные для сложных решений.
Для долгого взаимодействия политику обучают устойчивым методом многошагового обучения с подкреплением. Он учитывает три проблемы: конечное контекстное окно, накопление ошибок при прогонах и редкие награды. Для работы в реальном времени используется облачно-периферийный движок вывода: он одновременно обслуживает множество симулированных игровых сред, поддерживает исполнение с неограниченным контекстом и держит низкую задержку онлайн-вывода.
Результаты, по утверждению авторов: в нескольких сложных 3D-играх с открытым миром Gamer показывает хорошее обобщение и операционную эффективность, сопоставимую с опытными игроками; на ряде обычных 2D-игровых бенчмарков результаты конкурентоспособны. Авторы делают вывод, что даже однообразные траектории клавиатуры и мыши дают существенный выигрыш от масштабирования данных и алгоритмов обучения, а такое обучение помогает осваивать сложные навыки стабильнее в средах с физическими и цифровыми свойствами. Подход, по их мнению, путь к универсальным агентам, действующим и в цифровом, и в физическом мире. Источник, аннотация статьи, поэтому конкретных цифр, названий игр и бенчмарков в ней нет.
Ключевые факты
- Gamer, универсальный агент для долгих задач: сквозная архитектура из восприятия, памяти и многошаговых рассуждений; один конвейер для 2D-интерфейсов и 3D-миров.
- Дообучение идёт на десятках тысяч часов записей клавиатуры и мыши из симулированных игр и воплощённых сред; затем инструктивная донастройка с «разреженным мышлением» сокращает лишние вычисления.
- Политику обучают многошаговым обучением с подкреплением, рассчитанным на конечный контекст, накопление ошибок и редкие награды.
- Облачно-периферийный движок вывода обслуживает много игровых сред одновременно, поддерживает неограниченный контекст и держит низкую задержку.
- По заявлению авторов, в 3D-играх с открытым миром эффективность сопоставима с опытными игроками, а на 2D-бенчмарках результаты конкурентоспособны.
Почему это важно
Игровые среды, удобный полигон для агентов, которым нужно долго действовать, помнить прошлое и принимать решения по картинке с экрана. Работа показывает попытку собрать для этого один конвейер: от данных до вывода в реальном времени. Главный тезис авторов, даже однообразные траектории клавиатуры и мыши дают заметный выигрыш при масштабировании данных и алгоритмов. Это утверждение авторов, а не независимо подтверждённый результат.
Кому это важно
Исследователям агентов, работающих через интерфейс компьютера и 3D-симуляции, а также командам, которые строят обучение с подкреплением для долгих задач и сталкиваются с ограниченным контекстом и редкими наградами. Интерес могут представлять и приёмы снижения вычислений при рассуждениях.
Как это применить
Прямого применения из источника не следует: это аннотация статьи, и в ней не упомянуты публикация кода, весов или данных. Практическая ценность пока в идеях: двухэтапное обучение на записях устройств ввода, донастройка с «разреженным мышлением» и облачно-периферийный вывод для одновременной работы со многими средами.
Можно ли доверять
Основа, аннотация статьи с Hugging Face. Все утверждения о результатах принадлежат авторам. В тексте нет названий игр и бенчмарков, числовых показателей, сравнения с другими моделями и данных о размере модели. «Эффективность, сопоставимая с опытными игроками» описана словами, без измерений, поэтому проверить её по источнику нельзя.
Риски и подводные камни
Без цифр и названий тестов трудно оценить, насколько широко работает обобщение и чем «конкурентоспособные результаты» отличаются от лучших известных. Размер набора данных указан лишь как «десятки тысяч часов». Источник не говорит, проверяли ли агента на реальных физических устройствах, так что переход «цифровой мир, физический мир» остаётся заявкой авторов на перспективу.