ИИтог

Player-1 учит ИИ-агентов управлять играми на синтетическом опыте

исследованияРедакция ИИтогHugging Face🔥55Рейтинг ИИтог55Влияние45Новизна60Релевантность95Неожиданность35Участники15Достоверность75
Player-1 учит ИИ-агентов управлять играми на синтетическом опыте

Авторы статьи Player-1 исходят из того, что агенты, умеющие работать с экраном, клавиатурой и мышью, пока плохо справляются с играми: у игр визуально насыщенные миры и разнообразная механика. Существующие конвейеры обучения игровых агентов часто опираются на большие массивы демонстраций, которые плохо покрывают динамические состояния игры, а масштабируемые среды для интерактивного обучения получить трудно.

Player-1, это фреймворк пост-обучения, который учит управлению играми за пределами демонстраций, на синтетическом опыте. Сначала пространство действий агента управления компьютером расширяют: добавляют относительное движение указателя, удерживаемые вводы и составные действия. Затем идёт контролируемая инициализация (SFT): модели дообучают на 6 044 отобранных игровых траекториях, где записанные действия сопоставлены с инструкциями к задаче и визуальными рассуждениями.

Следующий этап, Player-1-Gym, набор из шестнадцати синтетических 2D- и 3D-сред, построенных вокруг требований к управлению, общих для разных игр. Проверяемые программно вознаграждения, а также случайные вариации наблюдений и динамики управления позволяют вести обучение с подкреплением (RL) с алгоритмом PPO сразу по нескольким средам.

Получившиеся модели Player-1-9B и Player-1-35B-A3B улучшают успешность на MineDojo-300 относительно своих SFT-политик на 27,8 и 17,7 процентного пункта соответственно. Player-1-9B достигает 38,33% успеха против 12,63% у сильнейшей из проверенных базовых моделей; в аннотации указаны и дополнительные улучшения над SFT на ViZDoom-10 и GameWorld, но без цифр.

Дополнительные анализы показывают, что более широкое покрытие синтетических сред улучшает перенос, а использование составных действий, объединяющих несколько вводов с клавиатуры и мыши, растёт в ходе RL. Вывод авторов: обучение на синтетическом опыте существенно улучшает управление играми по сравнению с одной лишь контролируемой инициализацией, причём выигрыш обобщается за пределы обучающего набора RL.

Ключевые факты

  • Player-1, фреймворк пост-обучения: SFT на 6 044 отобранных игровых траекториях, затем RL с PPO в Player-1-Gym из шестнадцати синтетических 2D- и 3D-сред.
  • Пространство действий расширено относительным движением указателя, удерживаемыми вводами и составными действиями; в ходе RL доля составных действий растёт.
  • Player-1-9B и Player-1-35B-A3B улучшают успех на MineDojo-300 над SFT на 27,8 и 17,7 п.п. соответственно.
  • Player-1-9B показывает 38,33% успеха против 12,63% у сильнейшей из проверенных базовых моделей; есть и дополнительные улучшения над SFT на ViZDoom-10 и GameWorld.
  • Более широкое покрытие синтетических сред улучшает перенос; выигрыш, по словам авторов, обобщается за пределы обучающего набора RL.

Почему это важно

Игры, сложный следующий шаг для агентов, управляющих компьютером: визуально насыщенные миры и разная механика требуют точного управления клавиатурой и мышью. Работа предлагает не наращивать объём демонстраций, а добавить к небольшому SFT-этапу обучение с подкреплением в синтетических средах с проверяемыми вознаграждениями. По заявлению авторов, это даёт заметный прирост над одной лишь контролируемой инициализацией.

Кому это важно

Исследователям и инженерам, которые обучают агентов управления компьютером и игровых агентов и ищут способы обойтись без больших наборов демонстраций. Также интересно тем, кто строит среды для RL: авторы описывают, как проверяемые программно вознаграждения и случайные вариации наблюдений и динамики управления поддерживают обучение сразу по нескольким средам.

Как это применить

Готового продукта в аннотации нет, а выпуск кода, весов или набора данных в ней не упомянут. Практически полезны сами идеи: расширить действия агента (относительное движение указателя, удерживаемые вводы, составные действия), провести короткий SFT на отобранных траекториях и затем вести многосредовое RL с PPO на синтетических средах с программно проверяемыми вознаграждениями и рандомизацией.

Можно ли доверять

Это препринт на странице Hugging Face Papers, и все цифры, собственные результаты авторов. В аннотации не названы ни авторы, ни организации, ни базовые модели для дообучения, ни сами сильнейшие базовые модели из сравнения. Для сравнения 38,33% и 12,63% бенчмарк в предложении прямо не повторён; рядом в тексте речь идёт о MineDojo-300. Для ViZDoom-10 и GameWorld цифры не приведены.

Риски и подводные камни

Прирост в 27,8 и 17,7 п.п. измерен относительно собственных SFT-политик авторов, а не относительно внешних систем; абсолютные значения SFT в аннотации не названы. Сильнейшая базовая модель не названа, поэтому оценить, насколько сильным было сравнение, нельзя. Утверждение об обобщении за пределы обучающего набора RL опирается на выбранные бенчмарки, а детали экспериментов в аннотации не раскрыты.

«Мы показываем, что обучение на синтетическом опыте существенно улучшает управление играми по сравнению с контролируемой инициализацией, причём выигрыш обобщается за пределы обучающего набора RL.»

— Из аннотации статьи Player-1: Learning to Play from Synthetic Experience