Игровые ИИ-агенты: масштаб данных и модели помогает в разных мирах неравномерно
В статье на arXiv (2610.28698) проверяют, переносится ли эффект масштабирования, известный для воплощённого обучения в физических средах, на виртуальные миры. В физическом мире разнообразный опыт опирается на общие законы, а в играх различаются визуальный стиль, динамика, управление и цели. Авторы ставят контролируемый эксперимент с продолженным предобучением (CPT) по трём осям: объём данных, разнообразие данных и размер модели.
Масштаб эксперимента: 120 конфигураций обучения, четыре размера модели от 0,8B до 27B параметров, шесть объёмов данных от 50 до 1 600 часов и пять смесей данных, от корпуса только по Minecraft до разнообразных многомировых корпусов. Качество и обобщение оценивают по трёхуровневым валидационным потерям и игровым тестам: от миров, входящих в обучающий корпус, до незнакомых миров.
Результаты в трёх пунктах. Первый: больше данных улучшает результат в мирах из корпуса; разнообразие данных улучшает перенос на родственные миры, но в далёких мирах выигрыш ограничен; увеличение модели повышает эффективность использования данных, однако при обучении на одном мире хуже обобщается на далёкие миры. Второй: авторы видят раннюю «фазу интерфейса» с широкой пользой для разных миров и более позднюю «фазу мира», где выигрыш сужается до миров из корпуса и родственных им; кроме того, они подбирают эмпирический закон масштабирования, связывающий валидационную потерю с объёмом данных, их разнообразием и размером модели. Третий: их модели конкурентоспособны со специалистами по Minecraft и передовыми моделями в 3D-мирах и показывают лучшие результаты в режиме реального времени.
Итоговый вывод осторожный: пределы имитации и сохраняющиеся разрывы в далёких мирах, по мнению авторов, говорят о том, что для универсальных воплощённых агентов нужны более богатые этапы обучения, чем одно продолженное предобучение.
Ключевые факты
- Контролируемое исследование продолженного предобучения: 120 конфигураций, четыре размера модели (от 0,8B до 27B), шесть объёмов данных (от 50 до 1 600 часов), пять смесей данных, от только Minecraft до многомировых корпусов.
- Больше данных помогает в мирах из корпуса, разнообразие, на родственных мирах, а в далёких мирах выигрыш ограничен.
- Больший размер модели повышает эффективность использования данных, но при обучении на одном мире хуже обобщается на далёкие миры.
- Выделены ранняя «фаза интерфейса» с широкой пользой и поздняя «фаза мира» с выигрышем только в родственных мирах; подобран эмпирический закон масштабирования.
- Модели авторов, по их данным, конкурентоспособны со специалистами по Minecraft и передовыми моделями в 3D-мирах; вывод, нужны этапы обучения богаче продолженного предобучения.
Почему это важно
Для физических сред рост данных, разнообразия и размера модели уже помогал воплощённому обучению. Здесь проверяют, работает ли то же правило в виртуальных мирах с разной графикой, динамикой, управлением и целями. Ответ неоднозначный: масштаб помогает, но неравномерно, а в далёких мирах разрывы сохраняются. Это показывает, где у простого наращивания данных и параметров есть предел.
Кому это важно
Исследователям воплощённых и игровых агентов, командам, которые собирают корпуса данных для обучения агентов в нескольких мирах, и тем, кто выбирает размер модели под задачу. Результаты о соотношении разнообразия данных и размера модели помогают планировать эксперименты.
Как это применить
Практический ориентир из выводов авторов: для переноса на родственные миры важно разнообразие данных, а не только их объём; крупная модель эффективнее использует данные, но при обучении на одном мире хуже обобщается на далёкие миры. Для универсального агента одного продолженного предобучения, по мнению авторов, недостаточно, нужны дополнительные этапы обучения. Эмпирический закон масштабирования связывает валидационную потерю с объёмом данных, разнообразием и размером модели, но в аннотации его форма не приведена.
Можно ли доверять
Это аннотация научной статьи на arXiv с контролируемой схемой: 120 конфигураций и трёхуровневая оценка. Утверждения о конкурентоспособности моделей, заявление самих авторов. В аннотации не названы авторы и организации, не указаны конкретные передовые модели и специалисты по Minecraft, с которыми сравнивали, нет баллов и величины разрывов. Итоговый вывод сформулирован как предположение («suggest»), а не доказательство.
Риски и подводные камни
Значимая часть выводов относится к сочетанию конкретных осей: объём данных, разнообразие и размер модели. В аннотации не сказано, какие миры считаются родственными, а какие далёкими, и не названы миры, кроме Minecraft, поэтому перенос выводов на другие игры требует осторожности. Не названа и форма закона масштабирования. Выводы о необходимости более богатых этапов обучения, гипотеза авторов, а не проверенный результат.
«Однако пределы имитации и сохраняющиеся разрывы в далёких мирах говорят о том, что для создания универсальных воплощённых агентов нужны более богатые этапы обучения, чем продолженное предобучение.»
— Из аннотации статьи arXiv 2610.28698