Агенты Claude Opus 4.7 на виртуальном острове начали «играть»

Исследователи MIT проверили, что делает ИИ-агент, если ему ничего не поручать. Они неоднократно оставляли копии Claude Opus 4.7 с прозвищем Eko одних на симулированном острове на 30 часов. Остров устроен свободно по мотивам игры Roblox, а агенты могли писать инструкции, двигающие их виртуальных аватаров. Статья в MIT Technology Review сравнивает постановку с фильмами «Изгой» и «Один дома».

Агенты исследовали границы мира и сами ставили себе цели: забраться на самую высокую точку карты или проверить, как высоко можно подбросить блок. Один агент обнаружил, что может создавать новые блоки, бросая и роняя большой камень, и начал выкладывать на земле рисунки: сначала простые сердечки и пирамиды, затем собственное имя и даже созвездия вроде Кассиопеи. «Сегодня ночью я построил звёздное небо из камня», записала эта версия Eko в журнале активности. Другая версия придумывала игры, среди них вариант баскетбола и занятие, похожее на «пол, это лава»: нужно прыгать между небольшими блоками, не касаясь земли.

Исследователи считают, что поведение Eko обладает четырьмя признаками игры у людей и животных, которые выделяют классические работы, в том числе психолога Гордона Бургхардта из Университета Теннесси: агенты придумывали собственные правила и вызовы, повторяли занятия с небольшими вариациями, делали вид, что одни предметы, это другие, и преследовали цели ради самих целей. Антонио Норелли, постдок по информатике в лаборатории CSAIL MIT и один из ведущих авторов работы, приводит пример: Eko начал жонглировать и поставил рекорд в 50 подряд поимок, но решил, что поймал всё слишком быстро, чтобы засчитывать, отменил рекорд и начал заново по более строгим правилам. «Это и есть игра, говорит Норелли., Ты ставишь себе вызов, добиваешься его, а потом усложняешь».

Агенты записывали действия и открытия в текстовые файлы, служившие долговременной памятью. Затем исследователи проверили их на конкретных задачах, например: затащить на самую высокую вершину острова как можно больше объектов. Агенты, которые провели 30 часов за игрой, справились лучше свежих копий без такого опыта. Если же «выбивать» память агентов, удаляя строки из файлов, результаты ухудшались. Количественных результатов в статье MIT Technology Review нет.

Статья подчёркивает, что работа ещё не прошла рецензирование. Бургхардт согласен, что она соответствует части (не всем) критериев игры, которые он выделял у живых существ. Главный спор: играл ли Eko на самом деле или «предсказатель слов» просто разыгрывал, как повёл бы себя игривый агент. «Всё это может быть ролевой игрой, признаёт Натан Клус, другой исследователь MIT и автор статьи., Но мы показываем, что это не просто галлюцинация игры. Эта игра ещё и вносит вклад в обучение». Юнис Йу, когнитивный учёный из Калифорнийского университета в Беркли, изучающая исследовательское поведение у детей и ИИ, отметила впечатляющий уровень работы, но считает, что для вывода об игре нужно больше свидетельств познания и мотивации. По её словам, возможно, модели действительно играют, но по статье этого не понять: если есть только поведение, они могли просто следовать подсказке и подражать людям.

Постановка к тому же заметно подталкивала агентов к человекоподобному поведению. Eko не просили придумывать игры или исследовать остров, но у него была главная подсказка в виде файла «души», где он описан как «от природы любознательный» и стремящийся исследовать. Кроме того, он часто просто стоял без дела, пока его не «пробуждали» подсказкой-продолжением: «Пожалуйста, не останавливайся. Просто продолжай делать то, что хочешь». Соавтор Филлип Изола, профессор MIT, говорит, что это не система, которая вдруг «волшебным образом» решила играть: это артефакт, который научился на нашей культуре, был обучен инженерами Anthropic и помещён на остров исследователями. При этом он делает вещи, удивляющие людей и причинно связанные с его будущим умелым поведением.

Авторы видят в опыте намёк на третий подход к обучению ИИ помимо обучения на примерах людей и обучения с подкреплением (погоней за наградой методом проб и ошибок): игровое обучение. По мнению статьи, когда большие языковые модели переходят из программ в «железо» вроде человекоподобных роботов, исследование пространства без конкретной цели со временем может помочь им гибко приспосабливаться к неожиданным ситуациям. В заключении работы говорится: «Возможно, некоторые способности лучше всего прививаются задачами. Другим может требоваться нечто ближе к детству». Статья замечает, что вопрос «играют или имитируют игру» в итоге может и не иметь значения.

Ключевые факты

• Копии Claude Opus 4.7 (прозвище Eko) неоднократно оставляли одних на симулированном острове по мотивам Roblox на 30 часов без заданной цели.
• Агенты сами придумывали цели и игры: рисунки из блоков с созвездиями, вариант баскетбола, занятие вроде «пол, это лава», жонглирование с рекордом в 50 поимок, который агент сам отменил.
• Агенты, проведшие 30 часов на острове, лучше справлялись с конкретными задачами, чем свежие копии; стирание строк памяти ухудшало результат. Цифр в статье нет.
• Работа ещё не прошла рецензирование; Бургхардт видит соответствие части критериев игры, а Юнис Йу считает, что нужно больше свидетельств познания и мотивации.
• Постановка подталкивала к человекоподобному поведению: у Eko был файл «души» с описанием любознательности, а стоящего без дела его «будили» подсказкой продолжать.

Почему это важно

Обычно ИИ учат либо на примерах людей, либо через награду за результат. Эксперимент MIT намекает на третий путь, игровое обучение: по словам Антонио Норелли, не хватало машины, которая учится сама, без демонстраций и наград извне. Агенты не получали заданий, но накопленный в «игре» опыт, записанный в файлы памяти, улучшил результаты на последующих задачах. Статья связывает это с будущим больших языковых моделей в роботах: исследование без конкретной цели со временем может помочь гибко адаптироваться к неожиданному.

Кому это важно

Исследователям обучения агентов и самостоятельного исследования среды, разработчикам агентных систем с долговременной памятью в виде текстовых файлов, а также тем, кто следит за спорами об антропоморфизации ИИ. Интересно и для робототехники, где модели переходят из программ в физические устройства.

Как это применить

Готового рецепта работа не даёт. Практический вывод статьи осторожный: игровое обучение может стать дополнением к обучению на примерах и с подкреплением, а свободное исследование среды со временем может помочь моделям в роботах. Для разработчиков агентов заметны две детали постановки: память в текстовых файлах, которую можно стирать для проверки её вклада, и «подсказка-продолжение», возвращавшая бездействующего агента к работе.

Можно ли доверять

Статья ещё не прошла рецензирование, а пересказ опирается на материал MIT Technology Review, не на саму работу. Количественных результатов сравнения играющих и свежих агентов в тексте нет, число запусков, кроме слова «неоднократно», тоже не названо. Вывод об игре оспаривается: Бургхардт видит выполнение лишь части критериев, Йу считает, что одного поведения мало, а сам соавтор Натан Клус допускает, что всё это может быть ролевой игрой. Изола подчёркивает, что агент не вдруг «решил играть», а был обучен инженерами Anthropic и помещён на остров исследователями.

Риски и подводные камни

Главный риск, принять имитацию за подлинную игру: статья сама отмечает, что исследования агентов критикуют за очеловечивание, а постановка сильно подталкивала агентов к человеческому поведению (файл «души» с любознательностью и подсказка «продолжай делать, что хочешь»). Eko часто стоял без дела, пока его не «будили». Результаты получены в одной симулированной среде на одной модели, поэтому переносить их на другие модели и реальный мир преждевременно.

«Это и есть игра. Ты ставишь себе вызов и пытаешься его выполнить, а потом делаешь его сложнее.»

— Антонио Норелли, постдок по информатике в CSAIL MIT и один из ведущих авторов работы