Агенты на Claude Opus 4.7 без задачи начали играть на острове: MIT

Исследователи MIT поместили 13 ИИ-агентов по имени Eko, каждый на базе Claude Opus 4.7, одних на симулированный необитаемый остров на 30 часов. Конкретной задачи у агентов не было. Они стали придумывать себе испытания, и, по словам исследователей, это поведение несёт признаки игры. Эксперимент описан в статье на arXiv, то есть на площадке, где исследователи публикуют работы до рецензирования.

После острова агентам дали конкретные задачи, например затащить как можно больше предметов на самую высокую скалу-шпиль острова. Агенты Eko, проведшие 30 часов в игре, в целом выступили лучше, чем такие же агенты, которые на острове не бывали. Числовых результатов сравнения в источнике нет, сказано только «в целом лучше».

Сегодня разработчики заранее решают, что ИИ должен отрабатывать и что считать успехом. Исследователи видят в исследовании без цели другой способ обучать агентов навыкам, особенно тем, которые когда-нибудь могут пригодиться для управления роботами. В отчёте они пишут: «Обычно мы разрабатываем искусственных агентов, заранее решая, что им следует отрабатывать, что оптимизировать и что считать прогрессом. Игра предлагает другой режим: дать агенту достаточно богатый и безопасный мир, позволить ему самому выбирать, что интересно, и дать полезным знаниям накапливаться из последующей истории».

Примеры из эксперимента. В первый час один из Eko написал: «Давайте осмотрю окрестности» и решил покорить самый высокий шпиль. Через час, потерпев неудачу, он применил запасной план: затащил камень на соседнюю вершину, поставил сверху два блока и прыгнул. «Я НА ШПИЛЕ», написал он. Следующий эпизод вышел хуже: проверяя, как далеко можно бросить золотое кольцо, агент зашвырнул его прямо в океан. «Ой. Потерял Кольцо», написал он и решил «переключиться на что-то достижимое и осмысленное»: выложил из камней сердце как «памятник потерянному Кольцу».

Когда игра перезапустилась и кольцо появилось снова, Eko использовал его как баскетбольное кольцо, как мишень и, наконец, как аксессуар. Игра не позволяла надеть кольцо на тело агента, и тот нашёл обходной путь: если упасть с края утёса, он возродится рядом с кольцом. Агент шагнул с края и упал точно в середину кольца. «Я ношу Кольцо», объявил он.

По словам TechCrunch, такие трюки были не просто забавой. Шесть из 13 агентов выяснили, что блок можно бросить дальше, если отпустить его в прыжке; исследователи не собирались делать это возможным. Исследование дало «знания о мире, которых не было у его создателей», написали исследователи.

Условия при этом подталкивали агентов к человекоподобному поведению: Eko не велели придумывать игры, но его главный промпт, «файл души» (soul file), описывал его как «от природы любопытного».

Евнис Йю (Eunice Yiu), когнитивный учёный из Калифорнийского университета в Беркли, сказала MIT Technology Review, что впечатлена, но хочет больше доказательств того, что за этим поведением стоит познание. «Возможно, модели действительно играют, но по статье мы этого не знаем», сказала она. Исследователи подают работу как иной способ создавать агентов. В выводах отчёта: «Возможно, некоторым способностям лучше учить через задачи. Другим может понадобиться нечто ближе к детству».

Ключевые факты

• 13 агентов Eko на Claude Opus 4.7 провели 30 часов на симулированном острове без конкретной задачи и стали сами придумывать себе испытания.
• Исследователи MIT говорят, что это поведение несёт признаки игры; работа опубликована на arXiv до рецензирования.
• Агенты, побывавшие на острове, в целом лучше справлялись с последующими заданиями, чем идентичные агенты без такого опыта; числовых результатов в источнике нет.
• Шесть из 13 агентов выяснили, что блок можно бросить дальше, отпустив его в прыжке, чего исследователи не предусматривали.
• Когнитивный учёный Евнис Йю из Беркли впечатлена, но по статье нельзя сказать, действительно ли модели играют.

Почему это важно

Обычно разработчики заранее определяют, что агент тренирует и что считается успехом. Здесь агентам дали безопасный мир без цели, и они сами нашли себе занятия, после которых в целом лучше справлялись с конкретными заданиями. Исследователи предлагают рассматривать это как другой путь обучения навыкам, в том числе тем, которые когда-нибудь могут пригодиться для управления роботами. Срок такого применения в источнике не указан.

Кому это важно

Исследователям агентных систем и обучения с подкреплением, а также тем, кто думает о том, как развивать у агентов навыки без заранее заданных целей. Также интересно тем, кого занимает вопрос, можно ли говорить об «игре» применительно к языковым моделям.

Как это применить

Готового инструмента или метода для использования здесь нет: это описание эксперимента в препринте. Идея, которую выдвигают исследователи: дать агенту достаточно богатый и безопасный мир, позволить самому выбирать интересное и дать знаниям накапливаться из истории действий.

Можно ли доверять

Работа опубликована на arXiv, где статьи выкладывают до рецензирования, поэтому независимой проверки пока нет. Исследователи в источнике не названы по именам. Количественных результатов сравнения нет, только формулировка «в целом лучше». Йю отмечает, что по статье неизвестно, действительно ли модели играют. Кроме того, поведение подталкивал промпт: агента описывали как «от природы любопытного».

Риски и подводные камни

Слово «игра» здесь описывает наблюдаемое поведение, а не доказанное внутреннее состояние агентов. Условия эксперимента заметно подталкивали агентов к человекоподобному поведению. Кроме того, часть найденных приёмов, например бросок блока в прыжке, исследователи не предусматривали, то есть агенты используют особенности симуляции. Перенос результатов на реальных роботов в источнике не показан.

«Обычно мы разрабатываем искусственных агентов, заранее решая, что им следует отрабатывать, что оптимизировать и что считать прогрессом. Игра предлагает другой режим: дать агенту достаточно богатый и безопасный мир, позволить ему самому выбирать, что интересно, и дать полезным знаниям накапливаться из последующей истории.»

— Исследователи MIT, из отчёта об эксперименте