ClawLoop: ИИ-агент учится улучшать себя без внешней модели-учителя

Авторы статьи отмечают, что большие языковые модели всё чаще применяют в универсальных средах-обвязках (harness): агент работает в изолированной песочнице и напрямую взаимодействует с файловой системой и командной оболочкой. Для агентов, вызывающих инструменты, конвейеров дообучения много, а для агентов в такой среде они, по оценке авторов, редки и в основном одноразовые и зависящие от учителя: более сильная внешняя модель придумывает задачи и собирает траектории, целевого агента обучают один раз, а результаты оценки читают исследователи-люди, и в цикл они не возвращаются. Такие конвейеры ограничены возможностями внешней модели и кругозором человека, поэтому самосовершенствованию в них нет места.

Как выход предлагается ClawLoop, фреймворк, позволяющий агенту улучшать себя без внешней модели-учителя и с минимальными предварительными зависимостями. Он складывает три фазы в самоподдерживающийся цикл. Первая, синтез задач: создаётся разнообразный пул обучающих задач двумя взаимодополняющими способами построения, затем применяется наращивание сложности с учётом диагностики, после чего задачи проверяются и без участия агента, и с агентом. Вторая, обучение: агент обновляется с помощью SFT (обучение с учителем на готовых примерах) и/или RL (обучение с подкреплением). Третья, диагностика и обратная связь: анализируется поведение агента в прогонах, и на этой основе составляется отчёт о его возможностях, который служит обратной связью для синтеза задач на следующей итерации.

В экспериментах в качестве модели цикла использовали Qwen3.6-27B. По заявлению авторов, ClawLoop даёт стабильные улучшения на бенчмарках SkillsBench, Claw-Eval-Live и ClawGym-Bench. Итеративно доработанные задачи затем перенесли на меньшие модели Qwen3.5-4B и 9B, и они показали прирост на всех бенчмарках; авторы считают, что это подтверждает качество данных независимо от модели, на которой работал цикл.

Ключевые факты

ClawLoop, фреймворк самосовершенствования агента в среде-обвязке (песочница, файловая система, оболочка) без внешней модели-учителя и с минимальными предварительными зависимостями.
Цикл из трёх фаз: синтез задач (два способа построения пула, наращивание сложности по диагностике, проверка без агента и с агентом), обучение через SFT и/или RL, диагностика с отчётом о возможностях агента.
Отчёт диагностики возвращается в синтез задач на следующей итерации, то есть результаты оценки замыкаются в цикл, а не уходят людям.
С Qwen3.6-27B в роли модели цикла авторы заявляют стабильные улучшения на SkillsBench, Claw-Eval-Live и ClawGym-Bench.
Доработанные задачи, перенесённые на Qwen3.5-4B и 9B, дали прирост на всех бенчмарках.

Почему это важно

Агенты, которые работают прямо в файловой системе и оболочке, становятся обычным способом применения языковых моделей, а готовых конвейеров дообучения для них, по словам авторов, мало. Большинство из них одноразовые и держатся на более сильной внешней модели, поэтому потолок такого агента задаёт его учитель. ClawLoop предлагает замкнуть цикл: агент сам порождает задачи, учится на них и использует диагноз своих ошибок для следующего круга.

Кому это важно

Исследователям и командам, которые дообучают агентов для работы в песочнице с файловой системой и оболочкой и хотят обходиться без дорогой более сильной модели-учителя. Также тем, кто занимается автоматическим созданием обучающих задач и их проверкой.

Как это применить

Из пересказа статьи следует лишь общая схема: на каждой итерации синтезировать пул задач, проверить их без агента и с агентом, обновить агента через SFT и/или RL, затем проанализировать его прогоны и передать отчёт в следующий синтез. Заявлен перенос уже доработанных задач на меньшие модели Qwen3.5-4B и 9B. Сведений о выпуске кода, моделей или наборов данных в источнике нет.

Можно ли доверять

Это препринт, и все утверждения о результатах принадлежат самим авторам. В тексте названы бенчмарки и сказано о «стабильных улучшениях» и «приросте на всех бенчмарках», но числовых показателей, процентов прироста и сравнения с базовыми методами не приводится, поэтому оценить величину эффекта нельзя. Не названо и число итераций цикла, а также то, использовались ли в представленных результатах SFT или RL, известно лишь, что обучение допускает SFT и/или RL. Вывод о том, что перенос задач подтверждает качество данных независимо от модели цикла, трактовка авторов.

Риски и подводные камни

Без числовых результатов неясно, насколько велик выигрыш и не уступает ли он подходам с внешним учителем. Заявленная независимость от модели цикла показана только на моделях семейства Qwen. Поскольку в источнике не объясняется, что именно измеряют SkillsBench, Claw-Eval-Live и ClawGym-Bench, переносить заявленные улучшения на собственные задачи стоит осторожно.