Представлен бенчмарк CLR-Bench: учатся ли ИИ-агенты скрытым правилам
В статье на arXiv представлен CLR-Bench (Curriculum of Latent Rules), бенчмарк для самообучающихся агентов. Такие агенты переписывают своё постоянное состояние (память, заметки) на основе обратной связи, но, как отмечают авторы, во многом не проверено, помогает ли им это выучить правило, о котором им никто не говорил. Есть и лазейка: агент может «проходить» задания, записывая каждую поправку как отдельное исключение, и тогда его список растёт с каждым новым правилом, вместо того чтобы вывести общее правило.
Устройство бенчмарка. В каждой цепочке на каждом уровне добавляется одно скрытое правило поверх прежних. Правило действует на непрозрачную метку, за которой стоит именованная группа, опубликованная в интернете, например основатели авиационного альянса. В задании дают один пример значения, в ходе тренировочной обратной связи раскрывают ещё одного члена группы и одного не члена, а тест проверяет невидимых членов и похожие объекты, членами не являющиеся. Зонды (проверочные тесты) подтверждают, что базовая модель знает состав каждой группы, но не угадывает её без обратной связи, и что полученных свидетельств достаточно, чтобы определить группу, если читать метки как именованные группы. Автоматический конвейер строит цепочки из новой предметной области; опубликованы 20 цепочек по 10 областям.
Результаты. Оценены шесть недавних методов самоэволюции. С «сертифицирующей» моделью (её название в тексте не указано) они почти не учатся: лучший прирост над замороженным агентом, не более 5 пунктов. Лучшие методы исключают из счёта лишь 6-12% невидимых членов, что меньше, чем 20% у простого хранения сырой истории тренировок. Фиксированный урок, прямо объясняющий соглашение об именованных группах, поднимает те же методы на 14,5-16,5 пункта. Состояния методов содержат раскрытого члена в 75-98% случаев, но почти никогда, название класса; когда практика показывает члена, которого нет в списке, методы просто добавляют его в список.
С более сильной моделью GPT-6-Sol картина другая: ACE и Dynamic Cheatsheet учатся из одной обратной связи. Они достигают точности 78% и решают 59-60% одиночных ячеек против 53% и 8% с «сертифицирующей» моделью, а также превосходят сырую историю. Вывод авторов: CLR-Bench измеряет, насколько хорошо агент учится, и эта способность различается у разных моделей.
Ключевые факты
- CLR-Bench проверяет, может ли самообучающийся агент вывести скрытое правило из обратной связи, а не просто записывать поправки как исключения; выпущено 20 цепочек по 10 областям.
- С «сертифицирующей» моделью шесть оценённых методов почти не учатся: лучший прирост над замороженным агентом, не более 5 пунктов, а простое хранение сырой истории исключает 20% невидимых членов против 6-12% у лучших методов.
- Фиксированный урок с описанием соглашения об именованных группах даёт тем же методам прирост 14,5-16,5 пункта.
- С GPT-6-Sol методы ACE и Dynamic Cheatsheet учатся из одной обратной связи: точность 78% и 59-60% решённых одиночных ячеек против 53% и 8% с «сертифицирующей» моделью.
- Методы обычно хранят раскрытого члена группы (в 75-98% случаев), но почти никогда не название класса.
Почему это важно
Самообучающиеся агенты, которые переписывают собственное состояние по обратной связи, считаются способом накапливать опыт. Работа ставит вопрос, который, по словам авторов, почти не проверялся: учатся ли они именно общему правилу, а не набору запомненных исключений. Результат неоднозначный: на одной модели методы почти не дают прироста, а на более сильной GPT-6-Sol два из них справляются, так что способность учиться зависит от модели.
Кому это важно
Исследователям и разработчикам агентов с долговременной памятью и методов самоэволюции, а также тем, кто строит оценки агентов: бенчмарк показывает, что обычные тесты не отличают обобщение правила от накопления исключений.
Как это применить
Авторы выпустили 20 цепочек по 10 областям, а конвейер позволяет собирать новые цепочки из новой предметной области. Ссылки на код или набор данных в тексте не приведены. Практическая подсказка из результатов: фиксированный урок с описанием соглашения об именованных группах заметно поднимает качество методов, а простое хранение сырой истории тренировок на слабой модели оказывается не хуже самих методов.
Можно ли доверять
Пересказ основан только на аннотации с arXiv, без самой статьи, так что детали методики и таблицы недоступны. Названия авторов и организаций в тексте нет, не названы и четыре из шести методов, а также «сертифицирующая» модель. Результаты с GPT-6-Sol приведены только для двух методов; название модели взято из аннотации, мы его не проверяли. Публикация, препринт.
Риски и подводные камни
Бенчмарк сделан под один тип правил: метка соответствует именованной группе из интернета, и успех зависит от того, знает ли модель состав группы. Выводы про «барьер обучения» нельзя автоматически переносить на другие виды задач. Сравнение 78% с 53% относится к двум конкретным методам и конкретной паре моделей; данных по остальным четырём методам с GPT-6-Sol в тексте нет.