Исследователи предложили шкалу L0-L4 для обучения ИИ без участия человека

Обучение с подкреплением на проверяемых наградах (RLVR) уже заметно улучшило рассуждение моделей в математике и коде, там, где результат можно проверить автоматически. Перенести этот подход на открытые и агентные задачи сложнее: надёжные сигналы награды получить труднее, а прямой контроль человека не успевает за масштабом и сложностью опыта, который генерирует сама модель.

Работа разбирает эту проблему по двум осям. Ось наград прослеживает путь от точечных оценок человека к переиспользуемым верификаторам и наградам, которые работают уже без участия человека. Ось опыта показывает, как обучение может переходить от задач и сред, составленных человеком, к самостоятельно генерируемым учебным программам, сконструированным средам и автономному «со-развитию» модели. Обе оси авторы связывают пятиуровневой шкалой, от L0 до L4, которая фиксирует, какая часть процесса обучения на каждом уровне остаётся под контролем человека.

Отдельно разбираются риски растущей автономности генерации наград и опыта: «эксплуатация» награды моделью (reward hacking), дрейф обратной связи, схлопывание учебной программы (curriculum collapse) и ошибки в самих средах обучения. Чтобы оценивать такие системы, авторы предлагают строить оценку вокруг трёх дополняющих друг друга объектов: способностей политики (policy capability), точности обратной связи (feedback fidelity) и качества опыта (experience quality). Работа носит обзорно-концептуальный характер: конкретных моделей, бенчмарков и экспериментальных результатов в тексте не приводится. Авторы также ведут постоянно обновляемый репозиторий на GitHub, где собирают свежие работы по теме.

Ключевые факты

RLVR хорошо работает там, где результат проверяем автоматически (математика, код), но плохо переносится на открытые и агентные задачи
Проблема разложена на две оси: ось наград (от оценок человека к автономным верификаторам) и ось опыта (от заданий человека к самогенерируемым учебным программам и средам)
Обе оси связаны пятиуровневой шкалой L0-L4, показывающей, сколько контроля над обучением остаётся у человека на каждом уровне
Названы конкретные риски автономного обучения: reward hacking, дрейф обратной связи, схлопывание учебной программы, ошибки сред
Оценку таких систем предлагается строить вокруг трёх объектов: способностей политики, точности обратной связи и качества опыта

Почему это важно

RL с проверяемыми наградами уже показал себя в математике и коде, где правильность ответа проверяется автоматически. Но большинство реальных и агентных задач так не устроены, надёжного сигнала награды на каждом шаге нет, а ручная разметка каждого случая человеком не масштабируется: модель генерирует опыт быстрее и в большем объёме, чем человек способен его оценивать. Работа предлагает структуру, ось наград, ось опыта и шкалу L0-L4, чтобы явно описывать, как обучение может продолжаться по мере того, как участие человека в цикле сокращается, на пути к более автономным системам обучения.

Кому это важно

Тем, кто строит пайплайны RL-обучения для моделей с рассуждением и для ИИ-агентов, и тем, кто занимается безопасностью автономных систем обучения: шкала и две оси дают общий словарь для описания того, насколько конкретная система обучения ещё зависит от человека, а насколько уже работает автономно.

Как это применить

Шкалу L0-L4 можно использовать как чек-лист: на каком уровне находится конкретная система обучения по оси наград (кто и как формирует сигнал) и по оси опыта (кто задаёт задачи и среды). Оценку предлагается строить вокруг трёх дополняющих друг друга объектов, способностей политики, точности обратной связи и качества опыта, а актуальные работы по теме авторы собирают в отдельном постоянно обновляемом репозитории на GitHub.

Можно ли доверять

Это обзорно-концептуальная работа, а не отчёт об экспериментах: в тексте нет ни конкретных моделей, ни бенчмарков, ни численных результатов, только предложенная структура (оси, шкала, объекты оценки) и разбор рисков. На Hugging Face публикация набрала скромные 16 голосов и 1 комментарий, то есть широкого обсуждения пока не получила.

Риски и подводные камни

Авторы прямо называют четыре риска, которые растут вместе с автономностью обучения: reward hacking (модель находит способ формально максимизировать награду, не решая задачу по существу), дрейф обратной связи, схлопывание учебной программы (curriculum collapse, когда самогенерируемые задачи перестают давать полезный сигнал для обучения) и ошибки в самих средах обучения.