LLM-репетитор: адаптивная сложность промптов для RL-обучения без проверяемых ответов
В обучении с подкреплением (RL) для задач, где правильность ответа нельзя проверить автоматически, например, сложное следование многосоставным инструкциям, вознаграждение обычно выставляет не формула, а другая LLM в роли судьи: она сверяет ответ модели с рубрикой, набором критериев под конкретный промпт. Последние методы умеют подстраивать эту рубрику под то, как меняется обучаемая модель (в терминологии RL, «политика») по ходу тренировки. Но сами промпты для обучения остаются статичными: их берут из фиксированного набора данных и не меняют. Из-за этого возникает рассогласование между сложностью промпта и текущим уровнем модели, промпт, прежде сложный, со временем становится слишком лёгким, и все ответы модели на него получают от судьи примерно одинаковую оценку. Сигнал вознаграждения перестаёт различать удачные и неудачные ответы, и обучение теряет полезную обратную связь.
Чтобы решить эту проблему, авторы статьи, среди них Юджин Ким (Yujin Kim), предлагают фреймворк LLM-as-a-Tutor («LLM в роли репетитора»): роль LLM расширяется с простого судьи до репетитора. Одна и та же модель выполняет две функции. Как экзаменатор она попарно сравнивает ответы обучаемой модели на один и тот же промпт, чтобы обнаружить промпты, переставшие быть сложными, те, что больше не создают разницы в качестве ответов. Как генератор, та же модель добавляет к таким промптам атомарные (минимальные, добавляемые по одному) ограничения, которые усложняют задачу. Ограничения только накапливаются и никогда не снимаются, авторы называют это «append-only» (аддитивным принципом), поэтому сложность промпта монотонно растёт вслед за тем, как растут возможности модели. В результате получается самокалибрующийся обучающий сигнал, для которого не нужно вручную задавать внешний график наращивания сложности.
На трёх бенчмарках, проверяющих сложное следование инструкциям, метод стабильно обошёл как базовые подходы, вообще не учитывающие состояние обучаемой модели, так и более ранние адаптивные методы, те, что подстраивали под модель только рубрику оценки или переписывали промпты целиком. Из этого авторы делают вывод: адаптация именно промптов, а не только критериев их оценки, недостающий элемент учёта состояния модели в RL для задач, где ответ нельзя проверить автоматически.
Ключевые факты
- Проблема: в RL для задач без автоматически проверяемого ответа (например, сложное следование инструкциям) вознаграждение даёт LLM-судья по рубрике, но обучающие промпты остаются статичными, со временем они становятся слишком лёгкими для модели, и судья перестаёт различать хорошие и плохие ответы.
- Решение, фреймворк LLM-as-a-Tutor («LLM в роли репетитора»): одна модель работает и экзаменатором (через попарное сравнение ответов модели находит промпты, переставшие быть сложными), и генератором (добавляет к ним атомарные ограничения).
- Дизайн «только добавление» (append-only): ограничения не снимаются, а лишь накапливаются, поэтому сложность промптов монотонно растёт вслед за моделью, без внешнего, вручную заданного графика сложности.
- На трёх бенчмарках сложного следования инструкциям метод стабильно обошёл и подходы без учёта состояния модели, и более ранние адаптивные методы (которые подстраивали только рубрику оценки или переписывали промпты целиком).
- Вывод авторов: адаптация именно промптов, а не только критериев их оценки, недостающий элемент учёта состояния обучаемой модели в RL для задач без проверяемого автоматически ответа.
Почему это важно
RL-дообучение LLM всё чаще применяют там, где правильный ответ нельзя сверить автоматически, например, при обучении модели точно и полно выполнять сложные, многосоставные инструкции. В таких задачах вознаграждение выставляет не формула и не автоматическая проверка, а другая LLM в роли судьи, по рубрике. Статья показывает конкретный изъян этой схемы: рубрику под модель подстраивают, а промпты, нет, из-за чего они устаревают и перестают давать полезный сигнал по мере роста модели. Это значимая деталь для всей области RL-дообучения: если у сигнала отваливается один компонент, различимость ответов, обучение буксует незаметно для инженера. Работа предлагает простое расширение известной схемы «LLM как судья»: превращает судью ещё и в репетитора, который сам поднимает планку сложности вслед за моделью.
Кому это важно
Исследователям и инженерам, которые дообучают большие языковые модели через RL с LLM-судьями и рубриками, то есть командам, работающим над качеством следования инструкциям, стилем ответов и другими «мягкими» критериями, которые нельзя проверить программой напрямую. Полезно и тем, кто строит инфраструктуру для генерации и курирования обучающих промптов для RL.
Как это применить
Метод встраивается в RL-пайплайн как дополнительный шаг работы с обучающими промптами. Та же LLM, что оценивает ответы, периодически выступает экзаменатором: попарно сравнивает несколько ответов модели на одном промпте, и если разница в их качестве мала, промпт считается «нетрудным» для текущего состояния модели. Тогда та же модель в роли генератора добавляет к промпту атомарное ограничение, например, дополнительное требование к ответу, которое поднимает планку сложности. Ограничения не убираются, а только накапливаются, поэтому сложность растёт монотонно и автоматически, без ручной настройки графика сложности инженерами. Публикация кода или датасета в тексте не упомянута, судить о готовности метода к использованию вне статьи по нему нельзя.
Можно ли доверять
Заявленные результаты, из препринта, опубликованного через Hugging Face Papers: это собственные показатели авторов на трёх отобранных ими бенчмарках следования инструкциям, о независимом воспроизведении или рецензировании в тексте не сказано. То, что метод сравнивали не только с базовыми, но и с более ранними адаптивными подходами, добавляет доверия к результатам, но пока их стоит считать предварительными, до независимых проверок или практического внедрения.
Риски и подводные камни
Экзаменатор и генератор, одна и та же модель, а значит, её собственные слепые пятна могут одновременно определять, какой промпт считать «нетрудным», и придумывать для него следующее ограничение: при систематической ошибке модели она может закрепляться, а не устраняться. В аннотации не раскрыто, во сколько дополнительных вызовов модели и вычислений обходится двойная роль экзаменатора и генератора на каждом шаге обучения. Метод проверен только на трёх бенчмарках следования инструкциям, распространяется ли подход на другие типы непроверяемых задач, например творческое письмо или диалог, в статье не подтверждено.
«Мы представляем LLM-as-a-Tutor, фреймворк, который расширяет роль LLM с судьи до репетитора: одна и та же модель выступает экзаменатором, попарно сравнивающим ответы обучаемой модели, чтобы находить промпты, переставшие быть сложными, и генератором, который добавляет к таким промптам атомарные ограничения.»
— авторы статьи