Обученный ИИ-агент привязан к своей обвязке: успех падает с 85,0% до 19,2%

Языковые модели-агенты дообучают и запускают через «обвязку» (harness): это промпты, инструменты и логика управления, которые подают задачу модели и исполняют её ответы. Обвязки часто переделывают и оценивают по тому, как с ними справляется уже обученная модель. Такой подход предполагает, что выученное при одной обвязке переносится на следующую. Авторы препринта спрашивают, чему политика на самом деле учится у своей обвязки и что остаётся, когда обвязку меняют.

Теоретический результат такой: при KL-регуляризованном управлении логарифмические шансы (log odds) оптимальной политики восстанавливают, насколько сильно обвязка предпочитает каждое действие остальным. Значит, обученная политика несёт предпочтения своей обвязки. Итоговая отдача при развёртывании равна «потолку» обвязки (лучшей отдаче, которую она позволяет) минус «рассогласование» политики (отдачу, потерянную из-за её собственных неоптимальных решений). Обучение меняет только рассогласование, а смена обвязки двигает оба слагаемых. Поэтому сравнение обвязок на одной фиксированной модели смешивает то, что даёт сама обвязка, с тем, насколько хорошо эта модель ею пользуется.

Эксперименты. В MiniWoB++ посттренинг делает предпочтения модели специфичными для её обучающей обвязки. Если развернуть порядок полей наблюдения, каждое оптимальное решение остаётся прежним, но успех обученной модели падает с 85,0% до 19,2%. Обратный случай: каждая новая обвязка, которую сравнение на фиксированной модели отвергает, но которая поднимает потолок, после дообучения под неё превосходит исходного агента. Потолок и рассогласование, измеренные заранее, предсказывают эти приросты.

Для обвязок кодинговых агентов на Terminal-Bench Lite величина «потолок минус рассогласование», оценённая с помощью более сильной модели в роли замены оптимума, воспроизводит рейтинг по точности, а каждое из слагаемых по отдельности, нет. Код выложен в открытом доступе: github.com/2020-qqtcg/HRP.

Ключевые факты

Под KL-регуляризованным управлением обученная политика несёт предпочтения обвязки (промптов, инструментов, логики управления), в которой она обучалась.
Отдача при развёртывании = потолок обвязки минус рассогласование политики; обучение меняет только рассогласование, смена обвязки, оба слагаемых.
В MiniWoB++ разворот порядка полей наблюдения при неизменных оптимальных решениях снижает успех обученной модели с 85,0% до 19,2%.
Новые обвязки, отвергнутые сравнением на фиксированной модели, но поднимающие потолок, после дообучения под них обгоняют исходного агента.
На Terminal-Bench Lite «потолок минус рассогласование» воспроизводит рейтинг по точности, а каждое слагаемое отдельно, нет.

Почему это важно

Обвязки агентов постоянно переделывают, а оценивают обычно на одной уже обученной модели. Работа утверждает, что такое сравнение смешивает два разных эффекта: что обвязка даёт в принципе и насколько модель к ней приспособлена. Пример из MiniWoB++ показывает масштаб: смена порядка полей наблюдения при тех же оптимальных решениях роняет успех обученной модели с 85,0% до 19,2%.

Кому это важно

Тем, кто строит и настраивает обвязки для языковых агентов (промпты, инструменты, управляющую логику), и тем, кто сравнивает их между собой, в том числе на кодинговых бенчмарках вроде Terminal-Bench Lite. Также работа будет интересна исследователям посттренинга агентов.

Как это применить

Авторы предлагают разделять оценку обвязки на потолок (лучшая отдача, которую она позволяет) и рассогласование политики. По их результатам в MiniWoB++ эти величины, измеренные заранее, предсказывают выигрыш от дообучения под новую обвязку. Для кодинговых агентов потолок минус рассогласование оценивали с помощью более сильной модели вместо оптимума. Код опубликован: github.com/2020-qqtcg/HRP.

Можно ли доверять

Это препринт, а источник, страница с аннотацией на Hugging Face; выводы приведены так, как их формулируют сами авторы. Теоретический результат показан при KL-регуляризованном управлении. Эксперименты ограничены MiniWoB++ и Terminal-Bench Lite. Код открыт, так что результаты можно проверить.

Риски и подводные камни

Теоретический вывод сформулирован для KL-регуляризованного управления, и из аннотации не следует, что он автоматически переносится на другие режимы обучения. Оценка потолка на Terminal-Bench Lite опирается на более сильную модель как замену оптимума, то есть это приближение. Пример с порядком полей показывает, насколько хрупкой может быть обученная политика к мелким изменениям интерфейса.