AutoMaster: ИИ-агент сам дообучает модель, обгоняя обычное SFT на 1,42-8,99 п.п.

Исходная мысль статьи: одного успешного решения задачи мало, чтобы понять, какое поведение при дообучении стоит закреплять. Даже успешные траектории учителя могут содержать необоснованные допущения, бесполезные повторы или поверхностную проверку результата.
Для этого авторы предлагают метод Skill-FT (Skill-Guided Fine-Tuning, дообучение под руководством навыков). Во время прогонов учителя (rollouts) используются навыки, то есть инструкции на естественном языке: они подавляют нежелательные привычки и вызывают недопредставленное, но эффективное поведение. Затем целевую модель дообучают на получившихся траекториях.
Вторая часть работы, AutoMaster, автономная система посттренинга. В ней LLM-агент сам разрабатывает такие вмешательства: анализирует траектории, проектирует навыки, отбирает данные и получает обратную связь от прогонов и оценки целевой модели.
Результат: на задачах Terminal, Search и разработки программного обеспечения (software engineering) с целевыми моделями на 4B и 9B параметров AutoMaster улучшает среднюю результативность по сравнению с Vanilla SFT на успешных траекториях учителя без подсказок на 1,42-8,99 процентного пункта. Учитель, набор задач, размер обучающей выборки и рецепт SFT при этом зафиксированы.
По словам авторов, вместе с абляциями и анализом траекторий это говорит о том, что формирование поведения может сделать одну и ту же модель более эффективным учителем.
Отдельная находка: если оставлять инструкции-навыки в обучающих примерах во время SFT, средняя результативность выше, чем если их убрать, во всех шести рассмотренных конфигурациях. Это так, хотя на оценке инструкций нет, а целевые ответы, на которых учат модель, одинаковы. Авторы заключают, что сохранение контекста навыка как части обучающей демонстрации может помогать лучше усваивать поведение.
Ключевые факты
- Skill-FT: при генерации траекторий учитель получает навыки на естественном языке, подавляющие плохие привычки и вызывающие недопредставленное полезное поведение; на результате учат целевую модель.
- AutoMaster, автономная система посттренинга, где LLM-агент сам анализирует траектории, проектирует навыки, отбирает данные и опирается на обратную связь от прогонов и оценки целевой модели.
- На задачах Terminal, Search и разработки ПО с целевыми моделями 4B и 9B средний выигрыш над Vanilla SFT составляет 1,42-8,99 процентного пункта при зафиксированных учителе, пуле задач, размере выборки и рецепте SFT.
- Если сохранять инструкции-навыки в обучающих примерах, результат выше, чем без них, во всех шести конфигурациях, хотя на оценке инструкций нет, а целевые ответы идентичны.
- Выводы сформулированы осторожно: авторы говорят, что результаты «указывают» на пользу формирования поведения учителя.
Почему это важно
Типичное дообучение на траекториях учителя отбирает их по факту успеха. Авторы напоминают, что успех сам по себе не говорит, какое поведение стоит закреплять: в удачных траекториях бывают необоснованные допущения, бесполезные повторы и поверхностная проверка. Работа предлагает не менять учителя, а управлять его поведением при генерации данных и показывает прирост над обычным SFT на 1,42-8,99 процентного пункта. Отдельно интересен вывод: оставлять инструкции-навыки в обучающих примерах полезнее, чем вырезать, хотя на оценке их нет.
Кому это важно
Исследователям и инженерам, которые дообучают небольшие модели (в статье, 4B и 9B) на траекториях более сильной модели-учителя для агентных задач: работа в терминале, поиск, разработка ПО. Также тем, кто интересуется автоматизацией самого посттренинга, когда LLM-агент сам готовит данные и навыки.
Как это применить
Из аннотации следует общая схема: определить нежелательные привычки и недопредставленное полезное поведение учителя, описать их как навыки на естественном языке, сгенерировать траектории с этими навыками и дообучить на них целевую модель. Практичный вывод по второй находке: при SFT имеет смысл не удалять инструкции навыков из обучающего контекста. Подробности реализации, конкретные навыки и рецепт SFT в аннотации не приведены.
Можно ли доверять
Это препринт: источник, лишь аннотация на странице Hugging Face Papers, и все утверждения принадлежат авторам. В аннотации не названы авторы и организации, не указаны учитель и целевые модели, не раскрыт LLM-агент, на котором работает AutoMaster, нет названий бенчмарков и абсолютных значений метрик. Не сказано и о публикации кода, модели или данных. Нельзя понять, какой конфигурации соответствует выигрыш 1,42, а какой 8,99, и как именно поделены шесть конфигураций. Сами авторы формулируют выводы как «результаты указывают», а не как доказательство.
Риски и подводные камни
Диапазон 1,42-8,99 процентного пункта широк, и по аннотации неизвестно, где прирост скромный, а где значительный. Сравнение идёт только с Vanilla SFT на успешных траекториях без подсказок, при фиксированных учителе, пуле задач, размере выборки и рецепте SFT; с другими методами оно в аннотации не описано. Не названы вычислительные затраты и время обучения, поэтому цена автоматизации через LLM-агента неясна. Об обобщении на другие размеры моделей и другие классы задач аннотация ничего не сообщает.
«Одного лишь успеха в задаче недостаточно, чтобы определить, какое поведение следует закреплять при посттренинге.»
— Из аннотации статьи AutoMaster