Hugging Face обучила LoRA-адаптеры для Qwen3.8-27B под агентные обвязки

Hugging Face опубликовала в блоге рецепт «адаптеров обвязки» (harness adapters). Идея: модели настраивают на общую производительность, а не под конкретную агентную обвязку (harness) и ваши задачи, поэтому при сочетании модели и обвязки часть качества и эффективности остаётся неиспользованной. Обучение с подкреплением (RL) на собственном распределении задач прямо внутри нужной обвязки позволяет получить адаптер, который «выжимает» из модели больше.
Главный пример из статьи: базовая Qwen3.8-27B под обвязкой pi набирает на Terminal-Bench 2.1 39% и тратит в среднем 2,9 тыс. токенов на задачу. Если заморозить веса и добавить собственный RL-обученный адаптер LoRA, получается 55% pass@1 при среднем расходе 1,5 тыс. токенов. Авторы объясняют большую часть выигрыша тем, что модель меньше рассуждает, реже вызывает инструменты и чаще справляется с первого раза.
В новой работе авторы проверяли, сохраняется ли эффект на модели в 27 млрд параметров, на более сложных реальных задачах программной инженерии и сразу в трёх обвязках: Pi, OpenCode и Hermes Agent. По одному адаптеру LoRA для Qwen3.8-27B обучено на каждую обвязку. Утверждается, что каждый адаптер превосходит базовую модель под своей обвязкой на обоих бенчмарках и по качеству, и по эффективности. Три адаптера также слиты в единый «супер-адаптер», который без изменений работает под pi, Hermes Agent и OpenCode. Датасеты, обучение и запуски агентов проходят на Hub в Jobs с TRL AsyncGRPOTrainer, OpenEnv и harbor; артефакты (адаптеры, GGUF, RL-задачи, плагин safeagents) собраны в коллекции на Hugging Face.
Обучение идёт внутри самой обвязки. В образах Docker для всех RL-задач заранее установлены Pi 1.5.2, OpenCode 2.2.7 и Hermes Agent v0.22.6. Многие RL-фреймворки (verl, SkyRL-Gym, rLLM, slime, ART) обучают переписанную под фреймворк версию цикла агента. Здесь обвязка запускается ровно как в поставке, а обучающий процесс берёт те самые токены, которые она произвела, их записывает прокси между обвязкой и vLLM.
Отдельный большой раздел посвящён созданию задач. Нужны задачи, проверяющий скрипт (верификатор) и доказательства, что верификатор не ошибается: верификатор, принимающий неверные ответы, учит неправильному поведению, а уже посильная задача ничему не учит. Задачи в формате Harbor (в нём же работает Terminal-Bench 2.1) собраны из трёх источников. Широкий поиск по Hub дал около 59 тысяч задач, но среди них были дубликаты, оценочные наборы и задачи, непригодные для обучения; оставили два источника для обучения. SWE-smith (Python, Go) внедряет баги в реальные репозитории и добавляет объём; SWE-Gym из TaskTrove превращает реальные issues на GitHub и принятые исправления в задачи. Третий источник, Tasksmith, конвейер в Repo2RLEnv, который генерирует задачи из принятых pull request: LLM-агент пишет инструкцию и тесты, а Tasksmith проверяет, что эталон и допустимая альтернатива проходят, а неисправленный код и заведомо неверное решение, нет. Из 30 pull request в 10 репозиториях Python получилось 24 задачи, прошедшие проверки, 17 из них прошли и со второго запуска.
Далее каждая задача проходит проверку openenv validate: эталонное решение получает максимум, бездействие оценивается заметно ниже, ни одна «ловушка» (canary) не набирает больше бездействия, повтор эталона даёт тот же результат. Предварительно отсеиваются дубликаты, задачи без права на обучение, 253 задачи из целевых бенчмарков и любые задачи из репозиториев, которые эти бенчмарки используют. Проверку прошли 858 из 1127 кандидатов с Hub. Контроль неверными ответами выявил дефекты, в том числе задачу Tasksmith, принимавшую неполную реализацию, и верификатор Terminal-Bench 2.1 (regex-log), принимавший заведомо неверные ответы; большинство отказов были инфраструктурными (например, не запускались образы).
Затем идёт проверка сложности по базовой модели. Для GRPO задача, которую решают все попытки или не решает ни одна, не даёт сигнала обучения. Qwen3.8-27B пробовала каждую задачу 4 раза (или 8 раз на выборке по шесть задач из репозитория). Из 442 оценённых задач 151 решена всегда, 120, никогда, а 171 решена лишь иногда, они образуют квалифицированный набор. Большинство задач Go модель решает всегда, на более чем трети задач SWE-smith на Python проваливает все попытки, а на 73% задач SWE-Gym оказывается «посередине». В примере из статьи из 1127 задач отфильтровано и провалидировано 278, включённых напрямую в итоговый набор; оставшиеся 522 отклонённые задачи починили, усложнили в Tasksmith и снова проверили. Итоговый датасет harness-hub/agentic-coding-envs содержит 871 задачу из 35 репозиториев, с ограничением 40 задач с Hub на репозиторий, чтобы ни один проект не доминировал.
Фильтры проверили короткими запусками: четыре прогона до 50 шагов по 32 задачи с разных этапов конвейера (непровалидированные, провалидированные, неквалифицированные, квалифицированные) под OpenCode (до 48 вызовов модели) на одном задании 8×H200; сравнение шло с базовой моделью на Terminal-Bench 2.1. Результаты этих прогонов в доступной части текста не приведены.
Настройки финального обучения: LoRA на все линейные слои (флаг all-linear), режим рассуждений (thinking) на этапах прогонов отключён ради эффективности, а финальный адаптер оценивали с рассуждениями и без. Награда, корректность по верификатору плюс небольшой бонус за эффективность использования инструментов 0,1 (значение, которое лучше всего показало себя в прошлой итерации). В пробном переборе скорости обучения на 50 шагах на средах Termgrade при 1e-5 корректность почти не сдвинулась (с 0,52 до 0,50), при 1e-4 прогоны схлопнулись (число ходов за прогон упало с 18 до 6, энтропия росла), а при 5e-5 корректность выросла с 0,49 до 0,60 к 40-му шагу. Более длинные прогоны при 5e-5 показали нестабильность, поэтому для финала выбрали 2e-5. Каждый адаптер обучали на двух GPU NVIDIA B200: одна под сервер vLLM, другая под обучение. AsyncGRPOTrainer из TRL не ждёт завершения всех прогонов агента перед следующим шагом оптимизации.
Ключевые факты
- Базовая Qwen3.8-27B под обвязкой pi набирает на Terminal-Bench 2.1 39% при среднем расходе 2,9 тыс. токенов на задачу; с замороженными весами и RL-обученным адаптером LoRA, 55% pass@1 и 1,5 тыс. токенов.
- Обучено по одному адаптеру LoRA на обвязку (Pi, OpenCode, Hermes Agent) через AsyncGRPOTrainer, OpenEnv и harbor на Hub; обвязка запускается как в поставке, а токены записывает прокси перед vLLM. Три адаптера слиты в один «супер-адаптер».
- Набор задач harness-hub/agentic-coding-envs: 871 задача из 35 репозиториев; валидацию openenv validate прошли 858 из 1127 кандидатов, по сложности квалифицировано 171 задача из 442 оценённых.
- Финальные настройки: скорость обучения 2e-5, бонус за эффективность инструментов 0,1 к награде верификатора, по два GPU B200 на адаптер.
- Рецепт задуман воспроизводимым на своей связке задач, обвязки и модели; артефакты выложены в коллекции Hugging Face.
Почему это важно
Обычно модель и агентную обвязку подбирают друг к другу вручную, а настройка под свои задачи считается дорогой. Авторы утверждают, что RL внутри нужной обвязки на своём распределении задач даёт более точную и более экономную модель: в приведённом примере на Terminal-Bench 2.1 результат вырос с 39% до 55% pass@1, а расход токенов снизился с 2,9 тыс. до 1,5 тыс. на задачу. Работа развивает более ранние эксперименты с анализом данных и написанием кода, расширяя проверку на модель 27B, более сложные задачи программной инженерии и три обвязки.
Кому это важно
Командам, которые строят агентов для программирования на открытых моделях и уже закрепились на конкретной обвязке (Pi, OpenCode, Hermes Agent). Также тем, кто занимается обучением с подкреплением для агентов: статья подробно разбирает сбор и проверку RL-задач, фильтр по сложности и выбор скорости обучения.
Как это применить
Авторы публикуют воспроизводимый рецепт под свою модель, обвязку и задачи. Шаги: взять обвязку в виде готового образа Docker; собрать задачи из Hub (SWE-smith, SWE-Gym) и сгенерировать недостающие в Tasksmith; проверить их командой openenv validate (например, openenv validate path/to/task --sandbox hf-sandbox); оставить задачи, которые базовая модель решает лишь иногда; обучить LoRA через AsyncGRPOTrainer. Датасет, адаптеры, GGUF и плагин safeagents доступны в коллекции Hugging Face. Условия лицензий и стоимость обучения в доступной части текста не приведены.
Можно ли доверять
Это материал самой Hugging Face о собственной работе; все выводы принадлежат авторам поста, независимой проверки в тексте нет. Заметные цифры показаны на конкретном примере (Qwen3.8-27B, обвязка pi, Terminal-Bench 2.1); в доступной части не уточнено, относится ли 55% к одиночному адаптеру или к супер-адаптеру, и включено ли рассуждение. Раздел с итоговыми результатами по всем обвязкам и бенчмаркам в доступный текст не вошёл, поэтому утверждение о превосходстве каждого адаптера под своей обвязкой здесь передано как заявление авторов. Сильная сторона, прозрачность методики: проверка верификаторов неверными ответами, отсев задач из целевых бенчмарков и описание неудачных скоростей обучения.
Риски и подводные камни
Выигрыш получен на конкретной связке модели, обвязки и распределения задач, и авторы сами формулируют его как относящийся именно к «целевой обвязке и целевым задачам»; переносимость на другие связки из доступного текста не следует. Критично качество верификаторов: тот, что принимает неверные ответы, учит неправильному, а в Terminal-Bench 2.1 найден именно такой (regex-log). Скорость обучения чувствительна: при 1e-4 прогоны схлопнулись, а длинные прогоны при 5e-5 показали нестабильность. Для финала использовалось два GPU B200 на адаптер; короткие пробные прогоны шли на 8×H200, их не стоит смешивать. Вопрос о том, чему именно научилась модель, выносится авторами в отдельный раздел, которого в доступном тексте нет.