SkillOpt-Lite: более быстрая и качественная самоэволюция агентов одной строкой в стиле вайб-кодинга
Оптимизация навыков автономных ИИ-агентов, популярное направление, но существующие методы опираются на громоздкие многоступенчатые пайплайны. Yifei Shen с соавторами задались вопросом: какой минимально достаточный пайплайн оптимизации навыков нужен, чтобы каждый его компонент был оправдан теорией или эмпирической необходимостью, без лишних деталей? Команда формализовала оптимизацию навыков агента как оптимизацию нулевого порядка (Zeroth-Order, ZO), раздел оптимизации, где градиент не вычисляется напрямую, а оценивается через пробные изменения, в духе классических методов вроде центральных разностей и доверительных областей (trust regions). Ключевое отличие от классической ZO-оптимизации: в отличие от «слепых» численных возмущений, траектории выполнения навыков агентом дают интерпретируемую обратную связь для отладки, по ним видно, что именно пошло не так.
Опираясь на философию Claude Code (кодинг-агента от Anthropic) и теорию PAC-обучения (Probably Approximately Correct, вероятностно приближённо корректное обучение), авторы сформулировали три принципа, которые обеспечивают сходимость и обобщаемость метода: перебор траекторий агента через файловую систему (попытки сохраняются как файлы, и по ним ведётся поиск), выявление согласованных, или консенсусных, атрибутов (из множества успешных попыток вычленяются общие признаки) и независимая валидационная фильтрация (итоговые изменения навыка проверяются на отдельном наборе данных, чтобы отсечь переобучение). Убрав из полного метода SkillOpt всё, что не оправдано этими тремя принципами, авторы получили SkillOpt-Lite.
SkillOpt-Lite не просто проще: он сходится быстрее полной версии SkillOpt и даёт лучший результат. На бенчмарке LiveMath прирост составил +8,8 балла для GPT-5.5 и +25,4 балла для компактной GPT-5.4-nano, настолько большой, что «нано»-модель с SkillOpt-Lite обошла полноразмерную GPT-5.4, оптимизированную старым методом SkillOpt.
Фреймворк уже встроен в промышленные кодинг-агенты, в частности, в VSCode Copilot: разработчик может эволюционировать навыки агента одной строкой в стиле вайб-кодинга, короткой естественноязыковой командой, без ручной инженерии пайплайна. Поскольку метод обращается со всеми компонентами агента как с обычным редактируемым кодом, минимальный пайплайн естественно обобщается с оптимизации отдельных навыков до оптимизации всего харнесса, программной обвязки агента целиком (HarnessOpt). На бенчмарке SpreadsheetBench HarnessOpt довёл точность GPT-5.4-nano до 0,7758, это выше результата более крупной GPT-5.5 на стандартном пайплайне (0,7620).
Код SkillOpt-Lite выложен в открытый доступ на GitHub, в репозитории EvolvingLMMs-Lab/SkillOpt-Lite.
Ключевые факты
- SkillOpt-Lite, облегчённая версия метода SkillOpt для оптимизации навыков ИИ-агентов, построенная как оптимизация нулевого порядка (ZO) с тремя обязательными принципами: перебор траекторий через файловую систему, выявление консенсусных атрибутов и независимая валидационная фильтрация.
- На бенчмарке LiveMath метод даёт +8,8 балла для GPT-5.5 и +25,4 балла для компактной GPT-5.4-nano, настолько сильно, что «нано»-модель обгоняет полноразмерную GPT-5.4, оптимизированную старым SkillOpt.
- Фреймворк уже встроен в промышленный кодинг-агент VSCode Copilot: разработчики эволюционируют навыки агента одной строкой в стиле вайб-кодинга.
- Подход обобщается с оптимизации отдельных навыков до оптимизации всего агентского «харнесса» (HarnessOpt): на SpreadsheetBench это подняло точность GPT-5.4-nano до 0,7758, выше, чем у более крупной GPT-5.5 на стандартном пайплайне (0,7620).
- Код выложен в открытый доступ на GitHub (EvolvingLMMs-Lab/SkillOpt-Lite).
Почему это важно
Работа предлагает не очередной сложный пайплайн, а минимально достаточный: авторы убрали из метода SkillOpt всё, что не обосновано теорией оптимизации нулевого порядка (ZO) или практической необходимостью, и получили версию, которая одновременно быстрее сходится и точнее исходной. Это укладывается в тренд самообучающихся агентов: система дообучает собственные навыки по своим же траекториям выполнения задач, а не только по решению человека переписать промпт вручную. Практический эффект нагляден: компактная и дешёвая модель GPT-5.4-nano после SkillOpt-Lite обгоняет более тяжёлую GPT-5.4, оптимизированную старым методом, а при полной оптимизации харнесса (HarnessOpt), даже более крупную GPT-5.5 на стандартном пайплайне. Получается, что умная оптимизация навыков может заменить часть выгоды от перехода на более крупную и дорогую модель.
Кому это важно
Разработчикам и исследователям, которые строят или дообучают автономных и кодинг-агентов (в духе Claude Code, VSCode Copilot и аналогов) и хотят автоматизировать улучшение агентных навыков без ручной инженерии пайплайна. Также командам, которые оптимизируют затраты на инференс: результаты показывают, что более дешёвая «нано»-модель с правильной оптимизацией навыков способна обходить по качеству более крупную и дорогую. Полезно это и исследователям оптимизации нулевого порядка и теории PAC-обучения, которым интересно применение этих формализмов к агентным системам.
Как это применить
Код SkillOpt-Lite открыт на GitHub, в репозитории EvolvingLMMs-Lab/SkillOpt-Lite, метод уже интегрирован в промышленный кодинг-агент VSCode Copilot: там разработчик запускает эволюцию навыка одной короткой командой в стиле вайб-кодинга, без ручного написания сложного пайплайна оптимизации. Поскольку фреймворк обращается со всеми компонентами агента как с обычным редактируемым кодом, тот же подход применим не только к отдельным навыкам, но и ко всему харнессу агента целиком (HarnessOpt), это расширяет применимость метода за пределы задачи «подкрутить один навык».
Можно ли доверять
Материал, страница на Hugging Face Papers (обычно это витрина препринтов, во многом пересекающаяся с arXiv), то есть о независимом рецензировании в тексте не сказано. В пользу доверия, конкретные проверяемые цифры на именованных бенчмарках (LiveMath, SpreadsheetBench) с именованными моделями (GPT-5.5, GPT-5.4-nano, GPT-5.4), а не общие рассуждения, и открытый код на GitHub, по которому результаты можно перепроверить. Против, цифры пока представлены только самими авторами (Yifei Shen с соавторами), независимого воспроизведения в тексте нет, а вовлечённость сообщества на момент публикации минимальна (19 баллов, 1 комментарий), широкой проверки материал ещё не прошёл.
Риски и подводные камни
Заявленные приросты получены на конкретных бенчмарках (LiveMath, SpreadsheetBench) и конкретном семействе моделей (GPT-5.x), неясно, насколько они переносятся на другие задачи, языки и архитектуры агентов. Метод прямо опирается на «философию Claude Code», то есть на принципы конкретного существующего кодинг-агента, что может ограничивать применимость к принципиально другим агентным архитектурам. Наконец, идея «эволюции навыков одной строкой» подразумевает, что агент во многом самостоятельно меняет собственное поведение, вопрос контроля качества и безопасности таких самоизменяемых навыков в тексте не разбирается.
«Мы встраиваем наш фреймворк в промышленные кодинг-агенты вроде VSCode Copilot, позволяя разработчикам эволюционировать навыки агента одной строкой в стиле вайб-кодинга.»
— Yifei Shen с соавторами, аннотация статьи