Gavel: нейросеть уже «знает» нужный навык, осталось прочитать сигнал

ИИ-агенты на основе LLM всё чаще получают доступ к «навыкам», модулям, которые расширяют встроенные знания модели инструкциями и инструментами под конкретную задачу. Польза от навыка есть только тогда, когда агент выбирает подходящий, а у сегодняшних агентных сред для этого есть два способа, и у обоих есть изъян. Первый, progressive disclosure («постепенное раскрытие»): описания всех навыков библиотеки заранее целиком загружают в контекст модели; это распыляет внимание модели между лишним текстом и ограничивает размер библиотеки, потому что контекст не резиновый. Второй, retrieve-and-rerank («поиск и переранжирование»): отдельная модель-ретривер ищет и ранжирует навыки вне контекста агента, так что решение принимает уже не сама агентная модель, а внешняя система; и эта система добавляет от 1,2 до 16 миллиардов собственных параметров.

Авторы показали, что не нужно ни то, ни другое: уже обученная, «замороженная» (её веса никто не меняет) агентная LLM в своих собственных промежуточных вычислениях уже несёт сигнал о том, какой навык подходит задаче, его остаётся только считать. Хватает двух обученных линейных слоёв, единственных параметров, которые вообще обучаются в методе, и ни одного слова описания навыка в тексте подсказки не требуется. Метод назвали Gavel, от Glance And Verdict, «взгляд и вердикт», из замороженной LLM, и он работает в два шага. На шаге «взгляд» (glance) скрытые состояния из средних слоёв модели для задачи и для каждого навыка библиотеки пропускают через эти два линейных слоя и сверяют с компактными профилями навыков; профиль каждого навыка модель строит один раз, за один проход, когда навык добавляют в библиотеку. На шаге «вердикт» (verdict) для нескольких навыков-кандидатов, отобранных на «взгляде», модель дозапускает полный проход и считывает уже собственную оценку вероятности и ответ да/нет по каждому кандидату; эта оценка перемножается со скором «взгляда», схема, которую в статье называют «произведением экспертов» (product of experts).

Обученный один раз, Gavel без дополнительной настройки переносится на три сторонних открытых бенчмарка и на новый бенчмарк самих авторов, SkillTraj, 372 смоделированные траектории агента. На модели Qwen3-32B Gavel обходит и progressive disclosure, и retrieve-and-rerank, конкурентов с добавочными 1,2, 16 млрд параметров, до 13,4 балла на текстовых заданиях и до 21,9 балла в ситуациях, когда потребность в навыке возникает уже по ходу выполнения задачи (mid-rollout). Авторы отмечают, что точность выбора навыка растёт вместе с качеством базовой модели. Отдельно метод проверили в агентной среде для командной строки (bash): та же 32-миллиардная модель с Gavel на тесте Skill-Use чаще выбирает правильный навык, чем существенно более крупные топовые модели, запущенные в инструменте Codex.

Ключевые факты

Gavel показывает, что уже обученная («замороженная») LLM-агент несёт в своих промежуточных вычислениях сигнал о том, какой навык ей нужен, его считывают два обученных линейных слоя, без единого слова описания навыков в контексте.
Метод работает в два шага: «взгляд» (glance) быстро сверяет задачу со всей библиотекой навыков через эти два слоя и заранее посчитанные компактные профили навыков; «вердикт» (verdict) дозапускает полный проход модели только для отобранных кандидатов и добавляет её собственную оценку вероятности и ответ да/нет.
Обученный один раз, Gavel без дообучения переносится на три сторонних бенчмарка и на новый бенчмарк авторов SkillTraj, 372 смоделированные траектории агента.
На модели Qwen3-32B Gavel обходит подходы progressive disclosure и retrieve-and-rerank, которые добавляют от 1,2 до 16 млрд параметров, до 13,4 балла на текстовых заданиях и до 21,9 балла, когда потребность в навыке возникает по ходу выполнения (mid-rollout).
В агентной среде для командной строки та же 32-миллиардная модель с Gavel чаще выбирает правильный навык в тесте Skill-Use, чем существенно более крупные топовые модели, запущенные в Codex.

Почему это важно

Библиотека навыков агента, ровно то место, где сегодняшние агентные архитектуры упираются в потолок. Держать все описания в контексте просто и надёжно, пока навыков десяток; когда их сотни, лишний текст в промпте отвлекает модель от самой задачи, а окно контекста не резиновое. Заменить это отдельной моделью-ретривером снимает ограничение на размер библиотеки, но добавляет отдельную систему весом от 1,2 до 16 млрд параметров, и решение при этом принимает уже не сама агентная модель, а внешняя модель со своими ошибками. Gavel показывает третий путь: сигнал для выбора навыка уже есть внутри самой агентной LLM, в её промежуточных вычислениях, не нужно ни раздувать контекст, ни пристраивать тяжёлую внешнюю систему, читать сигнал можно двумя маленькими обученными слоями поверх неизменных весов модели.

Кому это важно

В первую очередь, тем, кто строит агентные среды с растущей библиотекой инструментов и навыков: чем их больше, тем острее вопрос маршрутизации. Команды, которые сегодня решают эту задачу поиском по описаниям инструментов или отдельной моделью, которая их переранжирует, получают ориентир: результат сопоставим или выше, а добавочных параметров, на порядки меньше. Разработчикам агентов для кода и других сценариев с командной строкой отдельно интересен результат на бенчмарке Skill-Use, где 32-миллиардная модель с Gavel обходит по точности выбора навыка существенно более крупные модели, запущенные в Codex.

Как это применить

Метод добавляется поверх уже развёрнутой агентной LLM без изменения её весов: обучаются только два линейных слоя, дающих «взгляд» (glance), быстрый скор всей библиотеки навыков по скрытым состояниям модели, сверенный с компактными профилями навыков, которые считаются один раз при добавлении навыка в библиотеку. Шаг «вердикт» (verdict) дозапускает полный проход модели только для нескольких кандидатов-фаворитов и добавляет к скору её собственную оценку вероятности и ответ да/нет, тяжёлый проход делается не по всей библиотеке, а по нескольким отобранным, поэтому метод остаётся дешёвым и при большой библиотеке навыков. Обучив Gavel один раз, авторы перенесли его без дообучения на три сторонних бенчмарка и на собственный новый, SkillTraj (372 смоделированные траектории агента), что указывает на переносимость метода между задачами и библиотеками навыков без переобучения под каждую заново.

Можно ли доверять

Результаты, из препринта на HuggingFace Papers; в тексте нет ни имён авторов, ни организации, ни даты публикации. Сравнение приведено на одной базовой модели, Qwen3-32B, и на четырёх бенчмарках, один из которых, SkillTraj, придуман и собран самими авторами метода, обычная практика для новых бенчмарков в этой области, но она означает, что часть результата пока не проверена независимо от разработчиков Gavel. Метрика, в которой измерены выигрыши до 13,4 и до 21,9 балла, в тексте не названа: неизвестно, это доля точных попаданий, F1 или другая шкала. «Существенно более крупные топовые модели», которые Gavel обходит в агентной среде для командной строки, тоже не названы поимённо, так что этот конкретный результат нельзя перепроверить по первоисточнику, остаётся доверять формулировке авторов.

Риски и подводные камни

Главный риск, перенос за пределы семейства Qwen3: конкретных цифр для других базовых моделей в тексте нет, сказано лишь, что точность растёт вместе с качеством базовой модели, без чисел по другим базовым моделям. Метод предполагает, что скрытые состояния модели несут стабильный и извлекаемый сигнал о навыках, это может быть верно для Qwen3 и не выполняться так же хорошо для моделей другой архитектуры или другого обучения. В тексте ничего не сказано о том, публикуют ли авторы код, веса Gavel или сам датасет SkillTraj, значит, о независимой проверке результатов говорить пока рано.