RouteWeaver: единый роутер LLM сам выбирает режим и модели
Маршрутизация LLM, это динамический выбор и координация разнородных языковых моделей под разные задачи. По мнению авторов статьи, существующие подходы в основном строятся вокруг заранее заданной схемы выполнения: однораундовой, многораундовой или агентной маршрутизации. Такая схема жёстко фиксирует, как организованы вызовы моделей, и мешает подстраиваться под разные потребности запросов.
Авторы предлагают RouteWeaver, единую систему маршрутизации, которая объединяет эти режимы в одной LLM-политике. Политика совместно учится двум вещам: какой режим выбрать и как подбирать модели внутри выбранного режима.
Для совместной оптимизации выбора режима и выполнения внутри режима разработан метод обучения COMET-GRPO (COordinated Mode-Execution Training). Он разделяет преимущество (advantage) на уровне всей траектории на два отдельных сигнала: для выбора режима и для выполнения внутри режима. Это, по словам авторов, позволяет точнее приписывать вклад каждому из двух уровней решений.
Второй элемент, прогрессивное исследование (progressive exploration). Обучение постепенно переходит от режимов, назначаемых извне, к самостоятельному выбору, так что маршрутизатор сначала учится выполнять каждый режим и только потом решает, когда его применять.
Оценка проведена в пяти областях: математика, программирование, знания, логические рассуждения и воспроизведение фактов. RouteWeaver показывает среднюю точность 61,4%, это на 11,03% относительного прироста выше сильнейшей из базовых систем, и превосходит все сравниваемые базовые подходы в каждой из пяти областей.
Абляции (отключение отдельных компонентов) показывают, что и COMET-GRPO, и прогрессивное исследование важны для адаптивной маршрутизации. Без прогрессивного исследования политика маршрутизации полностью сваливается в однораундовое выполнение.
Ключевые факты
- RouteWeaver объединяет однораундовый, многораундовый и агентный режимы маршрутизации в одной LLM-политике; она совместно учится выбирать режим и модели внутри него.
- COMET-GRPO разделяет преимущество на уровне траектории на отдельные сигналы для выбора режима и для выполнения внутри режима.
- Прогрессивное исследование сначала обучает выполнять каждый режим при внешнем назначении, а затем переводит обучение к самостоятельному выбору режима.
- Средняя точность по пяти областям (математика, код, знания, логика, факты), 61,4%, что на 11,03% относительного прироста выше сильнейшей базовой системы.
- Без прогрессивного исследования политика полностью сваливается в однораундовое выполнение.
Почему это важно
Идея в том, чтобы не закладывать схему вызова моделей заранее, а позволить самому маршрутизатору решать, какой режим подходит запросу. По утверждению авторов, фиксированная схема ограничивает приспособление к разным запросам, и RouteWeaver пытается снять это ограничение единой политикой. Заметный результат абляции: без прогрессивного исследования политика схлопывается в однораундовый режим, то есть обучение выбору режима само по себе неустойчиво.
Кому это важно
Исследователям и инженерам, которые строят системы из нескольких языковых моделей и занимаются маршрутизацией запросов, а также тем, кто применяет обучение с подкреплением в стиле GRPO к многошаговым решениям с несколькими уровнями выбора.
Как это применить
Из описания видно лишь общий принцип: разделять сигнал обучения для выбора режима и для выполнения внутри режима, а выбор режима отдавать политике постепенно, после того как она освоила каждый режим. Упоминаний о выпуске кода или моделей в источнике нет, поэтому готового инструмента для использования здесь не заявлено.
Можно ли доверять
Это препринт: приведены результаты самих авторов, независимой проверки в тексте нет. Источник не называет авторов и организации, не указывает, какая базовая система была сильнейшей и какие именно наборы данных и модели использовались, а также не приводит точности по отдельным областям, только среднее 61,4%. Прирост 11,03% относительный, а не в процентных пунктах.
Риски и подводные камни
В источнике не сообщается о стоимости, задержке или расходе токенов, поэтому выгоду от гибкой маршрутизации по затратам оценить нельзя. Метод опирается на постепенный сдвиг обучения от внешнего назначения режимов к самостоятельному выбору: без прогрессивного исследования выбор режима вырождается. Масштабируется ли подход на другие наборы моделей и задачи, из текста не следует.