Route Anything: исследование маршрутизации моделей на 374 тысячах прогонов
Исследование Route Anything исходит из идеи, что путь к универсальному ИИ (AGI) лежит не через одну модель, которая умеет всё, а через объединение разнородных специализированных моделей, инструментов и политик (в работе они называются кандидатами) в единую систему. Ключевой вопрос: как системе динамически выбирать и координировать наиболее подходящего кандидата для каждой задачи, балансируя качество и вычислительные затраты.
Авторы предлагают единый фреймворк для изучения маршрутизации моделей и политик в ИИ-системах общего назначения. Он включает теоретическую основу: она описывает оптимальную маршрутизацию при компромиссе между качеством и стоимостью и показывает, как информация, доступная маршрутизатору, определяет достижимый им результат.
Для экспериментов построена омни-модальная матрица траекторий: 25 бенчмарков (понимание языка, генерация изображений, видео и речи, кодинг и офисные агенты, роботизированные манипуляции), 374 401 оценённый прогон от 452 конфигураций-кандидатов. На этих данных обучали и проверяли разные маршрутизаторы, чтобы выяснить потенциал омни-модальной маршрутизации, возможности обученных маршрутизаторов и условия, при которых маршрутизация повышает эффективность.
Результаты: идеальная (оракульная) маршрутизация, выбирающая кандидата отдельно для каждого входа, превосходит лучшего фиксированного кандидата на 5,4 пункта. Обученные маршрутизаторы обходят его на 0,3 пункта по 16 бенчмаркам, на 2,1 пункта в генерации видео и на 1,1 пункта в роботизированных манипуляциях, при этом тратя на 24% меньше времени на работу политики. Кроме того, по сравнению с эталонной моделью маршрутизация повышает эффективность в среднем в 8,82 раза. Авторы делают вывод, что у оркестрации возможностей есть существенный потенциал.
Ключевые факты
- Route Anything: фреймворк и теория оптимальной маршрутизации моделей, инструментов и политик при компромиссе между качеством и стоимостью.
- Матрица траекторий: 25 бенчмарков (язык, изображения, видео, речь, кодинг и офисные агенты, робототехника), 374 401 оценённый прогон, 452 конфигурации-кандидата.
- Оракульная маршрутизация по каждому входу обходит лучшего фиксированного кандидата на 5,4 пункта; обученные маршрутизаторы, на 0,3 пункта по 16 бенчмаркам.
- У обученных маршрутизаторов прирост 2,1 пункта в генерации видео и 1,1 пункта в роботизированных манипуляциях при 24% меньшем времени работы политики.
- По сравнению с эталонной моделью маршрутизация повышает эффективность в среднем в 8,82 раза.
Почему это важно
Работа рассматривает альтернативу гонке за одной всемогущей моделью: собирать систему из специализированных кандидатов и выбирать подходящего под каждую задачу с учётом стоимости. Для этого предложены теория и большой набор оценённых прогонов (374 401 прогон по 25 бенчмаркам), на котором можно обучать и сравнивать маршрутизаторы в разных модальностях.
Кому это важно
Исследователям, которые занимаются маршрутизацией моделей и оркестрацией, и командам, строящим ИИ-системы из нескольких моделей, инструментов или политик и считающим вычислительные затраты. Интерес представляют и результаты по видео, кодингу и роботизированным манипуляциям, где качество и время работы особенно заметны.
Как это применить
В пересказанном тексте нет сведений о публикации кода, данных или названий 452 кандидатов, поэтому практическое применение сводится к идее: сравнивать лучшего фиксированного кандидата с маршрутизатором, который выбирает вариант под каждый вход, и оценивать выигрыш по качеству и по затратам вместе. Оракульный результат (5,4 пункта), верхняя граница, а не то, что получили обученные маршрутизаторы.
Можно ли доверять
Все цифры взяты из аннотации работы и представляют заявления её авторов; самой статьи с методикой измерений в распоряжении нет. В аннотации не уточнено, какая модель служит эталонной для показателя 8,82 раза и в чём измеряется эффективность, а также к какому набору бенчмарков и к какой метрике относятся 5,4 пункта и является ли это средним. Сведения об авторах и организациях в тексте отсутствуют.
Риски и подводные камни
Прирост обученных маршрутизаторов над лучшим фиксированным кандидатом по 16 бенчмаркам скромный: 0,3 пункта, тогда как оракул даёт 5,4 пункта, то есть до идеала далеко. Заметные приросты (2,1 и 1,1 пункта) указаны для отдельных областей, генерации видео и роботизированных манипуляций, а экономия 24% времени политики названа только для манипуляций. Крупный выигрыш в эффективности в 8,82 раза измерен относительно эталонной модели, поэтому переносить его на другие сравнения нельзя.