Представлен Evolving Infra: сервинг для ИИ-агентов снижает задержку до 4,1 раза против Dynamo

Исследователи исходят из того, что нагрузка от ИИ-агентов стала крупным источником спроса на инференс (выполнение запросов) больших языковых моделей. Существующие системы с разделением этапов prefill и decode (PD-разделением, когда первичная обработка запроса и генерация ответа идут на разных узлах) мало гибки: они плохо подстраивают распределение вычислений и управление KV-кэшем в ходе работы. Кроме того, они опираются на грубые сигналы, которые лишь отчасти отражают разнообразную и меняющуюся нагрузку от агентов. По утверждению авторов, из-за этого возникает перекос нагрузки между узлами prefill и decode, а также вытесняется из памяти KV-кэш, который агенты ещё собираются использовать повторно.
В ответ авторы представляют Evolving Infra, адаптивную к агентам систему обслуживания. Во время работы она подстраивает распределение вычислений под нагрузку агентов, а управление KV-кэшем, под то, как агенты ведут свой контекст. Ключевая идея, отделить распределение вычислительных ресурсов от управления KV-кэшем (key-value, кэшем ключей и значений), чтобы узлы могли эффективно переключаться между prefill и decode.
На этой основе построены два компонента. Онлайн-планировщик подбирает соотношение узлов prefill и decode под состав текущей нагрузки. Распределённый менеджер KV-кэша, учитывающий агентов, решает, что вытеснять и что передавать между узлами, опираясь на сигналы от управления контекстом агента.
Результаты авторы приводят на задачах программирования, математики и работы с компьютером (computer-use), на моделях GLM-5.2 и Kimi K2.6, на кластере до 256 GPU GB300. По их данным, Evolving Infra снижает среднюю сквозную задержку запроса и P95 времени до первого токена (TTFT) до 4,1 раза и до 14 раз соответственно по сравнению с Dynamo, промышленным фреймворком NVIDIA. Оба числа, максимумы («до»), а не типичные значения.
Ключевые факты
- Evolving Infra, система обслуживания языковых моделей, подстраивающая вычисления и KV-кэш под нагрузку от ИИ-агентов прямо во время работы.
- Главная идея: отделить распределение вычислений от управления KV-кэшем, чтобы узлы могли переключаться между prefill и decode.
- Два компонента: онлайн-планировщик, подбирающий соотношение prefill и decode, и распределённый менеджер KV-кэша, учитывающий сигналы агентов.
- По данным авторов, до 4,1 раза ниже средняя сквозная задержка запроса и до 14 раз ниже P95 TTFT относительно NVIDIA Dynamo.
- Тесты: программирование, математика и работа с компьютером, модели GLM-5.2 и Kimi K2.6, до 256 GPU GB300.
Почему это важно
Нагрузка от ИИ-агентов стала крупным источником спроса на инференс, а существующие системы с PD-разделением, по мнению авторов, мало гибки при подстройке под неё во время работы. Авторы указывают на конкретные потери: перекос между узлами prefill и decode и выброс из памяти KV-кэша, который агент вскоре использует снова. Если заявленный выигрыш в задержке подтвердится независимо, он напрямую скажется на скорости и стоимости агентных сценариев.
Кому это важно
Инженерам и командам, которые эксплуатируют собственные кластеры инференса и запускают агентов на крупных открытых моделях. Также тем, кто следит за развитием фреймворков вроде NVIDIA Dynamo и подходом с PD-разделением.
Как это применить
Для практики статья пока даёт идеи, а не готовый инструмент: подстраивать долю узлов prefill и decode под состав нагрузки и передавать в менеджер KV-кэша сигналы от контекста агента, чтобы не вытеснять то, что будет использовано снова. Сведений о выпуске кода или об использовании в промышленной эксплуатации в тексте нет.
Можно ли доверять
Все цифры, собственные результаты авторов, взятые из аннотации; независимой проверки в материале нет. Оба показателя заданы как «до», то есть это лучшие случаи, а не средние. Из текста не видно, на какой модели и задаче получен каждый из них, и нет разбивки по задачам. Сравнение проведено только с Dynamo, результатов для меньшего числа GPU и другого оборудования, кроме GB300, нет.
Риски и подводные камни
Максимальные значения (4,1 раза и 14 раз) легко принять за типичный выигрыш, хотя это верхние границы. Тесты шли на очень современном оборудовании (до 256 GPU GB300), поэтому перенос выводов на меньшие или другие кластеры не подтверждён. Сравнение единственным базовым вариантом не показывает, как система выглядит рядом с другими решениями.