KVpop: сжатие KV-кэша через обучаемое предиктивное отсеивание токенов

Исследователи представили KVpop, метод сжатия KV-кэша (key-value cache, кэш пар «ключ-значение» внимания трансформера) в языковых моделях. Проблема в том, что при авторегрессионной генерации (пошаговом порождении токенов один за другим) объём этого кэша растёт линейно с длиной контекста, и это становится узким местом и по памяти, и по пропускной способности.

Существующие методы вытеснения (eviction) записей из KV-кэша опираются на статические эвристики или косвенные оценки важности токена, которые плохо предсказывают, понадобится ли токен модели в будущем. Из-за этого вытеснение получается «хрупким»: важность токена может резко измениться по ходу генерации, а эвристика этого не учитывает и отбрасывает не то, что нужно.

KVpop вместо эвристик обучает политику вытеснения с фиксированным бюджетом (fixed-budget eviction policy): модель-«оценщик» (scorer) напрямую обучается принимать решение «оставить или выбросить» для каждой записи кэша. Оценщик обучается на новой целевой метрике, «будущем внимании» (future-attention target), которая вычисляется эффективно, без построения полных (плотных) карт внимания, что экономит вычисления при обучении. Дополнительно авторы предлагают оценщик с задержкой на основе памяти (delayed memory-based scorer): в отличие от всех прежних обучаемых методов вытеснения, он откладывает решение на фиксированное число шагов вперёд, чтобы использовать информацию из ближайшего будущего контекста при оценке важности токена, это, по утверждению авторов, уникальная черта их подхода среди обучаемых методов вытеснения.

На математических бенчмарках рассуждений AIME и HMMT метод показал следующее: для модели Qwen3-4B KVpop сохраняет 98% качества полного внимания (full-attention, то есть несжатого кэша) при сжатии KV-кэша на 75%, и 97% качества при сжатии на 88%, при этом стабильно превосходя установленные базовые методы вытеснения. Для модели Qwen3-8B результаты ещё сильнее, качество почти вплотную приближается к показателям несжатой модели-учителя (teacher).

Ключевые факты

KV-кэш растёт линейно с длиной контекста, известное узкое место автогрегрессионной генерации по памяти и пропускной способности.
KVpop обучает политику вытеснения записей кэша напрямую на цели «future-attention» (будущее внимание), без построения полных карт внимания.
Отдельная новинка, оценщик с задержкой (delayed memory-based scorer): решение откладывается на несколько шагов вперёд, чтобы учесть ближайший будущий контекст.
На Qwen3-4B (бенчмарки AIME, HMMT): 98% качества при сжатии кэша на 75% и 97% при сжатии на 88%, метод превосходит существующие базовые методы вытеснения.
На Qwen3-8B результаты ещё сильнее, качество почти совпадает с показателями несжатой модели-учителя.

Почему это важно

Рост KV-кэша, одно из главных препятствий для длинного контекста в языковых моделях: чем длиннее диалог или документ, тем больше памяти и пропускной способности требует каждый шаг генерации. KVpop показывает, что вытеснение ненужных записей кэша можно доверить не эвристике, а обученной политике, которая напрямую предсказывает, какие записи реально понадобятся в будущем, и это, по заявленным авторами результатам, даёт заметно меньшую потерю качества при сильном сжатии, чем прежние методы.

Кому это важно

В первую очередь, командам, которые проектируют и обслуживают инференс больших языковых моделей (inference serving), особенно там, где важны длинный контекст и математические/логические рассуждения: снижение объёма KV-кэша напрямую снижает требования к памяти GPU и стоимость обслуживания запросов. Также релевантно исследователям, работающим над эффективностью трансформеров и методами сжатия кэша внимания.

Как это применить

Работа, исследовательская публикация (препринт), выложенная на площадке статей Hugging Face; в самом тексте не приводятся ни ссылка на код, ни лицензия, ни готовый пакет для внедрения. Практическая ценность в том, что подход, обучаемый оценщик вытеснения с целью «future-attention» плюс отложенный (delayed) вариант оценщика, в принципе может быть встроен в существующие движки инференса как замена статическим эвристикам вытеснения KV-кэша, если авторы или сообщество опубликуют реализацию.

Можно ли доверять

Материал, статья на площадке Hugging Face Papers (автор Лукас Хаузенбергер, 17 отметок, 3 комментария на момент публикации), с конкретными числовыми результатами на публичных математических бенчмарках AIME и HMMT и названными моделями (Qwen3-4B, Qwen3-8B). Это придаёт заявлениям конкретность и проверяемость в принципе, но результаты, самоотчёт авторов препринта, независимая проверка или рецензирование в тексте не упоминаются.

Риски и подводные камни

Вытеснение записей кэша необратимо: даже с более точной политикой отброшенная информация теряется навсегда, и цифры в 97, 98% сохранения качества означают, что часть точности всё же приносится в жертву. Результаты приведены только для двух моделей семейства Qwen3 и только на бенчмарках математических рассуждений (AIME, HMMT), как метод поведёт себя на других типах задач (диалог, код, длинные документы) или на моделях других семейств, из текста не следует. Кроме того, подход требует обучения отдельной модели-оценщика поверх основной языковой модели, что добавляет сложности по сравнению с эвристическими методами вытеснения, не требующими обучения.