KVFetch: исследователи предложили подгружать KV-кэш по позиции, а не только по смыслу

Когда окна контекста растут до десятков и сотен тысяч токенов, сжатие KV-кэша (хранилища промежуточных состояний внимания языковой модели) становится необходимым для эффективного вывода. Авторы статьи делят существующие методы на три семейства: вытеснение по оценке важности (score-based eviction), компенсация сводками (summary compensation) и выгрузка с последующим возвратом (offload-and-recall). Все три решают, что оставить или вернуть, по смысловой релевантности текущему запросу.

Авторы утверждают, что такой общий подход структурно неполон. У кэша есть два режима доступа: ассоциативный поиск по содержимому и последовательный обход по позиции, а современные компрессоры реализуют только первый. На практике это важно: генерация с дополнением поиском (RAG), дописывание кода и извлечение структурированных данных требуют дословно воспроизводить из контекста идентификаторы, значения полей или токены кода.

При сжатии вытеснение по содержимому сохраняет начало такой последовательности, но отбрасывает продолжение, и дословное копирование необратимо ломается на середине. Этот сбой авторы называют «последовательным забыванием» (sequential forgetting). По их словам, он не лечится ни более точной оценкой важности, ни увеличением бюджета, ни компенсацией сводками, ни динамической переоценкой и остаётся главным источником потерь качества, которые сохраняются при сжатии.

Как предлагают это исправить. KVFetch, это не требующая обучения надстройка, которую можно подключить к любому компрессору на основе оценок важности: она открывает «временной» канал возврата данных. Вытесненные кандидаты переводятся в квантованный «холодный» уровень; активное копирование обнаруживается по монотонному указателю чтения; позиционные преемники подгружаются в «горячий» уровень в слоты фиксированного размера, при этом стоимость внимания не растёт.

Результаты. На RULER-16K при контроле с равным бюджетом KVFetch возвращает дословное копирование с 0,8 до 78,4, а среднее по 13 задачам растёт на +8,4. Выигрыш сосредоточен в задачах, требующих последовательного доступа. На LongBench, где ни одна задача не требует последовательного доступа, новый канал остаётся «спящим» и ничего не стоит.

Ключевые факты

Авторы выделяют три семейства сжатия KV-кэша, вытеснение по оценке важности, компенсация сводками, выгрузка с возвратом, и утверждают, что все они выбирают данные только по смысловой релевантности запросу.
Назван сбой «последовательное забывание»: вытеснение по содержимому оставляет начало последовательности, отбрасывает продолжение, и дословное копирование ломается на середине.
KVFetch, надстройка без обучения для любого компрессора на основе оценок: квантованный холодный уровень, монотонный указатель чтения и подгрузка позиционных преемников в горячие слоты фиксированного размера без роста стоимости внимания.
На RULER-16K при равном бюджете дословное копирование растёт с 0,8 до 78,4, а среднее по 13 задачам, на +8,4.
На LongBench, где нет задач с последовательным доступом, новый канал не активируется и ничего не стоит.

Почему это важно

Сжатие KV-кэша, один из главных способов удешевить работу нейросетей с длинным контекстом. Работа указывает на пробел, общий для всех трёх известных семейств методов: они умеют искать по смыслу, но не умеют идти по тексту подряд. Авторы утверждают, что именно этот пробел, главный источник потерь качества, которые остаются после сжатия, и что его не закрывают ни лучшая оценка важности, ни больший бюджет. Если это подтвердится независимыми проверками, оптимизировать придётся не только «что оставить», но и «как вернуть продолжение».

Кому это важно

Прежде всего тем, кто занимается выводом (inference) языковых моделей и сжатием кэша. Также разработчикам систем, где модель должна точно воспроизводить фрагменты контекста: RAG, дописывание кода, извлечение структурированных данных. Авторы прямо называют эти сценарии пострадавшими от сжатия.

Как это применить

KVFetch описан как подключаемая надстройка без обучения для любого компрессора на основе оценок важности, то есть переобучать модель не нужно. Текст описания не называет конкретных моделей, бюджетов сжатия и компрессоров, на которых проводились опыты, а также не упоминает выпуск кода, поэтому оценить готовность к использованию по нему нельзя. Практический шаг: проверить собственную систему на задачах дословного копирования при сжатом кэше и посмотреть, возникает ли описанное «последовательное забывание».

Можно ли доверять

Это препринт на arXiv; текст описания не называет авторов, организации и дату. Все утверждения, слова самих авторов. У цифр 0,8, 78,4 и +8,4 не указаны единицы измерения, не приведено исходное значение среднего по 13 задачам, поэтому нельзя судить, насколько велик прирост в относительном выражении. Для LongBench приведено только утверждение, что канал не активируется и ничего не стоит, цифр нет. Данных о памяти, задержке и пропускной способности тоже нет.

Риски и подводные камни

Основной результат получен на одном варианте RULER с контекстом 16K при контроле с равным бюджетом; как метод ведёт себя на других длинах и в иных условиях, из описания неизвестно. Утверждение о «не лечится ничем» и «главный источник потерь», вывод авторов. Заявление об отсутствии издержек подкреплено только тем, что на LongBench канал остаётся неактивным; цифр по памяти и скорости нет. Выигрыш, по словам авторов, концентрируется в задачах с последовательным доступом, так что для остальных нагрузок ожидать улучшения не стоит.

«Мы показываем, что этот общий подход структурно неполон.»

— авторы статьи KVFetch, arXiv