Coca-Cola: ИИ-агентам предложили сжимать ответы инструментов в латентные токены

Агенты на основе больших языковых моделей обычно дописывают в свой контекст сырые ответы инструментов. При многошаговой работе длинные и шумные наблюдения сильно раздувают контекст и рассеивают внимание агента на том, что важно для задачи. Существующие методы отсечения токенов и суммаризации, по словам авторов, упираются в дискретное текстовое представление, и это ограничивает достижимую степень сжатия.
Авторы препринта оспаривают распространённое допущение, будто агент обязан получать ответы инструментов в виде явных текстовых токенов. Вместо этого они предлагают Coca-Cola, модель непрерывного латентного сжатия контекста для ИИ-агентов (это название модели, а не компании-производителя напитков). Модель сжимает ответы инструментов в латентные токены и встраивает их во входное пространство эмбеддингов агента, то есть агент читает не текст, а сжатое векторное представление.
Чтобы сжатие не теряло нужное для решений, авторы вводят Action-Preserving Training (обучение с сохранением действий). Оно выравнивает распределения следующего действия агента при полном и при сжатом наблюдении. Благодаря этому компрессор учится выдавать латентные токены, достаточные для выбора действия: в них остаётся информация, критичная для принятия решения.
Эксперименты проведены на агентах веб-поиска, на четырёх бенчмарках вопросов и ответов и на двух семействах моделей. По заявлению авторов, Coca-Cola сокращает потребление токенов агентом на 70,01-89,24% и сквозное время выполнения на 24,45-55,97%, при этом стабильно улучшая качество выполнения задач. Сами авторы формулируют вывод осторожно: результаты говорят, что подход перспективен для сжатия контекста в агентах. Код опубликован на GitHub в репозитории THU-Agent/Coca-cola.
Ключевые факты
- Coca-Cola, модель непрерывного латентного сжатия контекста: ответы инструментов превращаются в латентные токены во входном пространстве эмбеддингов агента.
- Action-Preserving Training выравнивает распределения следующего действия агента при полном и сжатом наблюдении, чтобы сохранить информацию, критичную для решений.
- Заявленный результат на агентах веб-поиска (четыре бенчмарка, два семейства моделей): расход токенов ниже на 70,01-89,24%, сквозное время ниже на 24,45-55,97%.
- Авторы сообщают, что качество выполнения задач при этом стабильно растёт; насколько именно, в тексте не указано.
- Код опубликован на GitHub: THU-Agent/Coca-cola.
Почему это важно
Сырые ответы инструментов раздувают контекст агента и рассеивают его внимание, а текстовые методы сжатия ограничены дискретным представлением. Работа предлагает отказаться от допущения, что агент должен читать наблюдения именно как текст. Если заявленное сокращение расхода токенов на 70,01-89,24% и времени на 24,45-55,97% подтвердится, это напрямую снижает стоимость и задержку многошаговых агентов.
Кому это важно
Разработчикам ИИ-агентов, особенно поисковых и других, которым приходится много раз вызывать инструменты и накапливать длинный контекст. А также исследователям, занимающимся сжатием контекста и эффективностью агентных систем.
Как это применить
Код выложен на GitHub (THU-Agent/Coca-cola), так что метод можно попробовать воспроизвести. Из текста видно лишь, что проверка шла на агентах веб-поиска: для других инструментов и задач перенос метода нужно проверять отдельно. Отдельно потребуется обучение компрессора с помощью Action-Preserving Training под конкретного агента.
Можно ли доверять
Это препринт: все цифры приведены самими авторами. Названия четырёх бенчмарков и двух семейств моделей в тексте не указаны, как и конкретные методы сравнения. Неясно, какому бенчмарку или модели соответствует каждый край диапазонов, и насколько выросло качество, не сказано. Сами авторы делают осторожный вывод: результаты «предполагают» перспективность подхода.
Риски и подводные камни
Результаты получены только для агентов веб-поиска; о других типах агентов и инструментов в тексте ничего не говорится. Латентные токены не читаются человеком, поэтому отлаживать и проверять то, что агент «видит» вместо текста, сложнее. Это вывод из самой идеи метода, а не заявление авторов. Цифры независимо не проверялись.