Представлена HiVe-Mem: память для мультимодальных агентов с экономией токенов около 90%

Мультимодальные агенты накапливают всё более длинную историю взаимодействий, и для долгого общения важно уметь находить и использовать прошлую информацию. Авторы статьи указывают на слабое место существующих систем памяти: они обычно опираются на семантический поиск по сжатым воспоминаниям и отдают заранее заданные представления. Из-за этого могут теряться нужные воспоминания, а разным запросам требуются разные виды свидетельств, и это не учитывается.
В ответ предложен HiVe-Mem, мультимодальный фреймворк памяти, который чередует два механизма: горизонтальное расширение памяти (Horizontal Memory Expansion) и вертикальную сборку свидетельств (Vertical Evidence Composition). Название складывается из этих слов.
Горизонтальное расширение: эпизоды памяти организуются в граф связей с помощью текстовых и визуальных «якорей». Воспоминания, найденные семантическим поиском (исходные «зёрна»), дополняются связанными соседями, и так возвращается недостающая, дополняющая информация.
Вертикальная сборка: каждое найденное воспоминание хранит сразу несколько форм свидетельств, краткие сводки, подписи (captions), привязанные к объектам визуальные фрагменты, исходные изображения и историю взаимодействия. Лёгкий обучаемый селектор независимо для каждого найденного воспоминания собирает подходящее подмножество этих форм. Благодаря этому разнородная мультимодальная информация используется с учётом конкретного запроса.
По словам авторов, такая двумерная схема одновременно расширяет охват памяти и подстраивает вклад каждого отдельного воспоминания. В экспериментах на трёх мультимодальных бенчмарках памяти HiVe-Mem, как сказано в аннотации, стабильно повышает качество решения задач на разных базовых моделях и при этом снижает расход токенов примерно на 90% по сравнению с самыми эффективными конкурирующими мультимодальными решениями.
Ключевые факты
- HiVe-Mem, фреймворк памяти для мультимодальных агентов с длинной историей взаимодействий; чередует горизонтальное расширение памяти и вертикальную сборку свидетельств.
- Горизонтальный механизм: эпизоды памяти связываются в граф через текстовые и визуальные якоря, а найденные поиском воспоминания дополняются связанными соседями.
- Вертикальный механизм: у каждого воспоминания несколько форм свидетельств (сводки, подписи, визуальные фрагменты, исходные изображения, история взаимодействия), а лёгкий обучаемый селектор выбирает нужное подмножество под запрос.
- Заявлено: на трёх мультимодальных бенчмарках качество стабильно растёт на разных базовых моделях, а расход токенов примерно на 90% ниже, чем у самых эффективных конкурирующих мультимодальных решений.
Почему это важно
Чем дольше агент работает и чем больше в его истории изображений, тем острее вопрос, как не терять нужное и не тратить на память слишком много токенов. HiVe-Mem атакует обе стороны: расширяет охват поиска по памяти через граф связей и сокращает объём подаваемого в модель материала за счёт выбора только подходящих форм свидетельств. Заявленная экономия около 90% относится к сравнению с самыми эффективными мультимодальными конкурентами, а не со всеми базовыми решениями.
Кому это важно
Тем, кто строит агентов с долгой мультимодальной памятью (текст плюс изображения) и упирается в стоимость токенов или в потерю релевантных воспоминаний. Также исследователям систем памяти для агентов: подход сочетает граф связей между эпизодами и обучаемый селектор форм свидетельств.
Как это применить
Из аннотации можно взять идею, а не готовый рецепт: хранить для каждого воспоминания несколько представлений (сводку, подпись, визуальный фрагмент, исходное изображение, историю) и подбирать их под запрос, а не отдавать одно заранее заданное. Расширять результаты поиска связанными соседями по графу, построенному на текстовых и визуальных якорях. Публикация кода или моделей в тексте аннотации не упомянута.
Можно ли доверять
Это препринт, и всё изложенное опирается на аннотацию самих авторов. В ней нет названий трёх бенчмарков и базовых моделей, нет цифр качества по отдельным бенчмаркам, только формулировка «стабильно улучшает». Цифра в 90% дана как приблизительная и только относительно самых эффективных мультимодальных конкурентов. Независимой проверки в источнике нет.
Риски и подводные камни
Без названий бенчмарков и подробностей сравнения трудно оценить, насколько результат переносится на другие задачи и модели. Размер и детали обучения селектора, названного лёгким и обучаемым, в аннотации не раскрыты. Хранение нескольких форм свидетельств для каждого воспоминания и построение графа могут требовать дополнительных ресурсов, но в источнике эти затраты не оцениваются.