Memorilla сжимает документы в 16 токенов памяти для LLM
В препринте на arXiv (раздел машинного обучения, первая версия от 15 октября 2026 года, последняя редакция v3 от 3 ноября 2026 года) представлена система памяти Memorilla для больших языковых моделей. Исходная проблема: замороженная LLM, то есть модель с неизменными параметрами, может использовать накопленные знания (прошлые разговоры с пользователем, длинные документы, прежние действия агента) только в том объёме, который система памяти поместит в её контекстное окно. По описанию в аннотации, собрать и объединить информацию, нужную для каждого запроса, и при этом не раздувать контекст, существующим системам пока трудно.
Memorilla устроена так: документы (например, пользовательские чаты или главы книг) кодируются один раз в переиспользуемые эмбеддинги. Затем система учится находить информацию под конкретный запрос и размещать её во входном пространстве эмбеддингов LLM в виде фиксированного числа «токенов памяти», зависящих от запроса. То есть вместо вставки в контекст самих текстов модель получает компактное латентное представление.
Результаты, заявленные в аннотации: при использовании всего 16 токенов памяти Memorilla показывает лучший результат среди базовых методов, включая Mem0 и MemoRAG, на пяти из восьми тестов (персонализация, вопросы по длинным документам и вопросы, требующие обширных знаний). На FactKG точность составила 84,33% против 80,43% при выводе с полным контекстом, причём исходные документы представлены в 108 раз меньшим числом токенов.
Отдельно авторы показывают применение в агентных системах, где число документов (прошлые ходы агента) растёт по ходу траектории. В среде TextWorld Memorilla уменьшает склонность агента блуждать между уже изученными комнатами, а средняя доля успешных прохождений растёт с 18,6% при обучении в контексте на полной истории до 24,2%. Вывод авторов: метод помогает замороженным LLM накапливать и эффективно использовать знания при длинных взаимодействиях и приближает создание непрерывно обучающихся ИИ-систем.
Ключевые факты
- Memorilla собирает информацию из всей коллекции документов в фиксированное число (16) «токенов памяти», зависящих от запроса, для замороженной LLM.
- Документы кодируются один раз в переиспользуемые эмбеддинги; затем система учится извлекать нужное и помещать это во входное пространство эмбеддингов модели.
- С 16 токенами памяти метод лучше базовых подходов, включая Mem0 и MemoRAG, на пяти из восьми тестов.
- На FactKG: 84,33% точности против 80,43% при полном контексте, исходные документы представлены в 108 раз меньшим числом токенов.
- В среде TextWorld средняя доля успехов агента выросла с 18,6% (обучение в контексте на полной истории) до 24,2%.
Почему это важно
Память для LLM остаётся узким местом: замороженная модель знает только то, что ей положили в контекст. Memorilla предлагает вместо длинных текстов подавать модели короткий фиксированный набор токенов памяти под запрос. Если заявленные цифры подтвердятся, это способ держать контекст коротким и не терять качества: на FactKG результат выше, чем при полном контексте, а токенов на представление документов нужно в 108 раз меньше.
Кому это важно
Разработчикам систем памяти и RAG (генерации с поиском), команде, которая делает персонализированных ассистентов и работу с длинными документами, а также исследователям агентных систем, где история действий растёт по ходу задачи.
Как это применить
Напрямую пока рано: аннотация описывает метод и результаты, но не сообщает, выложены ли код и веса. Практический смысл сейчас, ориентир для сравнения: если вы используете Mem0, MemoRAG или полный контекст, стоит следить за тем, появятся ли реализация и независимые замеры, и пробовать метод на своих данных.
Можно ли доверять
Это препринт на arXiv; из аннотации не следует, что работа прошла рецензирование. Цифры приведены самими авторами. Сроки: версии от 15 октября, 27 октября и 3 ноября 2026 года. Из восьми тестов названы лишь FactKG и TextWorld (агентный эксперимент), остальные в аннотации не перечислены, а выигрыш в 108 раз по токенам указан только для FactKG.
Риски и подводные камни
Рост точности на пяти тестах из восьми означает, что на остальных трёх метод лучшим не стал. Из аннотации неизвестны затраты на обучение, задержки и вычислительные накладные расходы, а также то, какие именно замороженные LLM использовались. Результаты TextWorld, средние значения (24,2% против 18,6%), число запусков и разброс не указаны, а абсолютная доля успехов остаётся невысокой.