Memorilla сжимает документы в 16 токенов памяти для LLM

В препринте на arXiv (раздел машинного обучения, первая версия от 15 октября 2026 года, последняя редакция v3 от 3 ноября 2026 года) представлена система памяти Memorilla для больших языковых моделей. Исходная проблема: замороженная LLM, то есть модель с неизменными параметрами, может использовать накопленные знания (прошлые разговоры с пользователем, длинные документы, прежние действия агента) только в том объёме, который система памяти поместит в её контекстное окно. По описанию в аннотации, собрать и объединить информацию, нужную для каждого запроса, и при этом не раздувать контекст, существующим системам пока трудно.

Memorilla устроена так: документы (например, пользовательские чаты или главы книг) кодируются один раз в переиспользуемые эмбеддинги. Затем система учится находить информацию под конкретный запрос и размещать её во входном пространстве эмбеддингов LLM в виде фиксированного числа «токенов памяти», зависящих от запроса. То есть вместо вставки в контекст самих текстов модель получает компактное латентное представление.

Результаты, заявленные в аннотации: при использовании всего 16 токенов памяти Memorilla показывает лучший результат среди базовых методов, включая Mem0 и MemoRAG, на пяти из восьми тестов (персонализация, вопросы по длинным документам и вопросы, требующие обширных знаний). На FactKG точность составила 84,33% против 80,43% при выводе с полным контекстом, причём исходные документы представлены в 108 раз меньшим числом токенов.

Отдельно авторы показывают применение в агентных системах, где число документов (прошлые ходы агента) растёт по ходу траектории. В среде TextWorld Memorilla уменьшает склонность агента блуждать между уже изученными комнатами, а средняя доля успешных прохождений растёт с 18,6% при обучении в контексте на полной истории до 24,2%. Вывод авторов: метод помогает замороженным LLM накапливать и эффективно использовать знания при длинных взаимодействиях и приближает создание непрерывно обучающихся ИИ-систем.

Ключевые факты

  • Memorilla собирает информацию из всей коллекции документов в фиксированное число (16) «токенов памяти», зависящих от запроса, для замороженной LLM.
  • Документы кодируются один раз в переиспользуемые эмбеддинги; затем система учится извлекать нужное и помещать это во входное пространство эмбеддингов модели.
  • С 16 токенами памяти метод лучше базовых подходов, включая Mem0 и MemoRAG, на пяти из восьми тестов.
  • На FactKG: 84,33% точности против 80,43% при полном контексте, исходные документы представлены в 108 раз меньшим числом токенов.
  • В среде TextWorld средняя доля успехов агента выросла с 18,6% (обучение в контексте на полной истории) до 24,2%.

Почему это важно

Память для LLM остаётся узким местом: замороженная модель знает только то, что ей положили в контекст. Memorilla предлагает вместо длинных текстов подавать модели короткий фиксированный набор токенов памяти под запрос. Если заявленные цифры подтвердятся, это способ держать контекст коротким и не терять качества: на FactKG результат выше, чем при полном контексте, а токенов на представление документов нужно в 108 раз меньше.

Кому это важно

Разработчикам систем памяти и RAG (генерации с поиском), команде, которая делает персонализированных ассистентов и работу с длинными документами, а также исследователям агентных систем, где история действий растёт по ходу задачи.

Как это применить

Напрямую пока рано: аннотация описывает метод и результаты, но не сообщает, выложены ли код и веса. Практический смысл сейчас, ориентир для сравнения: если вы используете Mem0, MemoRAG или полный контекст, стоит следить за тем, появятся ли реализация и независимые замеры, и пробовать метод на своих данных.

Можно ли доверять

Это препринт на arXiv; из аннотации не следует, что работа прошла рецензирование. Цифры приведены самими авторами. Сроки: версии от 15 октября, 27 октября и 3 ноября 2026 года. Из восьми тестов названы лишь FactKG и TextWorld (агентный эксперимент), остальные в аннотации не перечислены, а выигрыш в 108 раз по токенам указан только для FactKG.

Риски и подводные камни

Рост точности на пяти тестах из восьми означает, что на остальных трёх метод лучшим не стал. Из аннотации неизвестны затраты на обучение, задержки и вычислительные накладные расходы, а также то, какие именно замороженные LLM использовались. Результаты TextWorld, средние значения (24,2% против 18,6%), число запусков и разброс не указаны, а абсолютная доля успехов остаётся невысокой.