Когда ИИ-агентам стоит забывать: удаление фактов из памяти может снизить точность
Системы памяти для агентов на основе больших языковых моделей часто удаляют факты, которые классифицированы как устаревшие. Авторы статьи на arXiv показывают, что такая «жёсткая фильтрация» (hard-filtering) может снижать точность ответов, если ошибки резолвера (resolver) удаляют факты, критичные для запроса.
Главный эксперимент, контролируемое вмешательство в надёжность резолвера. Для трёх моделей жёсткое удаление (hard-drop) при идеальном разрешении даёт прирост +0,186…+0,230, а при самой низкой из проверенных надёжностей превращается в потери от −0,176 до −0,181. То есть знак эффекта меняется на противоположный по мере того, как резолвер ошибается чаще.
Парные целевые вмешательства показывают, что ошибочное удаление нужного факта (false-drop) вредит значимо сильнее, чем ошибочное сохранение ненужного (false-keep). При этом базовый вариант без удаления тоже может сработать плохо: неверные метки, приписанные фактам, способны сбивать генерацию ответа.
На замороженном разбиении 102/102 (калибровка/тест) простой «шлюз», согласованный с условиями развёртывания (deployment-matched gate), достигает точности 0,655. Для режима «всегда жёстко удалять» этот показатель равен 0,641, а для выбора стратегии с подглядыванием в тест (oracle selection), 0,662. Шлюз, таким образом, немного обходит постоянное удаление и близок к оракулу.
Авторы подчёркивают: точки пересечения кривых по глобальной точности требуют эталонных (gold) меток и являются диагностикой, специфичной для модели и задачи, а не порогами для практического применения. Вывод: удаление следует считать решением, чувствительным к цене ошибки. Нужно проверять риск ошибочного удаления критичных для запроса фактов на сопоставимых данных, а если такой проверки нет, по умолчанию сохранять факты без опоры на метки.
Ключевые факты
- Жёсткое удаление «устаревших» фактов из памяти агента может снижать точность, если ошибки резолвера стирают факты, критичные для запроса.
- На трёх моделях эффект hard-drop меняется с прироста +0,186…+0,230 при идеальном разрешении на потери −0,176…−0,181 при самой низкой проверенной надёжности.
- Ошибочное удаление нужного факта (false-drop) вредит значимо сильнее, чем ошибочное сохранение лишнего (false-keep); вариант без удаления тоже может подвести из-за неверных меток.
- На разбиении 102/102 простой шлюз даёт точность 0,655 против 0,641 у «всегда удалять» и 0,662 у выбора с подглядыванием в тест.
- Рекомендация авторов: считать удаление решением, чувствительным к цене ошибки; без проверки на сопоставимых данных по умолчанию сохранять факты без опоры на метки.
Почему это важно
Забывание, привычный приём в памяти агентов: она не должна разрастаться и копить устаревшее. Работа указывает на скрытую цену: ошибки резолвера могут удалить факты, критичные для запроса. По результатам контролируемого вмешательства на трёх моделях при низкой надёжности резолвера выгода от удаления сменяется потерями.
Кому это важно
Разработчикам агентов и систем долговременной памяти для больших языковых моделей, которые держат в памяти факты с пометкой «актуально/устарело» и удаляют отмеченное. Также тем, кто оценивает такие системы: средняя точность может скрывать провалы на запросах, где удалённый факт был ключевым.
Как это применить
Практический совет авторов: не удалять по умолчанию. Перед удалением проверьте риск ошибочного удаления критичных для запроса фактов на данных, сопоставимых с боевыми. Если такой проверки нет, лучше сохранять факты, не полагаясь на метки. Пороги из статьи переносить на свою систему нельзя: авторы называют точки пересечения диагностикой, специфичной для модели и задачи. Простой шлюз, согласованный с условиями развёртывания, в их эксперименте оказался немного лучше постоянного удаления.
Можно ли доверять
Это препринт на arXiv, и мы видели только его аннотацию. В тексте аннотации не названы авторы и организации, сами три модели и задачи. Не указаны и доверительные интервалы для показателей 0,655, 0,641 и 0,662. Разница между шлюзом и всегда-удалением на выборке 102 тестовых примеров небольшая, поэтому её устойчивость не оценить. Не описано и то, как устроен шлюз. Сильнее выглядит качественный вывод (знак эффекта меняется при падении надёжности резолвера), чем сравнение стратегий.
Риски и подводные камни
Результаты относятся к контролируемым вмешательствам и конкретным моделям и задачам; авторы сами предупреждают, что пересечения по глобальной точности требуют эталонных меток и не годятся как боевые пороги. Отказ от удаления не панацея: базовый вариант без удаления тоже может подвести, если неверные метки направляют генерацию. Проверка риска на сопоставимых данных требует размеченного материала, которого у команды может не быть.
«Удаление следует рассматривать как решение, чувствительное к цене ошибки: проверяйте риск ошибочного удаления критичных для запроса фактов на сопоставимых данных или, если такая проверка недоступна, по умолчанию сохраняйте факты без опоры на метки.»
— Авторы статьи, аннотация на arXiv