Исследование: чистка истории ИИ-агента вредит, если ошибка осталась в мире

Агенты на основе языковых моделей, которые пользуются инструментами, копят историю собственных ошибок. Системы, которые сжимают, чинят или передают такую историю дальше, решают, что в ней сказано об ошибках, а последствия этих ошибок остаются в среде, в которой работает агент. Авторы статьи на arXiv напоминают, что прежние работы чистили историю при неизменном состоянии мира: там показ исправленного шага и утверждение «готово» шли вместе. Исследователи спрашивают: один и тот же верный контент помогает или вредит в зависимости от того, как история его формулирует и что на самом деле содержит мир?

Метод: агента замораживают посреди задачи вместе с точным состоянием мира, затем правят историю или сам мир, и модель-получатель продолжает работу.

На AgentCE-Bench агент сначала вносит неверное значение. Мир фиксируют и добавляют верное значение двумя естественными способами: правдивой заметкой рядом с сохранённой ошибкой или собственным завершённым действием агента. Заметка поднимает долю восстановления (доля оставшихся целей, которые получатель выполняет верно) с 51% при сопоставимой нейтральной заметке до 66%. Завершённое действие, наоборот, опускает восстановление ниже уровня неотредактированной истории, с 50% до 44%. Поэтому одно только присутствие верного значения не предсказывает эффект.

На AppWorld после записи в базу данных меняют два фактора: сообщает ли квитанция об успехе или о сбое и присутствует ли на самом деле результат записи. Квитанция об успехе снижает долю успешно решённых задач целиком с 45% до 28%, пока результата нет, и повышает её с 38% до 49%, когда результат присутствует. Разница между двумя эффектами, 27 пунктов в сумме по двум получателям; она положительна у шести из восьми получателей на уровне 97,5% и у семи на уровне 95%.

Итог авторов: эффект правки истории зависит от того, какой мир она описывает. История, которая выглядит чистой, пока в мире ещё лежит ошибка, может оставить агента в худшем положении, чем отсутствие правки вовсе.

Ключевые факты

  • На AgentCE-Bench правдивая заметка рядом с сохранённой ошибкой поднимает восстановление с 51% (нейтральная заметка) до 66%.
  • Собственное завершённое действие агента с верным значением снижает восстановление с 50% до 44%, ниже неотредактированной истории.
  • На AppWorld квитанция об успешной записи в базу снижает успех задачи целиком с 45% до 28%, пока результата записи нет, и повышает с 38% до 49%, когда он есть.
  • Разница между этими двумя эффектами, 27 пунктов (пул по двум получателям); положительна у шести из восьми получателей на уровне 97,5% и у семи на уровне 95%.
  • Вывод авторов: эффект правки истории зависит от мира, который она описывает, а «чистая» история при неисправленном мире может навредить сильнее, чем отсутствие правки.

Почему это важно

Сжатие, ремонт и передача истории агента между сессиями или моделями, обычная практика для агентов с инструментами. Работа показывает, что оценивать такую правку только по тому, как выглядит история, недостаточно: важно, совпадает ли написанное с состоянием мира. Прежние подходы, по описанию авторов, чистили историю при фиксированном мире, где показ исправленного шага и слова «сделано» идут вместе. Здесь эти две вещи разведены, и оказывается, что одно и то же верное содержание может как помогать, так и вредить.

Кому это важно

Разработчикам агентных систем и инструментов, которые сжимают контекст, «чинят» историю или передают её другой модели. Также исследователям, оценивающим устойчивость агентов к собственным ошибкам и тестирующим их на бенчмарках вроде AgentCE-Bench и AppWorld.

Как это применить

Прямых рекомендаций для разработчиков в аннотации нет. Из вывода авторов можно лишь осторожно заключить, что при редактировании или резюмировании истории стоит учитывать, исправлена ли ошибка в самой среде, а не только в тексте истории. Конкретные способы проверки в источнике не описаны.

Можно ли доверять

Это препринт на arXiv, и пересказ опирается только на аннотацию. В ней не названы авторы и организации, не названы модели-получатели, не указаны размеры выборок и число задач. Из доверительных уровней приведены лишь 97,5% и 95% для знака разницы по получателям. Нет сведений, как числа AppWorld распределены по получателям и объединена ли цифра 50% и 44% по получателям. О публикации кода или данных в тексте ничего не сказано.

Риски и подводные камни

Результаты получены на двух бенчмарках и при конкретных способах правки (заметка, завершённое действие, квитанция), поэтому переносить цифры на другие системы нельзя. Формулировка авторов осторожная: «чистая» история «может» оставить агента хуже, чем без правки, это не закон для всех случаев. Сравнение 51% и 66% идёт с нейтральной заметкой, а 50% и 44%, с неотредактированной историей: это разные базовые уровни, их нельзя смешивать.