Гипотезу сновидений проверили на агенте Claude Opus 5.5: порча памяти не помогла
Хоэл (2021) предположил, что сновидения искажают воспроизводимый опыт, чтобы мозг не переобучался на недавних событиях. Авторы статьи на arXiv проверили эту гипотезу на ИИ-агенте на базе Claude Opus 5.5. Агент хранит всё, чему научился, в текстовой памяти и каждую «ночь» переписывает её по транскрипту разговоров за день.
Устройство эксперимента. Агент проживает десять смоделированных дней разговоров, собранных на основе набора LongMemEval. Перед каждым ночным переписыванием памяти искажают 5, 10, 20 или 40 процентов реплик транскрипта, одним из двух способов. «Порча деталей» меняет в реплике одну-две детали на правдоподобные, но неверные, либо подменяет реплику репликой того же собеседника из более раннего дня. «Порча случайным текстом» заменяет половину выбранных реплик отрывком из «Моби Дика», а в другую половину вставляет слова из этого романа. Чтобы память приходилось «забывать», её размер ограничен: лимит растёт от 19 500 до 117 000 токенов за десять ночей и задан по данным о свободном воспроизведении у людей.
Результаты. Искажение не помогло агенту применять то, что он узнал в прежних разговорах, к новым задачам ни в одном из 30 запусков (десять условий и три разные истории разговоров). Замена деталей в 40 процентах реплик снизила полноту воспоминаний (recall) с 76 до 60 процентов. Случайный текст не дал устойчивого эффекта: при 40 процентах парная разница составила 0 ± 2 пункта. Авторы объясняют это тем, что модель распознала такой текст как испорченный и не стала записывать его в память.
Подменённые детали, напротив, записывались как факты, даже если другая реплика содержала верное значение. На такие вопросы агент отвечал правильно в 40 процентах случаев против 75 процентов без искажений.
Вывод авторов осторожный: результаты говорят о том, что предобученная модель способна отличать испорченный текст от реальных событий. Поэтому для честной проверки нужен «обучающийся», который делает это труднее, например, модель, дообученная на испорченных днях, или агент, чьи дни проходят в вымышленном мире.
Ключевые факты
- Агент на Claude Opus 5.5 хранит знания в текстовой памяти и каждую ночь переписывает её по транскрипту дневных разговоров; всего десять смоделированных дней на основе LongMemEval.
- Перед переписыванием искажали 5, 10, 20 или 40 процентов реплик: либо подменяли детали, либо подставляли «Моби Дика». Ни в одном из 30 запусков это не помогло применять усвоенное к новым задачам.
- Замена деталей в 40 процентах реплик снизила recall с 76 до 60 процентов; подставленные детали записывались как факты, и верных ответов было 40 процентов против 75 без искажений.
- Случайный текст не дал устойчивого эффекта (разница 0 ± 2 пункта при 40 процентах): модель распознала его как испорченный и не записала в память.
- Авторы считают, что для честной проверки гипотезы нужен обучающийся, которому труднее отделять испорченное от реального: дообученная на испорченных днях модель или агент в вымышленном мире.
Почему это важно
Гипотеза Хоэла (2021) объясняет сновидения как защиту от переобучения: искажая пережитое, мозг не зацикливается на недавних событиях. Работа переносит идею на ИИ-агента с текстовой памятью и проверяет её на практике. Результат отрицательный: искажение не помогло агенту обобщать усвоенное на новые задачи ни в одном из 30 запусков. Любопытно и побочное наблюдение: подставленные неверные детали агент записывал как факты, а случайный текст отсекал.
Кому это важно
Тем, кто строит ИИ-агентов с долговременной текстовой памятью, которая переписывается между сессиями, и тем, кто интересуется связью нейронауки и машинного обучения. Для практиков полезен вывод о том, как такая память ведёт себя при испорченных входных данных: подменённые детали закрепляются в ней как факты.
Как это применить
Прямого рецепта работа не даёт: она показывает, что простое «навести шум» в дневном транскрипте перед обновлением памяти агента не улучшает перенос знаний. Из результатов следует практическое наблюдение: правдоподобные неверные детали вредят памяти заметнее, чем явный мусор, поэтому в конвейерах с самообновляемой памятью стоит следить за проверкой фактов, а не за добавлением шума. Для повторения опыта авторы описали схему: десять дней, четыре уровня порчи, два типа искажений, ограничение памяти от 19 500 до 117 000 токенов.
Можно ли доверять
Это препринт на arXiv, и пересказ построен на его аннотации. Эксперимент проведён на одной модели, Claude Opus 5.5; результаты для других моделей не приводятся. Сами авторы формулируют вывод осторожно («результаты говорят о том…») и признают, что для честной проверки нужен другой тип обучающегося. Работа не опровергает гипотезу Хоэла для мозга: проверялся предобученный ИИ-агент. В аннотации приведён только результат по замене деталей при 40 процентах порчи, а данные о полноте воспоминаний при 5, 10 и 20 процентах в ней не указаны.
Риски и подводные камни
Главное ограничение, о котором пишут сами авторы: предобученная модель способна отличать испорченный текст от реальных событий, поэтому тест мог оказаться нечестным для гипотезы. Дообученная на испорченных днях модель и агент в вымышленном мире предложены лишь как будущие проверки, но не опробованы. Кроме того, порча деталей привела к ухудшению: полнота воспоминаний упала с 76 до 60 процентов, а на вопросы с подменёнными деталями верно отвечали 40 процентов против 75 без искажений. Переносить результат на мозг или на другие архитектуры памяти нельзя.
«Эти результаты говорят о том, что предобученная модель способна отличать испорченный текст от реальных событий.»
— Авторы статьи, аннотация на arXiv