Qwen2.5-1.5B быстрее заново выучивает забытый факт: исследование

Авторы препринта на arXiv задаются вопросом: когда факт из языковой модели стало труднее извлечь, модель его потеряла или он просто стал менее доступен? Нейросети, которые обновляют свои параметры прямо во время работы (непрерывное обучение на лету, test-time continual learning), обычно оценивают по текущей точности ответов. Авторы проверяют, отражает ли такая оценка то, как прошлый опыт влияет на последующие обновления.

Специально проверяется, даёт ли выучивание конкретной фактической связки (binding) преимущество при повторном обучении сверх простого знакомства с самим объектом, словарём ответов, форматом или «слотом» запроса. Эксперимент проведён на Qwen2.5-1.5B. Сравниваются три согласованные и уравновешенные по порядку истории: у LEARNED модель получает правильную связку; у CONTROL, такое же по объёму знакомство с материалом, но без этой связки; у WRONG, конкурирующий ответ, допустимый по типу отношения, в том же слоте.

После одинакового потока непрерывного дообучения без повторения (rehearsal-free) LEARNED заново осваивает целевой факт быстрее, чем CONTROL, на заранее заданной контрольной точке частичного забывания. WRONG не показывает положительного преимущества над CONTROL; его сравнение с LEARNED служит подтверждением с учётом слота, хотя возможна помеха со стороны конкурирующего ответа. Преимущество остаётся положительным и после поправки на измеренное поведение модели до повторного обучения.

В дополнительной описательной оценке на непарном пуле «ни разу не виденных» фактов прежнее обучение сокращает число шагов оптимизатора, нужных для восстановления, примерно на 18%. Вывод авторов: текущая поведенческая точность может недооценивать долговременный эффект ранее полученного опыта. Код опубликован на GitHub: https://github.com/zhezhou1106/relearning-savings.

Ключевые факты

Эксперимент на Qwen2.5-1.5B: сравнивают три согласованные истории, LEARNED (правильная связка), CONTROL (то же знакомство без неё), WRONG (конкурирующий ответ в том же слоте).
После одинакового дообучения без повторения LEARNED восстанавливает факт быстрее CONTROL на заранее заданной контрольной точке частичного забывания.
WRONG не даёт положительного преимущества над CONTROL; преимущество LEARNED остаётся положительным и после поправки на измеренное поведение до повторного обучения.
Во вторичной описательной оценке на непарном пуле невиданных фактов прежнее обучение сокращает число шагов оптимизатора для восстановления примерно на 18%.
Авторы делают вывод: текущая точность ответов может недооценивать долговременный эффект прежнего опыта; код опубликован на GitHub.

Почему это важно

Обычно нейросеть, которая начала отвечать неверно, считают «забывшей» факт. Работа предлагает иной взгляд: факт может остаться в модели в скрытом виде и проявиться как «экономия» при повторном обучении, хотя по точности ответов он уже не виден. Для систем, которые обновляют параметры во время работы, это значит, что одной текущей точности для оценки мало.

Кому это важно

Исследователям непрерывного обучения и обучения на лету, а также тем, кто оценивает забывание в языковых моделях и проектирует для этого метрики. Для обычных пользователей нейросетей прямых выводов в работе нет.

Как это применить

Напрямую это не продукт, а методика оценки: сравнивать, как быстро модель заново осваивает факт при разных историях обучения (с выученной связкой, с контролем, с конкурирующим ответом), а не только смотреть на точность. Код исследования опубликован: https://github.com/zhezhou1106/relearning-savings. О цене или лицензии в тексте источника ничего не сказано.

Можно ли доверять

Это препринт на arXiv; в доступном тексте названа только одна модель, Qwen2.5-1.5B, и не указаны авторы, организации, число фактов и запусков, доверительные интервалы и статистическая значимость. Размер основного эффекта (LEARNED против CONTROL) не приведён; единственное число, около 18%, вторичная описательная оценка на непарном пуле, а не основной тест. Сами авторы оговаривают возможную помеху от конкурирующего ответа в сравнении с WRONG.

Риски и подводные камни

Результат получен на одной небольшой модели, поэтому переносить его на более крупные модели или промышленные системы нельзя: об этом в источнике ничего не заявлено. Цифру 18% не стоит читать как итог основного эксперимента. Сравнение с WRONG зависит от возможного влияния конкурирующего ответа в том же слоте, а формулировка вывода у авторов осторожная: точность «может» недооценивать эффект, а не «всегда недооценивает».

«Поэтому текущая поведенческая точность может недооценивать долговременный эффект ранее полученного опыта.»

— Из аннотации препринта