Как трансформеры забывают промпт: «условная теорема об отсутствии волос»
В препринте задан вопрос: сколько от промпта помнит авторегрессионный трансформер после генерации t токенов. Эксперимент устроен так: берут два разных промпта и продолжают их одним и тем же текстом, поэтому любое различие скрытых состояний определяется только промптом. Авторы находят, что расстояние между скрытыми состояниями убывает примерно по степенному закону t^{-α}. Чем меньше α, тем дольше память. Эталонное значение α=1, это скорость, с которой доля фиксированного промпта в равномерном внимании уменьшается по мере роста контекста.
Измеренные показатели: обученные модели забывают быстро (α примерно 0,55-0,7), необученные, медленно (α примерно 0,2-0,5).
Теоретическая часть: авторы доказывают, что этот сдвиг не превышает O(P (log t)^{L-1} / t) для промпта длины P и глубины сети L. Оценка верна для pre-LN softmax-трансформеров конечной глубины с ограниченными логитами внимания при одном дополнительном условии: активации перед нормализацией остаются вдали от нуля.
Механизм, по словам авторов, геометрический: прямое влияние промпта разбавляется по мере роста контекста, а «эстафета» (continuation-токены передают дальше то, что более ранние токены прочитали из промпта) может добавить лишь логарифмические множители. Это и названо условной теоремой об отсутствии волос (conditional no-hair theorem): при заданном уже сгенерированном тексте влияние промпта на следующий токен исчезает с ростом t, а любое свойство промпта, которое сохраняется, например его язык, должно переноситься самим текстом.
Для проверки точности оценки построена точно решаемая линейная модель эстафеты. Она показывает, что оценку нельзя улучшить, и воспроизводит рост локального показателя к 1, который наблюдается в необученных сетях. Наконец, если компенсировать разбавление смещением логитов (logit bias), затухание останавливается в начале обучения и разворачивается после него. Отсюда вывод авторов: разбавление необходимо для измеренного забывания, а опыты на необученных сетях и решаемая модель показывают, что оно и достаточно.
Ключевые факты
- Расстояние между скрытыми состояниями для двух разных промптов с одинаковым продолжением убывает примерно как t^{-α}; α=1, эталонная скорость уменьшения доли промпта в равномерном внимании.
- Обученные модели забывают быстрее (α примерно 0,55-0,7), необученные, медленнее (α примерно 0,2-0,5).
- Доказана верхняя оценка сдвига O(P (log t)^{L-1} / t) для промпта длины P и глубины L; она верна для pre-LN softmax-трансформеров конечной глубины с ограниченными логитами внимания, если активации перед нормализацией не приближаются к нулю.
- Механизм, разбавление прямого влияния промпта по мере роста контекста; передача информации «эстафетой» добавляет лишь логарифмические множители.
- Решаемая линейная модель показывает, что оценка неулучшаема; опыты с компенсацией разбавления через смещение логитов подтверждают, что разбавление необходимо и достаточно для измеренного забывания.
Почему это важно
Работа даёт теоретическое объяснение тому, как авторегрессионный трансформер «забывает» исходный промпт по мере генерации: влияние промпта на скрытые состояния падает степенным образом, а не остаётся постоянным. Главный вывод в формулировке авторов: при заданном уже сгенерированном тексте влияние промпта на следующий токен исчезает с ростом t, и всё, что от промпта сохраняется (например, язык), должно переноситься самим текстом.
Кому это важно
В первую очередь исследователям архитектуры трансформеров и теоретикам, изучающим внимание, глубину сети и динамику скрытых состояний. Работа опирается на конкретный класс моделей: pre-LN softmax-трансформеры конечной глубины с ограниченными логитами внимания.
Как это применить
Это теоретический препринт; практические выводы для составления промптов, безопасности или работы с длинным контекстом в нём не заявлены. Прикладная ценность пока в инструментах анализа: оценке O(P (log t)^{L-1} / t), решаемой модели эстафеты и методике сравнения двух промптов с одинаковым продолжением.
Можно ли доверять
Доказательство и измерения представлены самими авторами; здесь пересказан только текст аннотации страницы на Hugging Face. В аннотации не названы авторы и организации, конкретные модели, наборы данных и длины контекста. Диапазоны показателя α даны приблизительно, без значений по отдельным моделям и без оценок разброса. Это препринт, независимой проверки в источнике нет.
Риски и подводные камни
Теорема доказана при оговорённых условиях: конечная глубина, pre-LN, softmax, ограниченные логиты внимания и активации перед нормализацией, не приближающиеся к нулю. Аннотация не утверждает, что результат распространяется на другие архитектуры, на неограниченные логиты или на случаи, когда активации близки к нулю. Измеренные показатели α, эмпирические, приблизительные диапазоны, а α=1, эталонная скорость, а не измеренный результат.
«При заданном уже сгенерированном тексте влияние промпта на следующий токен исчезает с ростом t, поэтому любое свойство промпта, которое сохраняется, например его язык, должно переноситься самим текстом.»
— Из аннотации препринта «A Conditional No-Hair Theorem for Transformers: How Language Models Forget Their Prompt»