Учёные нашли «внутренние часы» в диффузионных языковых моделях

Диффузионные языковые модели (DLM), альтернатива привычным авторегрессионным моделям вроде GPT: вместо генерации текста слово за словом они постепенно «очищают» текст от шума за несколько шагов. В отличие от классических диффузионных моделей для изображений, DLM не получают на вход явный номер шага (timestep), модель не знает напрямую, на каком этапе шумоподавления она находится. Авторы работы задались вопросом: раз модели явно не сообщают номер шага, может ли она сама «догадываться» об этом внутри себя и как эта информация используется? Ответ, да. Исследователи обнаружили, что DLM кодируют скрытое представление, связанное с этапом диффузии, прямо во внутренних активациях сети (в так называемом residual stream, потоке, который проходит через все слои модели). Это представление удалось надёжно считать с помощью линейных «зондов» (probes), простых классификаторов, обученных распознавать нужный сигнал в активациях разных слоёв. Дальше авторы пошли на шаг вперёд: они нашли низкоразмерное подпространство активаций, связанное именно с этим внутренним «номером шага», и показали, что если сдвигать активации модели вдоль этого подпространства (техника steering), можно искусственно менять то, как модель «ощущает» свой прогресс шумоподавления. Это приводит к предсказуемым изменениям уверенности модели (confidence) и энтропии её предсказаний, то есть управляя одним найденным направлением в пространстве активаций, можно управлять поведением модели. Наконец, авторы проанализировали геометрию этого представления и показали, что оно структурировано и интерпретируемо, то есть не хаотично разбросано по активациям, а имеет понятную внутреннюю организацию.

Ключевые факты

Диффузионные языковые модели (DLM), альтернатива авторегрессионным моделям; в отличие от диффузионных моделей для изображений, они не получают явного номера шага (timestep) на вход
Несмотря на это, модели сами кодируют скрытое представление прогресса шумоподавления внутри внутренних активаций (residual stream)
Сигнал надёжно извлекается линейными зондами (probes), обученными на активациях разных слоёв сети
Сдвиг активаций вдоль найденного низкоразмерного подпространства позволяет искусственно менять «ощущение» моделью своего прогресса, это предсказуемо влияет на уверенность модели и энтропию предсказаний
Геометрия найденного представления структурирована и интерпретируема, а не хаотична

Почему это важно

Работа, вклад в интерпретируемость: понимание того, что именно происходит внутри модели, а не только что она выдаёт на выходе. До этого исследования было неочевидно, отслеживают ли DLM свой прогресс шумоподавления вообще, раз им явно не сообщают номер шага. Обнаружение такого скрытого «внутреннего таймера» показывает, что модели формируют собственные представления о процессе генерации, даже когда их этому прямо не учили, это расширяет понимание того, как устроены диффузионные модели текста изнутри.

Кому это важно

Прежде всего исследователям в области интерпретируемости и разработчикам диффузионных языковых моделей, тем, кто изучает внутреннее устройство нейросетей и ищет способы контролировать их поведение, а не только оценивать результат на выходе. Работа также полезна разработчикам инструментов для отладки и анализа генеративных моделей.

Как это применить

Найденная техника steering (сдвиг активаций вдоль выявленного подпространства) в перспективе может использоваться как способ управлять поведением модели без переобучения, например, влиять на уверенность и энтропию предсказаний на определённых этапах генерации. Линейные зонды, извлекающие сигнал прогресса шумоподавления, могут применяться как диагностический инструмент для анализа состояния модели во время генерации.

Можно ли доверять

Материал, научная работа, опубликованная на Hugging Face Papers со ссылкой на конкретный препринт; на момент публикации у неё 34 балла и 2 комментария в обсуждении на площадке. Текст, доступный для пересказа, это авторская аннотация (abstract) работы; полных деталей методологии и экспериментов она не раскрывает.

Риски и подводные камни

Это фундаментальное исследование на уровне обнаружения эффекта, а не готовый практический инструмент: авторская аннотация не раскрывает, на каких именно моделях и датасетах проводились эксперименты, насколько эффект переносится между разными архитектурами DLM и насколько устойчиво управление через steering в различных условиях генерации.