Представлена Muir: линейное внимание снижает перплексию на 1,8-2,0% против GDN-2

Представлена Muir: линейное внимание снижает перплексию на 1,8-2,0% против GDN-2

Линейное внимание сжимает контекст в состояние фиксированного размера (ключ, значение), поэтому обучение занимает линейное время, а память при выводе постоянна. Модели с гейтированным дельта-правилом постепенно «затухают» это состояние и перед записью нового значения стирают то, что состояние уже предсказывает для входящего ключа. Gated DeltaNet-2 (GDN-2) обобщает такой подход: у него затухание по каналам и разделённые полноранговые гейты (вентили) стирания и записи.

Авторы показывают, что обновления состояния гораздо менее чувствительны к стиранию, чем к записи. Активация ключей и нормировка до единичной длины концентрируют энергию ключа на разреженном подмножестве каналов, тогда как запись значений масштабирует все каналы. Поэтому гейт стирания можно параметризовать с меньшим рангом. Кроме того, строки состояния с медленным затуханием накапливают намного большие нормы, чем быстрые: они доминируют при невзвешенном считывании и вынуждают сильнее стирать при записи, чтобы подавить интерференцию.

На этом анализе построена Muir. Она объединяет все гейты в одну низкоранговую проекцию с распределением по чувствительности, перевзвешивает строки состояния гейтом считывания по принципу согласованного фильтра (matched-filter readout gate) и вкладывает сэкономленные параметры в более широкую сеть прямого распространения (feed-forward). Отдельно авторы разработали параллельное обновление: стандартные блочные (chunkwise) алгоритмы становятся численно неустойчивыми при больших размерах блока, а они нужны, чтобы загрузить широкие матричные блоки ускорителя.

Результаты, заявленные в аннотации: на моделях от 166M до 1,34B параметров Muir снижает перплексию на 1,8-2,0% относительно GDN-2 и на 2,5-3,6% относительно Transformer; это относительное снижение, а значения по размерам отдельно не приведены. Точность на задачах здравого смысла (commonsense) растёт до 1,9 пункта, улучшается и извлечение фактов из контекста (extractive recall) по сравнению с GDN-2.

На масштабе 1,34B Muir превосходит обе базовые модели на задачах multi-hop и multi-needle recall (многошаговый поиск и поиск нескольких «иголок» в контексте). Модель экстраполируется в 2560 раз: с длины обучения 4K до потоков в 10M токенов без дрейфа перплексии. Кроме того, она сохраняет близкую к 100% точность поиска passkey (ключа в длинном тексте) до 1M токенов при статическом считывании.

По скорости авторы заявляют, что Muir не уступает GDN-2 по пропускной способности, достигает своего значения валидационного лосса на 100 млрд токенов в 1,2 раза быстрее (с чем именно сравнение, в аннотации не уточняется) и обучается в 2,7 раза быстрее Transformer при длине 32K.

Ключевые факты

  • Muir объединяет все гейты в низкоранговую проекцию, распределённую по чувствительности, добавляет гейт считывания по принципу согласованного фильтра и вкладывает сэкономленные параметры в более широкую feed-forward сеть.
  • На 166M, 1,34B параметров перплексия ниже на 1,8-2,0% относительно GDN-2 и на 2,5-3,6% относительно Transformer; точность на задачах здравого смысла выше до 1,9 пункта.
  • На 1,34B модель экстраполируется с 4K обучающей длины до потоков в 10M токенов (в 2560 раз) без дрейфа перплексии и держит близкий к 100% поиск passkey до 1M токенов со статическим считыванием.
  • Пропускная способность на уровне GDN-2; обучение в 2,7 раза быстрее Transformer при 32K.
  • Для стабильности при больших блоках авторы разработали параллельное обновление вместо стандартных блочных алгоритмов.

Почему это важно

Линейное внимание, одна из попыток уйти от квадратичной стоимости обычного Transformer на длинных контекстах. Muir развивает линию гейтированных дельта-моделей и, по заявлению авторов, выигрывает у GDN-2 по перплексии при той же пропускной способности, а также держит перплексию на потоках в 10M токенов. Ключевая идея, перераспределить параметры: стирание требует меньшего ранга, чем запись, а сэкономленное идёт в более широкую feed-forward сеть.

Кому это важно

Исследователям архитектур языковых моделей, прежде всего линейного внимания, моделей пространства состояний и гибридов, а также командам, которым нужны длинные контексты с постоянной памятью при выводе. Для прикладных пользователей нейросетей это пока фундаментальная работа.

Как это применить

В аннотации не приведено ничего о выпуске кода или весов, поэтому практическое применение сейчас сводится к изучению идей: низкоранговое стирание, перевзвешивание строк состояния при считывании и параллельное обновление для больших блоков. Сравнивать с собственными линейными архитектурами стоит на сопоставимых размерах 166M, 1,34B.

Можно ли доверять

Это препринт на странице Hugging Face Papers; независимой проверки или рецензирования в аннотации не упомянуто. Все цифры, заявления авторов. Абсолютные значения перплексии и названия бенчмарков в аннотации не указаны, а проценты, относительные снижения. Прирост на задачах здравого смысла «до 1,9 пункта» не привязан к конкретному базовому методу. Масштаб экспериментов ограничен 1,34B параметров.

Риски и подводные камни

Результаты показаны на моделях до 1,34B параметров, и перенос на более крупные размеры не доказан. Улучшение перплексии на 1,8-2,0% невелико по абсолютной величине и не гарантирует такого же выигрыша на практических задачах. Утверждение про скорость в 1,2 раза не уточняет базу сравнения. Passkey-поиск до 1M токенов подтверждён только для модели 1,34B со статическим считыванием.