Статья на arXiv: нейросеть без внимания на многообразиях Грассмана почти догнала трансформеры

В препринте «Attention Is Not What You Need», поданном в arXiv (раздел cs.LG) 22 декабря 2025 года, ставится базовый вопрос: нужен ли явный self-attention (механизм внимания), чтобы получать сильные результаты в моделировании последовательностей и рассуждениях. Авторы трактуют стандартное многоголовое внимание как «тензорный подъём»: скрытые векторы отображаются в многомерное пространство попарных взаимодействий, а обучение методом градиентного спуска постепенно ограничивает этот поднятый тензор. По их оценке, такой механизм чрезвычайно выразителен, но математически непрозрачен: после многих слоёв модель трудно описать небольшим набором явных инвариантов.

В качестве альтернативы предложена архитектура без внимания на основе потоков Грассмана. Вместо матрицы внимания размера L на L слой Causal Grassmann делает три шага: линейно сжимает состояния токенов, кодирует локальные пары токенов как двумерные подпространства на многообразии Грассмана через плюккеровы координаты и возвращает эти геометрические признаки в скрытые состояния с помощью управляемого (gated) смешивания. Информация, по описанию авторов, распространяется контролируемыми деформациями подпространств малого ранга по многомасштабным локальным окнам, так что основные вычисления идут на конечномерном многообразии, а не в неструктурированном тензорном пространстве.

Результаты два. На бенчмарке языкового моделирования Wikitext-2 чисто грассмановы модели с 13-18 млн параметров достигают валидационной перплексии в пределах примерно 10-15% от трансформеров сопоставимого размера, то есть трансформеры всё же лучше, абсолютных значений перплексии в тексте нет. На задаче вывода по тексту SNLI голова Grassmann-Plücker поверх DistilBERT слегка обходит голову-трансформер: лучшая точность на валидации и тесте 0,8550 и 0,8538 против 0,8545 и 0,8511.

Кроме того, авторы анализируют сложность грассманова смешивания и показывают линейный рост по длине последовательности при фиксированном ранге. Они утверждают, что подобные дизайны на многообразиях дают более структурированный путь к геометрическим и инвариантным интерпретациям нейросетевых рассуждений.

Ключевые факты

Препринт от 22 декабря 2025 года (arXiv, cs.LG) предлагает слой Causal Grassmann, заменяющий матрицу внимания L на L геометрическими операциями на многообразии Грассмана.
На Wikitext-2 чисто грассмановы модели с 13-18 млн параметров укладываются примерно в 10-15% от валидационной перплексии трансформеров того же размера.
На SNLI голова Grassmann-Plücker поверх DistilBERT чуть впереди трансформерной головы: 0,8550 и 0,8538 против 0,8545 и 0,8511 (валидация и тест).
Для фиксированного ранга авторы показывают линейный рост вычислений по длине последовательности.
Главный довод авторов, интерпретируемость: вычисления на конечномерном многообразии проще описывать инвариантами, чем непрозрачное внимание.

Почему это важно

Работа возвращается к вопросу, который обычно считают закрытым: обязателен ли self-attention. Авторы не заявляют о превосходстве, а предлагают более структурированную альтернативу и аргументируют её прежде всего интерпретируемостью и линейным ростом по длине последовательности при фиксированном ранге. На Wikitext-2 разрыв с трансформерами остаётся, поэтому это скорее исследовательская заявка, чем замена привычной архитектуры.

Кому это важно

Исследователям архитектур без внимания, интерпретируемости нейросетей и геометрических методов в глубоком обучении. Практикам, выбирающим модель для продукта, пока нечего внедрять: результаты получены на малых моделях.

Как это применить

Напрямую применять нечего. Идея полезна как направление для экспериментов: заменить слой внимания слоем Causal Grassmann и сравнить его с трансформером на небольших задачах вроде Wikitext-2 или SNLI. Для оценки стоит обратиться к полному тексту статьи (PDF или HTML на arXiv), где описаны детали реализации.

Можно ли доверять

Это препринт на arXiv. Рецензирование, публикация кода и независимое воспроизведение в источнике не упомянуты. Авторы и организации в аннотации не названы. Разрыв на Wikitext-2 указан как «в пределах примерно 10-15%», абсолютные значения перплексии не приведены. Выигрыш на SNLI крошечный (0,8550 против 0,8545 на валидации, 0,8538 против 0,8511 на тесте), значимость и повторные запуски не упомянуты. Выводы про интерпретируемость, аргумент авторов, а не измеренный результат.

Риски и подводные камни

Тестировались только малые модели (13-18 млн параметров), результатов в большем масштабе нет. Голова Grassmann-Plücker на SNLI стоит поверх DistilBERT, который сам построен на трансформере, поэтому этот результат не показывает модель, полностью свободную от внимания. Заявленная линейность по длине относится к фиксированному рангу; данных о скорости, памяти и оборудовании нет, так что практический выигрыш по ресурсам не подтверждён.

«Этот механизм чрезвычайно выразителен, но математически непрозрачен.»

— из аннотации статьи «Attention Is Not What You Need» о механизме внимания