Latent Lattice Language Models: у каждого слоя трансформера появились скрытые потоки во времени

На странице проекта (аффилиации указаны только как MIT и Adobe) описаны Latent Lattice Language Models (LLLM). Идея: вместо того чтобы наращивать вычисления на токен через более глубокие или зацикленные слои, увеличить число активных вычислительных состояний, которые модель держит одновременно. Для этого к обычному вертикальному потоку остатков (residual stream), идущему через глубину сети, добавлен «Lattice of Latents», набор горизонтальных скрытых потоков по одному на слой, которые рекуррентно проходят вдоль времени, то есть сохраняются от токена к токену.

Авторы противопоставляют подход двум семействам. С hyper-connections, mHC, а также остаточными связями для внимания и значений (value residuals) его роднит то, что он улучшает поток остатков, но он не добавляет и не перенаправляет остаточные пути по глубине, а даёт сопутствующие вычислительные состояния, живущие между токенами. От гибридов Transformer, SSM он отличается тем, что рекуррентные состояния там в основном служат внутренней памятью для смешивания последовательности, а здесь латенты напрямую влияют на внимание вертикального потока, записи в KV-кэш, вычисления MLP и декодирование.

Главные результаты, которые приводят авторы. Для трансформеров, обученных на 20B токенов FineWeb-Edu, модель Lattice на 406M параметров снижает валидационную перплексию с 15,41 до 14,40 по сравнению с трансформером с тем же числом параметров (меньше, лучше). Чтобы сохранить равенство по параметрам, у моделей с решёткой вертикальная ширина сужена с 1024 до 932 (модели на 400M параметров, 20B токенов). Решётка сочетается с прежними улучшениями потока остатков: вместе с hyper-connections и входными остатками перплексия падает с 15,41 (базовый трансформер) и 14,22 (трансформер с теми же добавками) до 13,61.

Для рекуррентных моделей, Gated DeltaNet, Mamba-2, Triadic GDN и гибридов GDN, Mamba-2, решётка улучшает перплексию при каждом проверенном размере собственного состояния. Варианты Lattice-GDN и Lattice-Triadic-GDN обходят «чистые» базовые модели, у которых собственное состояние в 4 раза больше (сравнение при ~405M параметров и 10B токенов FineWeb-Edu; каждая модель с решёткой равна по параметрам своему чистому аналогу).

Есть и эффект на KV-кэш: обе LLLM используют 22 слоя против 40 у трансформера Transformer 40L, поэтому при той же ширине внимания (1024) KV-кэш у них на 45% меньше. В «жёстком режиме» вертикальный поток сжат до 256 измерений (предобучение на 10B токенов); по подписи к интерактивному рисунку, добавление горизонтальных улучшений по одному возвращает большую часть разрыва с трансформером полной ширины. Вывод авторов: постоянное состояние на каждом слое, дополнительная ось масштабирования вычислений языковой модели. Страница содержит интерактивные графики основных результатов (обучение и вывод, сравнение моделей).

Ключевые факты

  • Lattice of Latents, горизонтальные скрытые потоки по одному на слой, рекуррентно идущие по токенам рядом с обычным вертикальным потоком остатков; они напрямую влияют на внимание, запись в KV-кэш, MLP и декодирование.
  • При 20B токенов FineWeb-Edu модель Lattice на 406M параметров даёт валидационную перплексию 14,40 против 15,41 у трансформера с тем же числом параметров.
  • Вместе с hyper-connections и входными остатками перплексия 13,61 против 15,41 у базового трансформера и 14,22 у трансформера с теми же добавками.
  • Lattice-GDN и Lattice-Triadic-GDN обходят чистые рекуррентные базовые модели с собственным состоянием в 4 раза больше (~405M параметров, 10B токенов).
  • Модели с решёткой используют 22 слоя вместо 40 и при той же ширине внимания 1024 держат KV-кэш на 45% меньше.

Почему это важно

Обычно вычисления модели наращивают глубиной, зацикливанием слоёв или шагами скрытых рассуждений. Работа предлагает другую ось: держать больше одновременно активных состояний, которые живут между токенами. Если выигрыш подтвердится, это способ улучшать качество при том же числе параметров, а не просто делать сеть больше. Заметный практический эффект из текста, меньший KV-кэш (на 45%) при 22 слоях вместо 40 и той же ширине внимания.

Кому это важно

Исследователям архитектур языковых моделей, особенно тем, кто работает с улучшениями потока остатков (hyper-connections, mHC, value residuals) и с рекуррентными слоями вроде Gated DeltaNet и Mamba-2. Инженерам, которых волнует размер KV-кэша при выводе, тоже стоит присмотреться, но цифры пока относятся только к моделям порядка 400M параметров.

Как это применить

Прямого руководства по применению в тексте страницы нет. Практически это идея для экспериментов: добавить к слоям горизонтальные латенты, сохранив равенство по параметрам за счёт сужения вертикальной ширины (в работе с 1024 до 932), и сравнить перплексию с базовой моделью. Страница предлагает интерактивные графики, на которых можно сопоставить модели при обучении и выводе.

Можно ли доверять

Это страница проекта с результатами самих авторов; указаны только аффилиации MIT и Adobe, имён авторов, даты, площадки публикации и статуса рецензирования в тексте нет. Независимых воспроизведений и внешних откликов не упомянуто. Сообщается только валидационная перплексия, как модель ведёт себя на прикладных задачах, в тексте не сказано.

Риски и подводные камни

Результаты получены на масштабе около 400M параметров и 20B токенов (рекуррентные сравнения, на 10B токенов); для более крупных моделей в тексте данных нет. Перплексия, лишь одна метрика, а о скорости обучения и вывода по времени цифр не приведено. Часть сравнений выстроена так, чтобы совпадали параметры (вертикальная ширина сужена), и итоговая выгода зависит от выбранных вариантов базовых моделей. Сведений о выпуске кода или весов в тексте нет.

«Эти результаты определяют постоянное состояние на каждом слое как дополнительную ось масштабирования вычислений языковой модели.»

— из аннотации проекта Latent Lattice Language Models