Слои Canon сэкономили около 30% токенов при предобучении Transformer на 8B

В препринте на arXiv «Physics of Language Models: Part 4.2» авторы задаются вопросом, видят ли стандартные бенчмарки архитектурные различия, которые действительно важны. Для ответа они провели 64 предобучения с нуля: Transformer и три семейства линейных моделей, от 1,3 до 8 млрд параметров, на 1-2 трлн токенов корпуса Nemotron-CC. Один прогон на 8 млрд параметров обошёлся примерно в 100 тысяч долларов.

Авторы утверждают, что в «академическом» масштабе (1,3 млрд параметров, 100 млрд токенов) различия между архитектурами могут почти исчезать, если модели аккуратно настроены. На 1-2 трлн токенов они становятся измеримыми. Слои Canon, добавляющие локальное смешивание соседних токенов, стабильно улучшают Transformer: при 8 млрд параметров они экономят около 30% токенов предобучения для той же точности на MMLU.

Ещё авторы предлагают GLA5 и GDN2, улучшенные варианты gated linear attention (линейного внимания с гейтами) и Gated DeltaNet с низкоранговыми выходными гейтами. С Canon простейшая линейная модель, gated linear attention, сравнивается по качеству с Gated DeltaNet и превосходит Mamba2 даже при 8 млрд параметров и 1 трлн токенов. Отсюда осторожный вывод: дополнительная «механика» Gated DeltaNet и Mamba2 может сводиться, по сути, к смешиванию соседних токенов.

Вторая половина работы, о слепых пятнах бенчмарков. Даже на масштабе 8 млрд параметров и 1 трлн токенов высокие баллы могут скрывать слабость базовых навыков работы с контекстом. Линейные модели, которые равны Transformer или лучше него на стандартных тестах, не могут надёжно извлечь информацию из короткого контекста в 500 токенов. А на, пожалуй, простейшем двухшаговом вопросе, сформулированном несколькими короткими предложениями, ни одна модель, ни Transformer, ни линейная, не обходит случайное угадывание надёжно.

Авторы заключают, что результаты ставят под сомнение традиционные исследования архитектур, опирающиеся прежде всего на баллы стандартных бенчмарков. Небольшие синтетические «площадки» предсказали эти архитектурные различия уже на моделях менее 100 млн параметров и могут показать то, что бенчмарки упускают. Практический урок для тех, кто обучает модели: включать примеры рассуждений в контексте в данные предобучения с ранней стадии, а не оставлять их на поздний mid-training (промежуточное дообучение) и тем более на post-training.

Ключевые факты

  • 64 предобучения с нуля: Transformer и три семейства линейных моделей, 1,3-8 млрд параметров, 1-2 трлн токенов Nemotron-CC; около 100 тыс. долларов за один прогон на 8 млрд.
  • Слои Canon (локальное смешивание токенов) стабильно улучшают Transformer и экономят около 30% токенов предобучения для той же точности на MMLU при 8 млрд параметров.
  • С Canon gated linear attention сравнивается с Gated DeltaNet и превосходит Mamba2 даже при 8 млрд параметров и 1 трлн токенов; авторы предлагают также GLA5 и GDN2.
  • Линейные модели с высокими баллами на бенчмарках не могут надёжно извлечь информацию из контекста в 500 токенов; ни одна модель не обходит случайное угадывание на простейшем двухшаговом вопросе.
  • Совет практикам: добавлять примеры рассуждений в контексте в предобучение с ранней стадии, а не откладывать на mid-training и post-training.

Почему это важно

Работа затрагивает базовый вопрос: насколько можно доверять стандартным бенчмаркам при выборе архитектуры. По словам авторов, на академическом масштабе (1,3 млрд параметров, 100 млрд токенов) различия между аккуратно настроенными архитектурами могут почти пропадать, а на 1-2 трлн токенов проявляются. Кроме того, высокие баллы могут скрывать слабость базовых навыков работы с контекстом. Авторы считают, что эти результаты ставят под сомнение исследования архитектур, опирающиеся прежде всего на баллы бенчмарков.

Кому это важно

Прежде всего тем, кто проектирует и сравнивает архитектуры языковых моделей, в том числе линейные альтернативы Transformer (gated linear attention, Gated DeltaNet, Mamba2). Также тем, кто готовит данные для предобучения: авторы советуют включать примеры рассуждений в контексте с ранней стадии, а не оставлять их на поздний mid-training и post-training.

Как это применить

Из текста следуют два практических совета. Первый: слои Canon, добавляющие локальное смешивание токенов, в экспериментах авторов улучшали Transformer; при 8 млрд параметров они сэкономили около 30% токенов предобучения для той же точности на MMLU. Второй: не полагаться только на стандартные бенчмарки, а дополнять их небольшими синтетическими тестами, которые, по утверждению авторов, предсказали архитектурные различия уже на моделях менее 100 млн параметров. Примеры рассуждений в контексте советуют добавлять в данные предобучения с ранней стадии. Упоминаний о выпуске кода, моделей или данных в источнике нет.

Можно ли доверять

Это препринт на arXiv, и все выводы, утверждения самих авторов, независимой проверки в тексте нет. Плюсы: масштаб эксперимента (64 прогона, до 8 млрд параметров и 1-2 трлн токенов) и осторожные формулировки, например «может сводиться к смешиванию соседних токенов». В источнике нет числовых баллов по бенчмаркам, поэтому величину эффекта вне заявленных 30% на MMLU при 8 млрд параметров оценить нельзя. Состав авторов и организации в доступном тексте аннотации не названы.

Риски и подводные камни

Заявленная экономия около 30% токенов относится к Transformer со слоями Canon при 8 млрд параметров и к точности на MMLU; для других размеров и бенчмарков цифры в источнике нет. Вывод про «лишнюю механику» Gated DeltaNet и Mamba2 сформулирован как предположение. Стоимость около 100 тыс. долларов за один прогон на 8 млрд параметров делает воспроизведение дорогим; что именно входит в эту сумму, в источнике не сказано. Результаты про провалы на 500-токенном контексте и двухшаговом вопросе показывают слабость моделей на этом масштабе, но числовых результатов тестов в тексте нет.