Multi-Branch Transformer: параллельные ветви блоков ускоряют декодирование до 51,4%

Multi-Branch Transformer: параллельные ветви блоков ускоряют декодирование до 51,4%

В статье на Hugging Face описана архитектура Multi-Branch Transformer (MBT). Обычно языковые модели масштабируют, делая блоки шире или укладывая их глубже. Авторы предлагают дополнительный путь: ветвление, то есть параллельную композицию полных блоков Transformer. Вход сначала проходит через общие начальные слои, затем параллельно обрабатывается несколькими независимо параметризованными ветвями из последовательных блоков, а выходы ветвей сливаются перед общими финальными слоями.

При сопоставимых затратах на обучение исследуются три варианта MBT: Wide-Shallow (сохраняет ширину блока), Narrow-Deep (сохраняет последовательную глубину) и Balanced (промежуточный вариант между ними). В контролируемых экспериментах по предобучению на четырёх масштабах моделей со смесью экспертов (от 0,8 до 2,1 млрд общих параметров) двухветвевые Wide-Shallow MBT, по утверждению авторов, стабильно превосходят обычные последовательные Transformer при равных бюджетах по параметрам и вычислениям на обучение. Варианты Balanced улучшают результат ещё сильнее и сохраняют сопоставимое качество при росте числа ветвей.

Для эффективного вывода на длинных контекстах авторы вводят Joint-KV: общий кэш ключей и значений (KV-кэш), который строится из представлений всех ветвей на каждой глубине. Итоговый рецепт сочетает Balanced MBT с Joint-KV и опирается на собственный движок вывода, использующий группировку ветвей и повторное использование общего кэша.

Главные цифры, заявленные авторами. Подогнанные кривые масштабирования показывают, что обычному Transformer требуется до 1,26 раза больше обучающих вычислений основной части модели, чтобы достичь той же валидационной потери, что и итоговые модели MBT. Итоговые модели уменьшают объём хранения KV-кэша всей модели до 34% и дают до 51,4% более высокую пропускную способность декодирования на одной видеокарте H200. Все три показателя приведены как максимумы («до»), а не как типичные значения.

Абляционные исследования, по словам авторов, показывают, что ветвление даёт выигрыш сверх простого изменения ширины и глубины, делает возможной эффективную стратегию общего кэша (Joint-KV), устойчиво работает при разных функциях слияния ветвей и лучше всего проявляет себя в средних слоях. Вывод авторов: ветвление, практичный путь масштабирования языковых моделей к более высокому качеству и более быстрому выводу.

Ключевые факты

  • MBT пропускает вход через общие начальные слои, затем через несколько параллельных независимых ветвей из последовательных блоков и сливает результат перед общими финальными слоями.
  • Изучены три варианта: Wide-Shallow (сохраняет ширину), Narrow-Deep (сохраняет глубину) и Balanced (между ними); эксперименты проведены на четырёх масштабах моделей со смесью экспертов от 0,8 до 2,1 млрд общих параметров.
  • Joint-KV строит общий KV-кэш из представлений ветвей на каждой глубине; итоговые модели, по заявлению авторов, сокращают хранение KV-кэша до 34%.
  • Обычному Transformer, по подогнанным кривым масштабирования, нужно до 1,26 раза больше обучающих вычислений основной части модели для той же валидационной потери.
  • На одной H200 итоговые модели дают до 51,4% более высокую пропускную способность декодирования.

Почему это важно

Рост языковых моделей обычно идёт по двум осям: шире блоки или больше слоёв подряд. Авторы добавляют третью ось, параллельные ветви полных блоков. Если заявленное подтвердится, это способ одновременно улучшить качество при равных затратах на обучение и ускорить декодирование, а значит, снизить стоимость вывода, особенно на длинных контекстах, где KV-кэш становится узким местом.

Кому это важно

Исследователям архитектур языковых моделей и командам, которые предобучают модели и оптимизируют вывод: тем, кого интересуют модели со смесью экспертов, сжатие и совместное использование KV-кэша и пропускная способность декодирования на одной видеокарте.

Как это применить

Практический вывод пока ограничен идеей: рассмотреть ветвление как ещё одну ось масштабирования рядом с шириной и глубиной, а для длинных контекстов, общий KV-кэш по ветвям (Joint-KV). Авторы подчёркивают, что выигрыш на выводе обеспечивает и специальный движок, использующий группировку ветвей и повторное использование общего кэша. Упоминаний о выложенном коде или опубликованных моделях в тексте нет.

Можно ли доверять

На странице Hugging Face приведена только аннотация. Все результаты, заявления самих авторов; имён авторов и организаций в тексте нет. Цифры 1,26 раза, 34% и 51,4% даны как максимумы («до»), и по какой базовой модели и при какой длине контекста измерены сокращение кэша и прирост пропускной способности, в тексте не указано. Для независимой оценки нужны полная статья и воспроизведение.

Риски и подводные камни

Эксперименты охватывают только модели со смесью экспертов от 0,8 до 2,1 млрд общих параметров; о более крупных моделях и о плотных (не экспертных) моделях в тексте ничего не сказано, так что перенос результатов на большие масштабы остаётся предположением. Оценка 1,26 раза получена из подогнанных кривых масштабирования, то есть это экстраполяция, а не прямое измерение. Выигрыш на выводе зависит от специального движка, поэтому в стандартных стеках результат может отличаться.