Предложен Soft-MTP: правка в одну строку для обучения Multi-Token Prediction

В статье, поданной на arXiv 28 октября 2026 года (раздел Computer Science > Machine Learning), разбирается Multi-Token Prediction (MTP), приём предобучения языковых моделей, при котором модель учится предсказывать сразу несколько следующих токенов. По словам авторов, MTP стал обычным ингредиентом предобучения: он улучшает качество на downstream-задачах (на последующих прикладных задачах) и ускоряет вывод за счёт спекулятивного декодирования.

Авторы заявляют, что нашли изъян в стандартном обучении MTP: остаточная составляющая градиента MTP мешает и обучению предсказанию следующего токена (NTP), и обучению предсказанию нескольких токенов, причём чем больше масштаб, тем сильнее. Градиент кросс-энтропии MTP, как утверждают авторы, можно точно разложить на две части. Первая, член KL-самодистилляции: он подтягивает каждую MTP-голову к собственному распределению модели по следующему токену и улучшает спекулятивное декодирование. Вторая, остаток с низким отношением сигнал/шум, который «закапывает» полезный KL-сигнал.

Для исправления предложен приём «восстановления KL-градиента»: если два распределения используют общую линейную выходную голову, градиент их KL-дивергенции можно точно восстановить, скомбинировав градиенты их кросс-энтропий через straight-through-маршрутизацию градиентов. В отличие от прямой минимизации KL, приём не требует матриц логитов размером со словарь и совместим со стандартными fused-ядрами кросс-энтропии.

На этой основе получается Soft Multi-Token Prediction (Soft-MTP), изменение кода MTP в одну строку: оно убирает шумный остаток и пропускает назад только сигнал KL-самодистилляции, повторно используя уже посчитанные кросс-энтропии NTP и MTP. Soft-MTP, по утверждению авторов, поддерживает MTP как в стиле DeepSeek, так и в стиле Meta, не добавляет параметров и не даёт измеримых накладных расходов.

Результаты заявлены для моделей от 167M до 1,2B параметров. Soft-MTP по сравнению со стандартным MTP даёт более низкую перплексию NTP, более быстрое спекулятивное декодирование и более высокую zero-shot-точность на каждом из проверенных масштабов; более низкую перплексию MTP, начиная с 689M; а на 1,2B, более сильные рассуждения в математике и коде после дообучения. Кроме того, Soft-MTP по большинству метрик не уступает прямой минимизации KL-дивергенции, а то и превосходит её. Авторы итожат, что Soft-MTP, «бесплатный обед» для оптимизации MTP, и сообщают, что код опубликован (ссылка стоит в аннотации).

Ключевые факты

  • Авторы утверждают: в стандартном обучении MTP остаточная часть градиента мешает и предсказанию следующего токена, и предсказанию нескольких токенов, тем сильнее, чем больше масштаб.
  • Градиент кросс-энтропии MTP разлагается на KL-самодистилляцию (полезный сигнал) и шумный остаток с низким отношением сигнал/шум; Soft-MTP оставляет только первую часть.
  • Soft-MTP, правка в одну строку кода: без новых параметров и без измеримых накладных расходов, работает с MTP в стиле DeepSeek и Meta и совместим со стандартными fused-ядрами кросс-энтропии.
  • На моделях от 167M до 1,2B параметров заявлены более низкая перплексия NTP, более быстрое спекулятивное декодирование и более высокая zero-shot-точность на каждом масштабе; перплексия MTP ниже начиная с 689M.
  • На 1,2B после дообучения заявлены более сильные рассуждения в математике и коде; числовые величины эффекта в аннотации не приведены.

Почему это важно

MTP, по словам авторов, уже обычная часть предобучения языковых моделей: он улучшает качество и ускоряет вывод через спекулятивное декодирование. Если стандартная схема действительно тратит часть градиента на шум, исправление «бесплатно» по стоимости (одна строка, без новых параметров и накладных расходов, как утверждается) было бы заметным выигрышем. Но это пока заявление авторов препринта.

Кому это важно

Прежде всего командам, которые сами предобучают языковые модели с MTP-головами, и исследователям спекулятивного декодирования. Авторы пишут, что метод поддерживает как DeepSeek-, так и Meta-стиль MTP. Это не означает, что сами DeepSeek или Meta его применяют или одобряют: в аннотации об этом ничего не сказано.

Как это применить

По описанию, Soft-MTP не требует новых параметров и работает поверх уже существующих вычислений кросс-энтропии NTP и MTP: достаточно одной строки изменений, а матрицы логитов размером со словарь не нужны. Авторы указывают, что опубликовали код; сама ссылка в аннотации показана как «this https URL», поэтому искать репозиторий нужно на странице статьи.

Можно ли доверять

Это препринт на arXiv, поданный 28 октября 2026 года; рецензирование и площадка публикации в тексте не указаны. Все выводы, утверждения самих авторов. Аннотация не называет ни авторов, ни организации, не приводит числовых эффектов (значений перплексии, коэффициентов ускорения, процентов точности) и не называет бенчмарки для zero-shot-точности и рассуждений в математике и коде. Проверять стоит по полному тексту и коду.

Риски и подводные камни

Заявленные результаты относятся к моделям от 167M до 1,2B параметров; на более крупных, по аннотации, метод не проверялся. Более низкая перплексия MTP заявлена только начиная с 689M, то есть не на всех масштабах. Улучшение рассуждений в математике и коде отмечено лишь для 1,2B после дообучения. Относительно прямой минимизации KL Soft-MTP «не хуже, а то и лучше» лишь по большинству метрик, не по всем. Перенос на модели промышленного размера остаётся открытым вопросом.

«По сути, Soft-MTP, это «бесплатный обед» для оптимизации MTP.»

— Авторы статьи, аннотация на arXiv

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.