Представлен D3D: диффузионный черновик для асинхронного speculative decoding ускоряет Qwen3 в 5 раз

Представлен D3D: диффузионный черновик для асинхронного speculative decoding ускоряет Qwen3 в 5 раз

Спекулятивное декодирование ускоряет генерацию текста так: небольшая черновая модель (drafter) предлагает сразу несколько токенов-кандидатов, а большая целевая модель проверяет их за один проход. Диффузионные черновые модели, привязанные к целевой, предсказывают кандидатов параллельно, но у них есть узкое место: каждый новый блок должен ждать обновлённых скрытых состояний (hidden states) целевой модели. Из-за этого черновик и проверка идут строго по очереди, и ускорение ограничено, хотя сам блок генерируется за один проход.

Авторы препринта предлагают D3D, самостоятельную (standalone) диффузионную черновую модель, которая снимает эту зависимость между раундами. D3D сочетает поблочное шумоподавление (blockwise denoising) со вспомогательным авторегрессионным обучением (auxiliary autoregressive supervision). Это позволяет получать длинные принимаемые префиксы без скрытых состояний целевой модели.

Поскольку D3D не зависит от этих состояний, она может готовить следующие блоки прямо во время проверки, одним упакованным проходом (packed pass). Так получается асинхронное спекулятивное декодирование: черновик и проверка идут параллельно, а не друг за другом.

Чтобы удешевить упакованное черновое декодирование, слои D3D последовательно прореживают (pruning) по их влиянию на среднюю длину принятой последовательности (mean acceptance length). Удаление пяти слоёв из 36 сохраняет более 99% этой длины на трёх бенчмарках при целевой модели Qwen3-8B.

По семи бенчмаркам D3D в среднем даёт ускорение декодирования 5,00× на Qwen3-8B и 5,71× на Qwen3-32B. У DFlash, с которой идёт сравнение, 4,03× и 3,67× соответственно. На GSM8K с Qwen3-32B ускорение достигает 7,48×. Код опубликован в открытом доступе: github.com/fudan-generative-vision/D3D.

Ключевые факты

  • Узкое место диффузионных черновых моделей, привязанных к целевой: каждый новый блок ждёт обновлённых скрытых состояний целевой модели, поэтому черновик и проверка идут последовательно.
  • D3D, самостоятельная диффузионная черновая модель без зависимости от скрытых состояний целевой; обучение сочетает поблочное шумоподавление и вспомогательный авторегрессионный сигнал обучения, что даёт длинные принимаемые префиксы.
  • Независимость позволяет готовить следующие блоки во время проверки одним упакованным проходом, это и есть асинхронное спекулятивное декодирование.
  • Среднее по семи бенчмаркам: D3D, 5,00× (Qwen3-8B) и 5,71× (Qwen3-32B), DFlash, 4,03× и 3,67×; максимум в источнике, 7,48× на GSM8K с Qwen3-32B.
  • Прореживание пяти из 36 слоёв сохраняет более 99% средней длины принятой последовательности на трёх бенчмарках с Qwen3-8B; код открыт.

Почему это важно

Спекулятивное декодирование, один из основных способов ускорить вывод больших языковых моделей без смены самой модели. Работа бьёт в конкретное ограничение диффузионных черновых моделей: необходимость ждать скрытых состояний целевой модели заставляет проверку и черновик работать по очереди. D3D убирает эту зависимость и позволяет перекрывать два этапа во времени. По заявленным цифрам, выигрыш над DFlash заметен: 5,00× против 4,03× на Qwen3-8B и 5,71× против 3,67× на Qwen3-32B.

Кому это важно

Инженерам и исследователям, которые занимаются ускорением вывода языковых моделей и спекулятивным декодированием, особенно на моделях семейства Qwen3. Также тем, кто сравнивает диффузионные и авторегрессионные подходы к генерации черновиков.

Как это применить

Код D3D опубликован: github.com/fudan-generative-vision/D3D. Можно воспроизвести сравнение с DFlash на Qwen3-8B и Qwen3-32B и проверить ускорение на своих задачах. Идею прореживания слоёв по влиянию на среднюю длину принятой последовательности можно рассматривать как способ удешевить упакованное черновое декодирование: по сообщению авторов, удаление пяти из 36 слоёв почти не снижает качество черновика на Qwen3-8B.

Можно ли доверять

Это препринт, и все цифры получены самими авторами; независимых проверок в источнике нет. Из описания не ясно, относительно какого базового метода считается «ускорение»: база для этих множителей в аннотации не определена. Названы только Qwen3-8B и Qwen3-32B, из семи бенчмарков по имени указан лишь GSM8K, поэтому судить об универсальности результата рано. Максимальное значение 7,48× относится к одному бенчмарку, а не к среднему.

Риски и подводные камни

Результат по прореживанию (более 99% средней длины принятой последовательности) приведён только для Qwen3-8B; для Qwen3-32B аналогичной цифры нет. Абсолютные значения средней длины принятой последовательности, данные об оборудовании, размере пакета (batch) и памяти в аннотации не приведены, поэтому реальный выигрыш на конкретном железе и под нагрузкой может отличаться. Для асинхронной схемы упакованный проход готовит следующие блоки параллельно с проверкой, так что практический эффект зависит от конкретной реализации.