DSpark: спекулятивное декодирование с верификацией по уверенности и полу-авторегрессионной генерацией

Спекулятивное декодирование, один из главных способов ускорить инференс больших языковых моделей (LLM): лёгкая «черновая» модель предлагает сразу несколько токенов вперёд, а основная («целевая») модель проверяет и подтверждает их за один проход, это быстрее, чем генерировать токен за токеном. Современные параллельные драфт-модели умеют за один проход предложить длинную последовательность токенов, но страдают от быстрого падения вероятности принятия: чем дальше токен от начала черновика, тем меньше шансов, что целевая модель его подтвердит, потому что параллельные драфтеры не учитывают зависимости между соседними токенами (в тексте это явление названо suffix decay, «затуханием» хвоста черновика). Вдобавок, если проверять такие длинные черновые блоки без разбора, система тратит дефицитную ёмкость батча на токены с высоким риском отказа, а это резко снижает пропускную способность в системах обслуживания, где одновременно обрабатывается много запросов.

На Hugging Face Papers публикация указана за авторством Xin Cheng. Представленный DSpark, фреймворк спекулятивного декодирования, который объединяет быструю параллельную генерацию черновика с верификацией, адаптивной под нагрузку. Для качества самого черновика DSpark использует полу-авторегрессионную архитектуру: параллельная опорная сеть (backbone) дополнена лёгким последовательным модулем, который моделирует зависимости между токенами внутри блока и не даёт «затухать» хвостовой части черновика. Для эффективности системы в целом DSpark применяет верификацию по расписанию, управляемому уверенностью: длина проверяемого фрагмента подбирается динамически под каждый запрос, по оценённой вероятности «выживания» префикса черновика и по текущему профилю пропускной способности конкретного инференс-движка.

На офлайн-бенчмарках в разных предметных областях DSpark заметно увеличивает длину принятых токенов по сравнению с современными авторегрессионными и параллельными драфт-моделями. Но главная проверка, не лабораторная: DSpark развернули внутри боевой системы обслуживания DeepSeek-V4 и протестировали на реальном пользовательском трафике. Там метод успешно снижает потери на «лишнюю» верификацию. По сравнению с принятым в продакшене базовым методом MTP-1, при том же уровне общей пропускной способности DSpark ускоряет генерацию текста для одного пользователя на 60, 85%. Авторы подчёркивают, что важнее самого ускорения: метод не даёт пропускной способности резко проседать при жёстких требованиях к интерактивности (то есть к скорости отклика), и это открывает ранее недостижимые уровни производительности, сдвигая границу Парето всей системы обслуживания.

Ключевые факты

DSpark, фреймворк спекулятивного декодирования, который сочетает полу-авторегрессионную генерацию черновика с адаптивной верификацией, зависящей от уверенности модели и нагрузки.
Полу-авторегрессионная архитектура (параллельная опорная сеть + лёгкий последовательный модуль) моделирует зависимости токенов внутри блока и борется с «затуханием» хвоста черновика (suffix decay), которое губит чисто параллельные драфтеры.
Верификация по расписанию, управляемому уверенностью, динамически подбирает длину проверяемого фрагмента под каждый запрос, по вероятности «выживания» префикса и по текущей загрузке инференс-движка.
На офлайн-бенчмарках по разным доменам DSpark заметно увеличивает длину принятых токенов по сравнению с современными авторегрессионными и параллельными драфт-моделями.
В боевой системе обслуживания DeepSeek-V4 на реальном трафике DSpark ускоряет генерацию на одного пользователя на 60, 85% относительно продакшен-базлайна MTP-1 при том же уровне пропускной способности и открывает ранее недостижимые уровни производительности при строгих требованиях к интерактивности.

Почему это важно

Скорость и стоимость инференса, ключевое ограничение для LLM-продуктов: чем быстрее и дешевле модель отвечает, тем лучше пользовательский опыт и экономика сервиса. Спекулятивное декодирование, стандартный инструмент ускорения, но у него есть внутреннее противоречие: чем длиннее и «параллельнее» черновик, тем больше токенов в итоге отбраковывается при верификации, и это съедает выигрыш в высоконагруженных системах. DSpark показывает, что это противоречие можно снять, если сделать и черновик, и верификацию адаптивными, и подтверждает эффект не только на бенчмарках, но и в боевой инфраструктуре DeepSeek-V4, где реальный прирост скорости на пользователя составил 60, 85% без потери общей пропускной способности.

Кому это важно

В первую очередь, командам, которые строят и эксплуатируют инференс-инфраструктуру LLM в промышленных масштабах (разработчикам моделей, облачным провайдерам инференса), а также исследователям и инженерам, которые занимаются спекулятивным декодированием и системами обслуживания с высокой нагрузкой. Косвенно выигрывают и конечные пользователи интерактивных LLM-сервисов: снижение задержки ответа без роста инфраструктурных затрат.

Как это применить

Идея DSpark, не выбирать между «быстрым, но грубым» параллельным драфтером и «точным, но медленным» авторегрессионным, а совместить их: лёгкий последовательный модуль поверх параллельной опорной сети повышает качество черновика, а верификация подстраивает свою длину под конкретный запрос вместо фиксированного бюджета на все запросы разом. Команды, проектирующие собственные системы обслуживания LLM, могут ориентироваться на этот принцип, динамический, зависящий от нагрузки бюджет верификации вместо универсальной длины проверки. Авторы проверили подход и на офлайн-бенчмарках по разным доменам, и на реальном продакшен-трафике DeepSeek-V4 в сравнении с базовым методом MTP-1.

Можно ли доверять

Материал опубликован как препринт на Hugging Face Papers, автор, Xin Cheng; независимого рецензирования или воспроизведения третьими сторонами в тексте не упомянуто. При этом ключевые цифры (ускорение на 60, 85%) получены не только на офлайн-бенчмарках, а при реальном развёртывании внутри боевой системы обслуживания DeepSeek-V4 под живым пользовательским трафиком, это более сильное подтверждение, чем изолированные лабораторные тесты. Тем не менее все цифры, самоотчёт авторов, без данных о независимой проверке.

Риски и подводные камни

В тексте не указано, опубликован ли код или веса DSpark в открытом доступе, без этого воспроизвести результаты независимо нельзя. Результаты получены и сформулированы применительно к конкретной инфраструктуре DeepSeek-V4, поэтому перенос эффекта на другие архитектуры моделей и другие системы обслуживания не гарантирован. Сравнение приведено только с одним продакшен-базлайном (MTP-1), а не с широким набором альтернативных методов спекулятивного декодирования. Также неясно, какую дополнительную инженерную сложность добавляют в систему сам последовательный модуль и планировщик верификации.