CaRE: единый протокол оценки диффузионных языковых моделей перевернул рейтинги ремаскирования

Маскированные диффузионные языковые модели (MDLM) быстро приближаются по качеству к обычным авторегрессионным языковым моделям, но стандарты их оценки за этим не поспевают. Авторы работы указывают, что семь недавних статей про стратегии «ремаскирования» (remasking, повторного наложения маски на часть токенов в процессе генерации) сравнивались в несопоставимых условиях: разное число шагов генерации, разные метрики качества, разная температура сэмплирования, и все эти факторы никто не контролировал одновременно. В итоге рейтинги стратегий из разных статей нельзя сопоставить друг с другом, и остаётся непонятным, отражают ли заявленные улучшения реальный прогресс алгоритмов или просто разницу в настройках эксперимента.

Чтобы исправить это, авторы представили CaRE (Compute-aware Remasking Evaluation), протокол оценки, который учитывает реальные вычислительные затраты. Вместо номинального числа шагов генерации CaRE стандартизирует фактическое число вызовов модели (NFE, number of function evaluations), требует отчитываться сразу по нескольким метрикам качества, а не по одной, и явно контролирует уровень случайности (температуру) при генерации.

Протокол применили к семи стратегиям ремаскирования на двух базовых моделях, LLaDA-8B-Base и Dream-7B-Base, при четырёх уровнях стохастичности и трёх бюджетах шагов генерации, на датасетах OpenWebText и LM1B.

Результаты: во-первых, температура сэмплирования объясняет большую часть разброса значений метрики MAUVE (метрика, оценивающая, насколько распределение сгенерированного текста похоже на распределение текста, написанного человеком). Во-вторых, если сравнивать стратегии при одинаковых вычислительных затратах (одинаковом NFE), несколько ранее опубликованных рейтингов стратегий меняются местами. В-третьих, обнаружено противоречие между «информированным» (целенаправленным) ремаскированием и стохастическим снятием маски: ремаскирование по высокой энтропии токенов снижает значение MAUVE на 0,296 при 256 шагах генерации и температуре снятия маски 0,25; результат статистически значим (p=0,020).

Авторы также собрали лидерборд CaRE по 12 открытым MDLM-моделям с числом параметров от 150 миллионов до 8 миллиардов и показали, что описанное противоречие между информированным ремаскированием и стохастичностью сохраняется независимо от архитектуры и масштаба модели. Протокол оценки, код реализации и лидерборд авторы выложили в открытый доступ, чтобы будущие заявления об улучшении стратегий ремаскирования можно было воспроизвести и сравнить.

Ключевые факты

Семь недавних работ про стратегии ремаскирования в диффузионных языковых моделях (MDLM) сравнивались в несопоставимых условиях, разное число шагов, метрики, температура сэмплирования, из-за чего заявленные улучшения могли быть эффектом настроек эксперимента, а не самого алгоритма.
Протокол CaRE стандартизирует реальное число вызовов модели (NFE) вместо номинального числа шагов, требует отчитываться сразу по нескольким метрикам и явно контролирует уровень случайности (температуру).
На моделях LLaDA-8B-Base и Dream-7B-Base (7 стратегий ремаскирования, 4 уровня стохастичности, 3 бюджета шагов, датасеты OpenWebText и LM1B) при выравнивании вычислительных затрат несколько опубликованных рейтингов стратегий меняются местами.
Температура сэмплирования объясняет большую часть разброса метрики MAUVE; «информированное» ремаскирование по высокой энтропии токенов конфликтует со стохастическим снятием маски, MAUVE падает на 0,296 при 256 шагах и температуре снятия маски 0,25 (p=0,020).
Лидерборд CaRE по 12 открытым MDLM-моделям (от 150 млн до 8 млрд параметров) показывает, что это противоречие сохраняется на разных архитектурах и масштабах; протокол, код и лидерборд выложены в открытый доступ.

Почему это важно

Диффузионные языковые модели, альтернатива привычным авторегрессионным моделям (вроде GPT), и они быстро становятся конкурентоспособными по качеству. Но научное сообщество, оценивая одну из ключевых техник таких моделей, ремаскирование, использовало разные, несопоставимые условия эксперимента. Это классическая проблема воспроизводимости: без единого протокола нельзя понять, какая стратегия на самом деле лучше, а какая просто «выиграла» за счёт более выгодных настроек теста. CaRE закрывает именно эту дыру, вводит общую единицу измерения вычислительных затрат и контроль случайности, без которых сравнение стратегий было, по сути, некорректным.

Кому это важно

Исследователям и инженерам, которые разрабатывают или дорабатывают диффузионные языковые модели и техники ремаскирования; авторам будущих статей на эту тему, которым протокол задаёт единый стандарт отчётности; тем, кто выбирает готовую MDLM-модель или стратегию генерации для своих задач и хочет опираться на честное сравнение, а не на рейтинг из отдельной статьи.

Как это применить

Авторы выложили сам протокол оценки, реализацию и лидерборд в открытый доступ, их можно использовать, чтобы тестировать новые стратегии ремаскирования при контролируемых вычислительных затратах и уровне случайности, а не изобретать собственную, несопоставимую с чужими работами методику. Лидерборд CaRE по 12 открытым моделям можно использовать как ориентир при выборе модели или стратегии генерации.

Можно ли доверять

Работа, препринт на arXiv, статус рецензирования из текста не указан. Выводы опираются на масштабный эксперимент: 7 стратегий, 2 базовые модели, 4 уровня стохастичности, 3 бюджета шагов, 2 датасета, плюс отдельный лидерборд на 12 моделях, то есть выводы не завязаны на одну модель или один прогон. Ключевой численный результат (падение MAUVE на 0,296) авторы приводят со статистической значимостью (p=0,020), что повышает доверие к конкретно этому измерению.

Риски и подводные камни

Эксперименты ограничены двумя датасетами (OpenWebText и LM1B) и конкретными базовыми моделями (LLaDA-8B-Base, Dream-7B-Base для основного эксперимента); насколько выводы переносятся на другие домены текста и другие архитектуры за пределами протестированных 12 моделей лидерборда, по тексту источника судить нельзя. Метрика MAUVE, на которой построены главные числовые результаты, лишь одна из нескольких, которые CaRE требует репортить совместно; выводы по другим метрикам в пересказе не детализированы источником так же подробно.