Предложен метод O³PD: дистилляция по порядку токенов учителя, а не по вероятностям

В статье предложен метод Order-Only On-Policy Distillation (O³PD), «on-policy-дистилляция только по порядку». Исходная on-policy-дистилляция (OPD) обучает малую модель-ученика на её собственных генерациях, сопоставляя вероятности токенов, которые выдаёт модель-учитель.

Авторы указывают на слабое место такого подхода. Вероятности учителя смешивают два вида информации: какие токены он предпочитает и насколько он в этом уверен. Уверенность отражает собственные возможности и калибровку учителя, и меньший ученик может быть не в состоянии их воспроизвести. Кроме того, температура учителя меняет сами значения вероятностей, но не меняет порядок токенов, поэтому OPD чувствительна к выбору температуры.

Отсюда вопрос, который ставят авторы: достаточно ли ученику одного учителева упорядочивания токенов-кандидатов? В O³PD на каждом префиксе (начале текста), сгенерированном самим учеником, ученика учат воспроизводить порядок K лучших токенов учителя, не подгоняя сами значения вероятностей. Из-за этого целевая функция не зависит от температуры учителя, и подбирать температуру не нужно.

Результаты: в шести парах «учитель, ученик» O³PD превзошла OPD по среднему значению на тестах HMMT25, AIME24 и AIME25 в каждой паре, на величину до 2,9 пункта. На AIME25 отдельно прирост доходил до 5,6 пункта. Это максимумы по парам, а не средний прирост.

Авторы также сообщают, что другие ранжирующие функции потерь дают сходный выигрыш, и делают вывод, что польза идёт от самого порядкового обучения. Анализ, по их словам, показывает: O³PD сильнее отходит от вероятностей учителя, чем OPD, но точнее воспроизводит его ранжирование и даёт более сильного ученика. Итоговый вывод авторов: знание, которое нужно передать при on-policy-дистилляции, несёт ранжирование, а не значения вероятностей.

Ключевые факты

O³PD учит ученика воспроизводить только порядок K лучших токенов учителя на префиксах, сгенерированных самим учеником, без подгонки значений вероятностей.
Целевая функция не зависит от температуры учителя, подбирать её не нужно; у стандартной OPD, по словам авторов, есть чувствительность к температуре.
В шести парах «учитель, ученик» O³PD обошла OPD по среднему на HMMT25, AIME24 и AIME25 в каждой паре, на величину до 2,9 пункта.
На AIME25 отдельно прирост достигал до 5,6 пункта; это максимумы по парам, а не средние значения.
Другие ранжирующие функции потерь дают сходный выигрыш, поэтому, по выводу авторов, польза, от самого порядкового обучения.

Почему это важно

Дистилляция, способ переносить способности большой нейросети в малую. Работа предлагает упростить сигнал, который передаётся ученику: вместо вероятностей токенов, только их порядок. Авторы утверждают, что именно ранжирование несёт знание, которое нужно передать, а значения вероятностей отчасти мешают: они отражают уверенность учителя, которую малому ученику трудно воспроизвести. Если это подтвердится независимыми проверками, подход снимает и заботу о подборе температуры учителя.

Кому это важно

Исследователям и инженерам, которые дистиллируют рассуждающие модели в более компактные и сейчас используют on-policy-дистилляцию. Также тем, кто занимается обучением малых моделей математическим рассуждениям: именно на таких задачах (HMMT25, AIME24, AIME25) проверялся метод.

Как это применить

Практическая идея в изложении авторов: на каждом префиксе, сгенерированном учеником, заменить подгонку вероятностей учителя на обучение воспроизводить порядок его K лучших токенов. Температуру учителя при этом подбирать не нужно. Значение K в аннотации не названо, поэтому конкретные настройки придётся искать в полном тексте статьи. Сведений о публикации кода, затратах на обучение и вычислениях в источнике нет.

Можно ли доверять

Источник, аннотация препринта, и все утверждения принадлежат самим авторам. Названы шесть пар «учитель, ученик», но не сказано, какие это модели и какого размера. Цифры 2,9 и 5,6 пункта, максимальные приросты по парам; типичный или средний прирост в аннотации не указан, как и абсолютные баллы OPD и O³PD. Неизвестно, получены ли оба максимума на одной и той же паре. Оценка шла только на математических тестах HMMT25, AIME24 и AIME25, других областей аннотация не упоминает. Авторы и организации в тексте аннотации не названы.

Риски и подводные камни

Выводы сделаны на математических задачах, и перенос на другие области, такие как код или диалог, из аннотации не следует. Из максимальных приростов нельзя судить о типичном эффекте: в части пар выигрыш может быть заметно меньше. Нужно также учитывать, что другие ранжирующие функции потерь дают сходный выигрыш: значит, преимущество связано с идеей порядкового обучения, а не с конкретной формулой O³PD. До проверки на полном тексте и независимых воспроизведений результаты стоит считать предварительными.

«Ранжирование, а не значения вероятностей, несёт то знание, которое on-policy-дистилляции необходимо передать.»

— из аннотации статьи «Order-Only On-Policy Distillation»