Новый метод дообучения ИИ вместе со скаффолдами поднял точность на 8,1 п.п.
На arXiv опубликована работа о новом методе дообучения (пост-тренинга) больших языковых моделей, Scaffold-Mediated Post-Training («дообучение, опосредованное скаффолдами»). Авторы указывают на разрыв в текущей практике: стандартный этап дообучения меняет только параметры модели, тогда как процедурные скаффолды, структуры, которые направляют модель во время вывода (inference), обычно проектируются отдельно, независимо от обучения параметров. Из-за этого разрыва модели трудно автоматически усваивать и «встраивать» в себя сложные стратегии решения задач.
Чтобы устранить разрыв, авторы предлагают организовать процедурные скаффолды в эволюционирующий граф, который развивается вместе с параметрами модели через три механизма: обнаружение (discovery) новых скаффолдов, их дистилляцию в параметры модели и динамическую перекомпиляцию графа. Конкретную реализацию этого подхода авторы называют Skill Training («обучение навыкам»).
Метод протестирован на бенчмарке FeatureBench (в источнике не раскрыто, что именно он измеряет и какого он размера). Автоматически обнаруженные скаффолды подняли долю успешно пройденных задач (passed rate) на 8,1 процентных пункта, исходное («до улучшения») значение passed rate в источнике не указано, известен только размер прироста. После постепенной (прогрессивной) дистилляции этих скаффолдов в параметры модель достигла passed rate 27,7% уже без каких-либо внешних скаффолдов на этапе вывода. Это соответствует коэффициенту удержания дистилляции (distillation retention rate) 85,2%, отношению passed rate после дистилляции к passed rate с внешним скаффолдом. По утверждению авторов, такая дистиллированная модель заметно превосходит модель, дообученную обычным SFT (supervised fine-tuning, тонкая настройка с учителем) на тех же данных.
В доступном тексте работы не указаны имена авторов и их организации, не названы конкретная модель, её размер и архитектура, а также затраты вычислений и времени на обучение.
Ключевые факты
- Метод Scaffold-Mediated Post-Training организует процедурные скаффолды в эволюционирующий граф, который развивается вместе с параметрами модели через обнаружение, дистилляцию и перекомпиляцию.
- Реализация подхода называется Skill Training, протестирована на бенчмарке FeatureBench.
- Автоматически найденные скаффолды подняли passed rate на 8,1 п.п.; исходное значение до улучшения в источнике не указано.
- После дистилляции без внешних скаффолдов модель показала passed rate 27,7%, это коэффициент удержания дистилляции 85,2% от результата с внешним скаффолдом.
- По заявлению авторов, дистиллированная модель заметно превосходит модель, обученную обычным SFT на тех же данных.
Почему это важно
Сегодня дообучение (пост-тренинг) больших языковых моделей меняет только параметры модели, а процедурные скаффолды, структуры, подсказывающие модели, как действовать во время вывода, проектируются отдельно от этого процесса. Из-за такого разрыва модель с трудом автоматически усваивает и встраивает в себя сложные стратегии решения задач, которые скаффолды могли бы ей передать. Предложенный метод устраняет разрыв: скаффолды организованы в граф, который развивается вместе с параметрами модели через обнаружение новых скаффолдов, их дистилляцию в веса модели и динамическую перекомпиляцию графа.
Кому это важно
В первую очередь исследователям и инженерам, которые занимаются дообучением языковых моделей и системами на основе процедурных скаффолдов, а также командам, которым важно дистиллировать сложные стратегии решения задач в компактную модель без необходимости держать внешние скаффолды во время вывода.
Как это применить
Практическая реализация подхода в статье называется Skill Training. Метод протестирован на бенчмарке FeatureBench: система автоматически обнаруживает полезные процедурные скаффолды, затем постепенно дистиллирует их в параметры модели, после чего граф скаффолдов при необходимости динамически перекомпилируется. В источнике не указаны ни конкретная модель, её размер и архитектура, ни требуемые вычислительные ресурсы или время обучения, ни условия доступа к коду или данным, судить о применимости метода за пределами приведённых чисел нельзя.
Можно ли доверять
Источник, препринт на arXiv, доступный текст которого не содержит указаний на прохождение рецензирования. Имена авторов и их организации в этом тексте не приведены. Результаты получены на одном бенчмарке (FeatureBench), чьё содержание и масштаб в источнике не раскрыты, что затрудняет независимую оценку значимости чисел. Исходное значение passed rate до улучшения также не указано, известен только размер прироста в 8,1 п.п.
Риски и подводные камни
Коэффициент удержания дистилляции 85,2% означает, что часть выигрыша от скаффолдов теряется при переносе стратегии в параметры модели, дистиллированная модель работает заметно слабее версии с внешними скаффолдами. Все числа приведены для одного бенчмарка, и неясно, воспроизводится ли эффект на других задачах или моделях. Без данных о вычислительных затратах и времени обучения нельзя оценить, насколько метод практичен для масштабного применения за пределами исследовательской статьи.