Слабую ИИ-модель научили работать почти вдвое лучше без дообучения

Обычно способности крупной модели передают меньшей через дообучение: teacher forcing, on-policy-дистилляцию и похожие методы, которые меняют параметры целевой модели. Авторы работы проверили другой путь, перенос возможностей на этапе вывода (test time), без единого обновления весов.

Схема такая: сильная «модель-строитель» конструирует инференс-обвязку, набор кода и правил вокруг более слабой «целевой» модели, который помогает ей надёжнее решать задачи. Проверяли подход на четырёх бенчмарках Theory-of-Mind (задачи на понимание чужих психических состояний, намерений, знаний, убеждений). Модель-строитель использовала 5% данных как валидационную выборку и за несколько раундов итеративно дорабатывала обвязку, после чего готовую версию проверяли на полном тестовом наборе.

Результат: средний показатель целевой модели вырос с 0,49 до 0,91, почти вдвое. По анализу авторов, прирост дают не более развёрнутые рассуждения или расширенная выборка ответов самой целевой модели, а три конкретных механизма, вынос нестабильных рассуждений модели в детерминированный код, маршрутизация под конкретный бенчмарк и жёсткий контроль формата ответа. Дополнительно выяснилось: чем больше «усилий» (reasoning effort) вкладывает модель-строитель, тем монотонно выше качество обвязки; эффект платформы, на которой запускается строитель, скромный по сравнению с возможностями самой модели-строителя; а наибольший выигрыш получают именно самые слабые целевые модели. Вывод авторов, проектирование инференс-обвязок стоит рассматривать как важное дополнение к традиционной дистилляции на этапе обучения: сильная модель передаёт слабой «когнитивную структуру» задачи без её переобучения.

Ключевые факты

Сильная «модель-строитель» создаёт для слабой «целевой» модели обвязку на этапе вывода, без изменения параметров целевой модели
Проверка на четырёх бенчмарках Theory-of-Mind; строитель использует 5% данных как валидационную выборку и дорабатывает обвязку за несколько раундов
Средний результат целевой модели вырос с 0,49 до 0,91, почти вдвое
Прирост дают детерминированный код, маршрутизация под конкретный бенчмарк и строгий контроль формата ответа, а не более развёрнутые рассуждения модели
Чем больше усилий вкладывает модель-строитель, тем выше качество обвязки; наибольший выигрыш получают самые слабые целевые модели

Почему это важно

Дообучение (дистилляция) требует вычислений, данных и обновления весов, это дорого и не всегда доступно, если у вас нет прав или ресурсов менять модель. Работа показывает, что часть выигрыша от дистилляции можно получить иначе, сконструировав вокруг слабой модели правильную обвязку на этапе вывода, вообще не трогая её параметры. Это отдельный, дополняющий инструмент, а не замена обучению.

Кому это важно

Тем, кто разворачивает более дешёвые или локальные модели и хочет поднять их надёжность без переобучения; разработчикам агентных систем и инструментов поверх LLM, где качество определяется не только самой моделью, но и обвязкой вокруг неё, маршрутизацией запросов, форматированием ответов, детерминированной логикой.

Как это применить

Идея переносима на практику: вместо того чтобы дообучать слабую/дешёвую модель, можно использовать более сильную модель как «инженера», который проектирует для неё обвязку, выносит неустойчивые шаги рассуждений в детерминированный код, добавляет маршрутизацию под конкретный тип задачи и жёстко контролирует формат ответа. В описанном эксперименте на это уходит немного данных (5% на валидацию) и несколько итеративных раундов доработки.

Можно ли доверять

Источник, сам текст научной работы, фактура извлечена из него напрямую, без искажений. Но в сохранённом тексте не названы ни авторы (кроме первого имени в метаданных карточки), ни институции, ни конкретные модели-строители и целевые модели, ни сами четыре бенчмарка Theory-of-Mind, ни площадка/дата публикации, то есть проверить результат по независимым источникам по этим данным нельзя, а сами цифры взяты из самоотчёта авторов, до внешней верификации или рецензирования.

Риски и подводные камни

Результат получен только на одном типе задач, Theory-of-Mind, и неизвестно, переносится ли эффект на другие домены (математику, код, факт-чекинг и так далее). Метод требует, чтобы кто-то заранее спроектировал качественную обвязку под конкретную задачу, это не «бесплатный» прирост, а инженерная работа, качество которой само зависит от возможностей модели-строителя. Отсутствие названий моделей и бенчмарков в тексте не позволяет оценить, насколько результат специфичен именно для этих задач и моделей.