ИИтог

MLExpert: агентная модель на 35B подняла долю медалей с 37,9% до 72,7%

исследованияРедакция ИИтогHugging Face🔥58Рейтинг ИИтог58Влияние50Новизна60Релевантность95Неожиданность40Участники20Достоверность75
MLExpert: агентная модель на 35B подняла долю медалей с 37,9% до 72,7%

Авторы препринта предлагают метод дообучения (post-training) для автономной долгой работы в машинном обучении (MLE, machine learning engineering) и применяют его, чтобы обучить MLExpert, агентную модель типа Mixture-of-Experts размером 35B. Идея вписана в направление «ИИ для ИИ» (AI4AI), которое в статье названо путём к рекурсивному самосовершенствованию (RSI).

Проблема, из которой исходит работа: современные MLE-системы дают модели самой организовывать эксперименты и менять стратегию оптимизации по результатам запусков. Но отклик каждого эксперимента отражает сразу несколько предшествующих решений, а длинный прогон содержит много дорогих экспериментов. Поэтому при обучении нужно выбирать полезный обучающий сигнал из длинных траекторий взаимодействия и учиться на промежуточных результатах.

Метод состоит из нескольких частей. Kaggle-MLE Factory строит исполняемые задачи и среду взаимодействия (interaction harness), в которой модель сама ставит эксперименты. Иерархическое агентное SFT (supervised fine-tuning, обучение с учителем) переносит общие навыки работы с инструментами и написания кода в область MLE через контроль, ориентированный на результат. Windowed Interaction RL (WIRL) рассматривает многошаговые решения между двумя последовательными результатами экспериментов как «окно выполнения» и назначает ему общую награду, основанную на исходе. Асинхронный сбор данных и коррекция политики позволяют обновлять политику до завершения траектории.

Главный результат: на MLE-Bench Lite средняя доля медалей у базовой модели выросла с 37,9% до 72,7%. По утверждению авторов, это сопоставимо с более крупными передовыми моделями, например Kimi-K3 и GLM-5.3. Дополнительные эксперименты, как пишут авторы, показывают улучшение на NatureBench Lite, в оптимизации каркаса агента (agent scaffold) и в оптимизации алгоритмов, это, по их словам, говорит об обобщаемости выученного навыка оптимизации на другие задачи.

Ключевые факты

  • MLExpert, агентная модель типа Mixture-of-Experts размером 35B, обученная для автономной долгой оптимизации в ML-инжиниринге.
  • На MLE-Bench Lite средняя доля медалей базовой модели выросла с 37,9% до 72,7%; авторы называют результат сопоставимым с более крупными моделями Kimi-K3 и GLM-5.3.
  • Метод включает Kaggle-MLE Factory для генерации задач, иерархическое агентное SFT и Windowed Interaction RL (WIRL) с общей наградой на «окно выполнения».
  • Асинхронный сбор данных и коррекция политики позволяют обновлять политику до конца траектории.
  • Улучшения отмечены также на NatureBench Lite, в оптимизации каркаса агента и оптимизации алгоритмов; авторы считают, что это указывает на обобщаемость.

Почему это важно

Работа показывает, что относительно небольшую агентную модель можно целенаправленно дообучить на долгие циклы экспериментов в машинном обучении: на MLE-Bench Lite доля медалей выросла с 37,9% до 72,7%. Авторы связывают это с темой «ИИ для ИИ» и рекурсивным самосовершенствованием, то есть с системами, которые сами улучшают ИИ. Это рамка авторов, а не доказанный результат.

Кому это важно

Исследователям агентного обучения с подкреплением и дообучения моделей, а также командам, которые строят системы автоматизации ML-экспериментов и бенчмарки вроде MLE-Bench. Интерес представляет сама идея награды за «окно» решений между результатами экспериментов.

Как это применить

Практически применить результат пока нельзя: в доступном тексте не упомянуты выпуск весов, кода или Kaggle-MLE Factory. Пока это источник идей: назначать общую награду по исходу на отрезок решений между экспериментами, отбирать обучающие траектории по результату и обновлять политику асинхронно до конца траектории.

Можно ли доверять

Это препринт: цифры взяты из аннотации самих авторов, независимой проверки в тексте нет. В источнике не названы авторы и организации, не указаны базовая модель, число задач и запусков, по которым усреднена доля медалей, и точные баллы Kimi-K3 и GLM-5.3, сказано лишь «сопоставимо». Цифры по NatureBench Lite, оптимизации каркаса агента и алгоритмов тоже не приведены. Формулировка об обобщаемости у авторов осторожная («suggesting»).

Риски и подводные камни

Неясно, считает ли «35B» общее число параметров или только активные, в источнике это не уточнено. Рост на одном бенчмарке не означает такого же качества на реальных задачах, а выводы об обобщаемости пока опираются на заявления авторов без приведённых чисел. Разговор о рекурсивном самосовершенствовании остаётся рамкой, а не измеренным результатом.