Представлен InfraRSI: агент ускоряет обучение LLM до 2,75 раза

Представлен InfraRSI: агент ускоряет обучение LLM до 2,75 раза

В препринте представлен InfraRSI, агентная система (harness), которая принимает от человека свободные команды и превращает их в проверенные оптимизации обучения больших языковых моделей. Исходная проблема, по описанию авторов: рекурсивное самоулучшение (Recursive Self-Improvement, RSI) уже ускоряет отдельные алгоритмы и синтез ядер (kernels), но распределённое обучение LLM зависит от тесно связанных между собой параметров запуска, операторных ядер и расписаний коммуникации. Одна правка здесь часто упирается в нехватку памяти (OOM), конфликты компилятора, шум измерений или «тихий» численный дрейф.

Работа InfraRSI устроена как пятистадийный процесс. Стадия init фиксирует область, которую разрешено менять, и жёсткий контракт задачи, инварианты по нагрузке, функции потерь и замерам времени, чтобы агент не мог «взломать награду» (reward hacking). Стадия doctor профилирует фазы базового запуска и калибрует шум кластера. Стадия run совместно оптимизирует параметры запуска и патчи кода, затем перепроверяет лучших кандидатов относительно базовой конфигурации и записывает находки в банк опыта, общий для разного оборудования. Стадии report и apply проверяют пути к исходникам, учитывают стоимость неудачных попыток и фиксируют (коммитят) принятые изменения.

Вместо жадных шагов от единственной текущей лучшей конфигурации InfraRSI стартует с набора разнообразных конфигураций, подсказанных накопленным опытом. По всем испытаниям, включая упавшие по памяти, система строит глобальные модели времени выполнения и пикового потребления памяти (с учётом цензурирования данных). С их помощью она оценивает память, которую «стоит» каждая настройка, пересматривает неверные априорные представления LLM по результатам живых запусков и сочетает требовательные к памяти оптимизации с механизмами экономии памяти и проверенными патчами кода.

Результаты: на четырёх одно- и многоузловых плотных и MoE-нагрузках (Mixture-of-Experts) InfraRSI даёт ускорение до 2,75 раза и поднимает среднюю загрузку вычислительных возможностей Model FLOPs Utilization (MFU) с 17,4% до 30,0%. По утверждению авторов, система превосходит существующие тюнеры и кодовых агентов и переносит опыт между разными GPU. Авторы называют InfraRSI двухуровневым контуром рекурсивного самоулучшения: приоритеты пересматриваются онлайн внутри запусков, а опыт «дистиллируется» между кластерами, всё это нужно, чтобы продвигать масштабирование фундаментальных моделей.

Ключевые факты

  • InfraRSI, агентная система, превращающая свободные команды человека в проверенные оптимизации распределённого обучения LLM через пять стадий: init, doctor, run, report, apply.
  • На четырёх одно- и многоузловых плотных и MoE-нагрузках заявлено ускорение до 2,75 раза.
  • Средняя MFU (Model FLOPs Utilization) вырастает с 17,4% до 30,0%, это абсолютные проценты загрузки, а не относительный прирост.
  • Система строит глобальные модели времени выполнения и пикового потребления памяти по всем испытаниям, включая упавшие по нехватке памяти, и хранит опыт в банке, общем для разного оборудования.
  • Стадия init фиксирует разрешённую область правок и контракт задачи, чтобы агент не мог «взломать награду».

Почему это важно

Эффективность обучения больших моделей упирается в тонкую настройку параметров запуска, ядер и коммуникаций, которые тесно связаны между собой. Авторы показывают попытку автоматизировать это агентом, который сам пробует правки, проверяет их и накапливает опыт. Заявленный рост средней MFU с 17,4% до 30,0% означает, что на тех же GPU используется заметно большая доля вычислительных возможностей. Работа также встраивается в тему рекурсивного самоулучшения: ИИ-системы улучшают инфраструктуру, на которой обучаются сами.

Кому это важно

Командам, которые обучают собственные плотные и MoE-модели на многоузловых GPU-кластерах, а также инженерам по инфраструктуре и производительности обучения. Интересна она и тем, кто делает агентов для кода: здесь показан приём с жёстким контрактом задачи и проверкой кандидатов относительно базовой конфигурации.

Как это применить

Прямо сейчас, как идея и ориентир. В источнике не указаны ни выпуск кода, ни лицензия, ни условия доступа. Из описания можно перенять принципы: зафиксировать допустимую область правок и инварианты (нагрузка, функция потерь, замеры времени), откалибровать шум кластера до начала экспериментов, учитывать неудачные запуски (в том числе упавшие по памяти) при построении моделей и перепроверять лучших кандидатов против базовой конфигурации.

Можно ли доверять

Это препринт, и все результаты, собственные заявления авторов: «ускорение до 2,75 раза», рост MFU с 17,4% до 30,0% и превосходство над существующими тюнерами и кодовыми агентами. Максимум 2,75 раза, это верхняя граница, а не типичный результат. В источнике (аннотации) не названы авторы и организации, не указаны, относительно какой базовой линии измерено ускорение и на какой нагрузке оно получено, не названы конкурирующие инструменты и величина отрыва от них. Не названы также модели, число параметров, типы GPU и размеры кластеров. Проверить выводы по одному тексту аннотации нельзя.

Риски и подводные камни

Главная оговорка, неизвестная базовая линия: без неё трудно понять, насколько ускорение 2,75 раза реалистично для вашей конфигурации. Оценка проведена на четырёх нагрузках, поэтому переносимость на другие модели и кластеры не показана. Сам автор описания признаёт трудности предметной области: правки в обучении легко приводят к нехватке памяти, конфликтам компилятора, шуму измерений и «тихому» численному дрейфу, а агенты склонны к взлому награды, отсюда жёсткие контракты и проверки. Любое внедрение подобной автоматизации потребует собственной верификации того, что численное поведение обучения не изменилось.