Представлен ProgramGym: 1648 сред для обучения ИИ-агентов, пишущих программы с нуля

ИИ-агентов для программирования всё чаще просят не чинить ошибку в готовом репозитории и не собирать репозиторий по готовому техническому заданию, а строить программу с нуля, как это делает инженер. Авторы работы утверждают, что для такой задачи не хватает масштабируемых проверяемых обучающих сред, которые заставляют агента самому выяснять, что требуется, и решать, как должна быть устроена система. Кроме того, по их оценке, существующие рабочие процессы агентов не выдерживают долгой разработки, где перед реализацией нужно изучить эталонную программу.

Ответ авторов, фреймворк ProgramGym из двух частей. Program-Env строит проверяемые обучающие среды из репозиториев: цикл с обратной связью исправляет сборку в изолированной среде выполнения (runtime sandbox) и качество тестов «чёрного ящика». С помощью этого конвейера получено 1648 обучающих сред на C, C++, Go и Rust. Program-Agent, рабочий процесс с разделением ролей: анализ, реализация и проверка, плюс управление правками для контроля компиляции и восстановления после сбоев.

Результаты измерены на ProgramBench. Дообучение Qwen3.8-27B на траекториях из построенных сред поднимает результат с 34,87% до 42,84%. Program-Agent дополнительно поднимает базовую и дообученную (SFT) модели до 55,71% и 56,25% соответственно; по словам авторов, оба результата превосходят некоторые флагманские модели. Авторы обещают выложить ProgramGym, чтобы поддержать дальнейшие исследования агентов, создающих программы с нуля.

Ключевые факты

ProgramGym состоит из Program-Env (строит проверяемые обучающие среды из репозиториев) и Program-Agent (рабочий процесс с изолированными ролями анализа, реализации и проверки).
Конвейер Program-Env дал 1648 обучающих сред на C, C++, Go и Rust; среды чинятся циклом обратной связи, сборка в песочнице и качество тестов «чёрного ящика».
Дообучение Qwen3.8-27B на траекториях из этих сред поднимает результат на ProgramBench с 34,87% до 42,84%.
Program-Agent поднимает базовую и SFT-модели до 55,71% и 56,25%; авторы пишут, что оба значения выше некоторых флагманских моделей.
Авторы обещают выложить ProgramGym для исследований агентов, которые пишут программы с нуля.

Почему это важно

Сдвиг в использовании агентов для программирования: от правки ошибок в существующем репозитории к построению программы с нуля. Авторы считают, что узкое место здесь, обучающие среды: проверяемых и масштабируемых вариантов, где агент сам определяет требования и проектирует систему, мало. ProgramGym, попытка закрыть этот пробел и массово получать такие среды из обычных репозиториев.

Кому это важно

Исследователям и командам, которые обучают или дообучают агентов для программирования и ищут источники проверяемых обучающих задач. Также тем, кто строит агентные рабочие процессы для долгой разработки: решение с разделением ролей анализа, реализации и проверки и управлением правками, один из примеров такого подхода.

Как это применить

Пока применять нечего: ProgramGym только обещано к выпуску, даты, лицензии и ссылки на репозиторий в источнике нет. Идеи, которые можно взять уже сейчас: строить обучающие среды из реальных репозиториев с тестами «чёрного ящика» и циклом исправления сборки, а в агентном процессе разделять роли анализа, реализации и проверки.

Можно ли доверять

Это описание работы в аннотации: все цифры, результаты самих авторов на ProgramBench, независимой проверки нет. Название метрики за процентами не указано, флагманские модели, которые якобы превзойдены, не названы, и их показатели не приведены. Имена авторов и организаций в тексте источника не указаны.

Риски и подводные камни

Сравнение с «некоторыми флагманскими моделями» без названий и цифр проверить нельзя. Неизвестно, сколько репозиториев использовано и как 1648 сред распределены по языкам, чем и сколько генерировались траектории для дообучения. Выпуск ProgramGym только обещан, так что воспроизвести результаты сейчас нельзя.