RepoFactory превращает репозитории в среды для обучения кодинг-агентов

Статья посвящена тому, как обучать кодинг-агентов на длинных многошаговых задачах. Для этого нужны среды с проверяемой обратной связью, а существующие конвейеры их построения, по словам авторов, чаще всего линейны и заканчиваются проверкой: она показывает, что среда пригодна к использованию, но почти не подсказывает, как повысить её ценность для обучения. Рекурсивное самоулучшение, напротив, обычно требует прогонов модели или её дообучения с последующей оценкой на задачах, а на длинных горизонтах стоимость и задержка обратной связи ещё выше. Отсюда вопрос статьи: можно ли использовать быстрые и надёжные косвенные (прокси) сигналы, чтобы повышать ценность сред для обучения и создавать их в большом масштабе.
Ответ авторов, RepoFactory, автоматизированный конвейер, который превращает реальные репозитории в проверяемые среды. В такой среде агент должен с нуля собрать целый проект по описанию на естественном языке. Ключевая часть конвейера, Environment Evolution Loop («цикл эволюции сред»). Он оптимизирует мультипликативную целевую функцию (то есть произведение факторов), которая объединяет три составляющие: валидность, структурную связанность и объём реализации. Оптимизация идёт по прокси-сигналам, без прогонов модели и её обучения на каждом шаге.
RepoFactory выпускает 10 159 сред в 17 предметных областях разработки ПО. Модель Qwen3.5-35B-A3B, обученная на этих средах, получила название RepoHorizen-35B-A3B. Она дала прирост 22,6 процентного пункта на NL2Repo-Bench и в среднем 8,5 пункта по пяти бенчмаркам, которые охватывают длинные задачи по написанию кода и агентные задачи в условиях, близких к реальному производству. Для сравнения, без эволюции сред прирост составил 17,5 пункта на NL2Repo-Bench и 6,4 пункта в среднем. Авторы делают вывод, что результаты подтверждают ценность сред RepoFactory для обучения и дополнительную пользу цикла эволюции.
Ключевые факты
- RepoFactory, автоматический конвейер: берёт реальные репозитории и делает из них проверяемые среды, где агент с нуля строит целый проект по языковому описанию.
- Environment Evolution Loop улучшает среды по прокси-сигналам, оптимизируя произведение трёх факторов: валидности, структурной связанности и объёма реализации.
- Получено 10 159 сред в 17 областях разработки ПО; на них Qwen3.5-35B-A3B обучили до RepoHorizen-35B-A3B.
- Прирост: 22,6 п.п. на NL2Repo-Bench и в среднем 8,5 пункта по пяти бенчмаркам; без эволюции сред, 17,5 и 6,4 пункта.
- Абсолютные оценки, состав остальных четырёх бенчмарков и сравнение с другими моделями или конвейерами в аннотации не приведены.
Почему это важно
Для агентов, пишущих код на длинных задачах, не хватает сред с проверяемой обратной связью, и их трудно создавать в большом количестве. Авторы предлагают не просто проверять среду на пригодность, а улучшать её по быстрым прокси-сигналам, не прогоняя на каждом шаге модель и не обучая её. Если подход работает так, как описано, он удешевляет подготовку обучающих данных для таких агентов. Разница между 22,6 и 17,5 пункта на NL2Repo-Bench и между 8,5 и 6,4 пункта в среднем показывает вклад именно цикла эволюции сред.
Кому это важно
Исследователям, которые обучают агентов-программистов и строят для них среды и обучающие наборы. Командам, которые работают над рекурсивным самоулучшением и упираются в стоимость и задержку обратной связи на длинных задачах. Тем, кто следит за качеством обучающих сред, а не только за размером моделей.
Как это применить
Из аннотации видно общую схему: взять реальные репозитории, превратить их в задачи «собрать проект по описанию», проверять результат автоматически и отбирать среды по комбинированной метрике из валидности, структурной связанности и объёма реализации. Выпущены ли код, среды и веса модели, в аннотации не сказано, поэтому воспроизвести подход можно лишь после знакомства с полным текстом статьи.
Можно ли доверять
Это препринт, а мы пересказываем только его аннотацию. В ней не названы авторы и организации, не приведены абсолютные оценки (только приросты в пунктах), не перечислены остальные четыре бенчмарка из пяти и нет сравнения с другими моделями или другими способами создания сред. Единственная база сравнения, обучение без эволюции сред. Выводы о ценности сред и цикла эволюции принадлежат самим авторам и независимо не проверены.
Риски и подводные камни
Приросты указаны в пунктах без абсолютных значений, поэтому масштаб улучшения оценить трудно. Про среднее по пяти бенчмаркам сказано лишь «в среднем», среднее это или медиана, не уточнено. Не раскрыты затраты на обучение, число прогонов, перечень 17 областей и языков программирования. Выигрыш на NL2Repo-Bench заметно больше среднего по набору, а результаты по остальным четырём бенчмаркам по отдельности в аннотации не приведены.