WorkFactory: фреймворк строит 112 686 рабочих задач для обучения ИИ-агентов
Авторы статьи исходят из того, что для масштабного обучения «рабочих» агентов с учителем нужны разнообразные профессиональные задачи, по которым можно получить надёжные экспертные демонстрации. Проблема в том, что в таких задачах часто не хватает информации или она противоречива: из-за этого модель-учитель не может довести выполнение до конца, и обучающий сигнал получается слабее.
Для решения предложен WorkFactory, масштабируемый фреймворк для построения связных и исполнимых профессиональных задач. Он стартует с профессиональных намерений (intents). Затем планирование на уровне информации строит «граф информационной поддержки» (information support graph): он направляет превращение намерения в конкретную задачу и явно фиксирует, какая информация нужна для требуемых результатов, как она связана и где находится. После этого пробные запуски (probe executions) выявляют места, где поддержки не хватает, и подсказывают исправления, сохраняя замысел самой работы.
С помощью WorkFactory авторы построили 112 686 задач, охватывающих 612 профессий. Собранные траектории учителя использовали, чтобы дообучить модели Qwen трёх размеров, 4B, 27B и 35B-A3B. Получилось семейство WorkPilot. По сообщению авторов, все три модели улучшились относительно своих базовых версий на четырёх бенчмарках профессиональной работы. Для WorkPilot-35B-A3B на GDPval-AA v2.1 рейтинг вырос с 879 до 1565 Elo.
Анализ масштабирования показал убывающую отдачу, зависящую от модели: длина выполнения сначала растёт, а затем сокращается. Контролируемый анализ компонентов показал, что планирование и исправление уменьшают дефекты среды задач, найденные пробными запусками, и улучшают итоговое качество. Данные и модели авторы выложили в репозитории на GitHub (IQuestLab/WorkFactory).
Ключевые факты
- WorkFactory строит исполнимые профессиональные задачи из профессиональных намерений: граф информационной поддержки планирует, какая информация нужна, а пробные запуски находят пробелы и помогают их исправить.
- Построено 112 686 задач по 612 профессиям; траектории учителя пошли на дообучение моделей Qwen размером 4B, 27B и 35B-A3B (семейство WorkPilot).
- По данным авторов, все три модели WorkPilot улучшились относительно базовых на четырёх бенчмарках профессиональной работы; WorkPilot-35B-A3B на GDPval-AA v2.1 вырос с 879 до 1565 Elo.
- Анализ масштабирования показал убывающую отдачу, зависящую от модели; длина выполнения сначала растёт, потом падает.
- Данные и модели опубликованы на GitHub: github.com/IQuestLab/WorkFactory.
Почему это важно
Обучать агентов на реальных рабочих сценариях мешает качество самих задач: если в условиях не хватает данных или они противоречат друг другу, даже сильный учитель не сможет выполнить работу, и обучающие примеры получаются слабыми. WorkFactory пытается решить именно эту проблему и поставить создание таких задач на поток: 112 686 задач по 612 профессиям. Заявленный результат, рост WorkPilot-35B-A3B с 879 до 1565 Elo на GDPval-AA v2.1.
Кому это важно
Исследователям и командам, которые обучают агентов выполнять профессиональные задачи и сталкиваются с нехваткой качественных обучающих данных. Также тем, кто строит бенчмарки и среды для агентов: идея проверять задачу пробными запусками до использования в обучении применима и вне этой работы.
Как это применить
Данные и модели опубликованы в репозитории github.com/IQuestLab/WorkFactory, так что результаты можно проверить и использовать как отправную точку. Сам подход состоит из трёх шагов: определить профессиональное намерение, построить граф информационной поддержки, прогнать пробные запуски и исправить найденные пробелы до сбора траекторий учителя.
Можно ли доверять
Пересказ основан только на аннотации статьи, а результаты, это заявления самих авторов. В аннотации не названы авторы и организации. Из четырёх бенчмарков по имени указан лишь GDPval-AA v2.1, результаты WorkPilot-4B и WorkPilot-27B в числах не приведены, версия Qwen и модель-учитель не названы. Рост рейтинга с 879 до 1565 Elo даётся без сравнения с другими моделями или с людьми-экспертами. Для оценки надёжности нужен полный текст статьи и независимая проверка.
Риски и подводные камни
Авторы сами отмечают убывающую отдачу при масштабировании, причём она зависит от модели, так что простое наращивание числа задач не гарантирует пропорционального роста. Рейтинг Elo на конкретном бенчмарке не равен качеству работы в реальных профессиональных условиях. Кроме того, из аннотации не видно, как построенные задачи сопоставляются с реальной практикой профессий.