OpenAI раскрыла данные об ИИ-агентах Codex и Dots в разработке моделей

OpenAI выпустила второй отчёт об ускорении внутренних исследований. В нём компания публикует собственные данные о том, насколько глубоко ИИ-агенты встроены в разработку новых моделей. По словам OpenAI, цель, документировать признаки так называемого рекурсивного самоулучшения (RSI), когда ИИ-системы ускоряют создание следующих поколений. Об отчёте пишет The Decoder.
Использование внутренних инструментов вроде Codex и Dots, согласно отчёту, недавно резко выросло. По обычным прайсовым ценам API медианный исследователь в октябре «потребил» бы токенов на $2400 в день, на 62% больше, чем месяцем ранее. У 10% самых активных пользователей эта теоретическая стоимость удвоилась до $23 000 в день. В пересчёте на восьмичасовые рабочие дни агенты, как сообщается, работают за каждого исследователя в эквиваленте 5,7 рабочего дня на календарный день, а в командах пред- и посттренинга, около восьми. Более двух третей отслеживаемых исследователей на пике запускали параллельно не менее четырёх агентов.
Теоретический API-эквивалент времени работы агентов в сентябре вдвое превышал обычные зарплатные расходы на исследователей. Однако расчёт не учитывает пакеты акций, которые составляют 70-80% полной компенсации в OpenAI. А если сравнивать со всеми вычислительными ресурсами компании на исследования, на внутренних агентов приходится всего 2%.
Успешность агентов на рутинных задачах высокая, на сложных, слабая. С марта по октябрь оценочная доля задач длиной два, четыре часа, которые автономные агенты решают без вмешательства человека, выросла с 23% до 46%; для задач на четыре, восемь часов, с 13% до 35%. Разбивка по таксономии Epoch AI показывает, что системы в основном справляются с простым: мониторинг тренировочных запусков агенты завершают в 79% случаев, а на технические вопросы самостоятельно отвечают в 72%. При этом на более сложной инженерной работе они часто проваливаются: создание сред для оценки и обучения с подкреплением удаётся в 29% случаев, написание кода для систем инференса и обслуживания, в 25%.
В нерепрезентативном внутреннем опросе 101 сотрудника исследователи в медиане заявили, что предпочли бы отдать 40% штата своей команды или 30% вычислительных мощностей, лишь бы не оставаться на три месяца без нынешних кодинг-агентов. В отдельном экспресс-опросе 28 сотрудников 27 предпочли новейшую внутреннюю модель инженеру среднего уровня.
Качественные интервью с десятью исследователями показали обратную сторону. По словам опрошенных, у моделей нет «вкуса» к хорошим исследовательским идеям и к качеству кода и данных. Агенты увязают в лишних шагах, делают неверные допущения в анализе и присылают слабые правки кода («AI slop») вместе с непригодными для работы артефактами данных. Чтобы не тратить вычисления впустую, необходим тщательный контроль со стороны человека.
Ключевые концептуальные идеи для GPT-6 Astra и GPT-6.2 Astra, по словам опрошенных команд, целиком принадлежали людям из направлений посттренинга и безопасности. Лишь в претренинге GPT-6.2 Astra отдельные исследователи сказали, что получили важные идеи в диалоге с Codex.
В выводах OpenAI предупреждает, что собранные данные о взаимодействии человека и ИИ могут не экстраполироваться линейно. Компания указывает на недавние быстрые прорывы ИИ в математике и допускает, что столь же резкие скачки возможны и в самих исследованиях глубокого обучения по мере роста автономности моделей.
Для контекста The Decoder напоминает: оценочная организация METR недавно, после одиннадцатинедельного изучения работы конкурента Anthropic, оценила, что использование ИИ там почти вдвое ускорило разработку. А в первом отчёте в начале сентября OpenAI заявила, что достигла поставленной себе цели, автоматизированного ИИ-стажёра-исследователя. Главный научный сотрудник Якуб Пахоцкий в сопроводительном посте предупреждал о потере контроля, после аудита, выявившего многочисленные пробелы в системе надзора.
Ключевые факты
- По прайсу API медианный исследователь OpenAI в октябре «потребил» бы токенов на $2400 в день (+62% к предыдущему месяцу); у топ-10% пользователей, $23 000 в день. Это теоретическая стоимость, а не реальные траты.
- Агенты работают в эквиваленте 5,7 рабочего дня на исследователя в календарный день; более двух третей отслеживаемых исследователей на пике запускали минимум четыре агента параллельно.
- Автономный успех агентов на задачах 2-4 часа вырос с 23% до 46%, на задачах 4-8 часов, с 13% до 35% (март, октябрь), но среды для оценки и RL удаются в 29% случаев, код для инференса, в 25%.
- В нерепрезентативном опросе 101 сотрудника медианный исследователь отдал бы 40% штата команды или 30% вычислений, лишь бы не жить три месяца без кодинг-агентов; 27 из 28 в экспресс-опросе предпочли новейшую внутреннюю модель инженеру среднего уровня.
- Ключевые идеи для GPT-6 Astra и GPT-6.2 Astra, по словам команд, принадлежали людям; интервью выявили нехватку у моделей «вкуса» и необходимость жёсткого контроля.
Почему это важно
Это второй отчёт OpenAI с её собственными данными о том, как ИИ-агенты участвуют в создании новых моделей, часть попытки документировать признаки рекурсивного самоулучшения (RSI). Цифры показывают быстрый рост использования Codex и Dots и рост доли самостоятельно решаемых задач. В то же время вклад агентов в главные концептуальные идеи, по словам опрошенных команд, остаётся минимальным: их предлагали люди. Для контекста: METR оценила, что ИИ почти вдвое ускорил разработку в Anthropic.
Кому это важно
Тем, кто следит за темой автоматизации ИИ-исследований и безопасностью: отчёт даёт редкие количественные ориентиры от самой лаборатории. Также он интересен руководителям инженерных и исследовательских команд, оценивающим, насколько кодинг-агенты заменяют людей и где нужен человеческий контроль.
Как это применить
Прямого инструмента для использования отчёт не даёт. Практический вывод из интервью: агенты хорошо справляются с рутиной вроде мониторинга запусков и ответов на технические вопросы, но слабы в создании сред для оценки и обучения с подкреплением и в коде для инференса; для таких задач нужен тщательный человеческий контроль, иначе вычисления тратятся впустую.
Можно ли доверять
Все данные, собственные, самоотчётные данные OpenAI; The Decoder их пересказывает. Стоимость токенов, теоретический эквивалент по прайсу API, а не реальные расходы, а сравнение с зарплатами не учитывает акции, составляющие 70-80% компенсации. Опрос 101 сотрудника назван нерепрезентативным, экспресс-опрос охватил 28 человек, интервью, десять исследователей. Показатели успешности названы оценочными. Заголовок оригинала («ценят инструменты больше почти половины коллег») не подкреплён конкретной цифрой в тексте; ближайшие данные, опросы о готовности отказаться от 40% штата или 30% вычислений и о 27 из 28 в пользу модели.
Риски и подводные камни
Сам OpenAI предупреждает, что данные о сотрудничестве человека и ИИ могут не экстраполироваться линейно, и допускает резкие скачки в исследованиях глубокого обучения по мере роста автономности моделей. Интервью фиксируют слабые правки кода («AI slop»), неверные допущения в анализе и непригодные артефакты данных, а также нехватку у моделей «вкуса» к хорошим идеям. Предыдущий отчёт сопровождался предупреждением главного научного сотрудника Якуба Пахоцкого о потере контроля после аудита, выявившего многочисленные пробелы в системе надзора.