Кембридж и NVIDIA научили ИИ-агента и его оценщика эволюционировать вместе

Команда исследователей факультета компьютерных наук Кембриджа (домен источника, cst.cam.ac.uk) вместе с NVIDIA, факультетским стартапом Flower Labs, а также MBZUAI и Inria опубликовала препринт «The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators» на arXiv. Первый автор работы, Алекс Якоб, аспирант лаборатории Machine Learning Systems Lab под руководством профессора Ника Лейна.

Проблема, которую решает метод: самообучающиеся ИИ-агенты уже умеют улучшать себя сами, редактируют собственный код, тестируют варианты и оставляют те, что работают лучше. Но этот процесс обычно ограничен фиксированным оценщиком, бенчмарком или набором тестов: как только агент выучивает всё, что способен различить этот фиксированный сигнал, прогресс замедляется или останавливается. «Самообучающийся агент может стать ровно настолько хорош, насколько хорош тест, который его оценивает, объясняет Якоб., Тест не просто измеряет прогресс, а определяет его, поэтому эффективность теста становится потолком, который агент не может преодолеть».

Решение авторов, заставить оценщика эволюционировать вместе с агентом. «Вместо того чтобы улучшать агента против фиксированного теста, мы позволяем оценке развиваться вместе с агентом, добавляет Якоб., По мере того как агент становится лучше, оценка тоже становится сложнее, и планка постоянно поднимается». Технически это устроено так: Red Queen Gödel Machine перебирает множество версий агента, одновременно улучшая и сам оценщик. Внутри каждой фазы оценщик держат фиксированным, чтобы прогресс можно было измерить надёжно. На контрольных точках более сильный оценщик может заменить старый, если показывает лучший результат на проверенных эталонных примерах; оценки, выставленные старым оценщиком, при этом обнуляются, и следующая фаза идёт уже по новому, более требовательному стандарту. Получается самоусиливающийся цикл, где агент и оценщик развиваются вместе, но система всё время остаётся привязана к надёжным проверкам.

Название метода отсылает к Красной Королеве, персонажу книги Льюиса Кэрролла «Алиса в Зазеркалье», которая говорит Алисе: «Нужно бежать изо всех сил, чтобы только оставаться на месте». Гипотеза Красной Королевы, выдвинутая в 1973 году гипотеза в эволюционной биологии о том, что виды вынуждены постоянно адаптироваться и эволюционировать, чтобы выжить в конкуренции с другими видами, которые тоже непрерывно эволюционируют; авторы переносят эту логику на ИИ.

Метод протестировали на двух типах задач: написании и рецензировании научных статей, а также написании и оценке доказательств олимпиадного уровня. В обоих случаях Red Queen Gödel Machine превзошла прежние подходы к самообучению агентов. Как пишут авторы в статье, соэволюционировавшие ИИ-писатели научных статей получают приёмку в 1,78, 1,86 раза чаще под панелью разных ИИ-судей (agent-as-a-judge panel), а соэволюционировавшие оценщики показывают точность относительно эталона на 9% выше. Оба показателя приведены как относительный прирост к базовому подходу, абсолютные цифры точности и доли принятых статей в материале не даны.

Отдельный вывод касается снижения стоимости обучения. В одном эксперименте, по соэволюции ИИ-рецензентов и ИИ-авторов научных статей, исследователи использовали открытую модель NVIDIA Nemotron 3 Ultra вместе с ChatGPT-5.5. В задаче рецензирования такая гибридная связка приблизилась (не сравнялась и не превзошла) по качеству к результатам одного только ChatGPT-5.5, но снизила затраты на токены поиска примерно в 13 раз. Профессор Ник Лейн, соавтор статьи, комментирует: «Это узкий результат, и нам стоит быть осторожными, чтобы его не переоценить. Но он также показывает, куда может пойти этот метод. Если открытые модели способны взять на себя основную часть поиска, пока более сильные передовые модели направляют процесс улучшения на высоком уровне, у нас появляется реальный путь к гораздо более способным открытым агентным системам при значительно меньшей стоимости». Дэниел Буркхардт, менеджер по связям с разработчиками в NVIDIA и один из соавторов статьи, добавляет: «Эта работа показывает, как открытые модели могут играть важную роль в продвинутых агентных системах. Модели NVIDIA Nemotron спроектированы эффективными и способными для задач рассуждения и работы агентов, и эта работа показывает, как их можно использовать как часть более широкого цикла самоулучшения».

Авторы подчёркивают, что работа предварительная: чтобы понять, насколько далеко может масштабироваться подход, нужны более длинные горизонты поиска. Метод обещают открыть (open source) для более широкого применения, но на момент публикации статьи он ещё не выложен в открытый доступ; команда продолжает проверять, как подход работает на более широком круге ИИ-задач, включая эксперименты существенно большего масштаба.

Ключевые факты

Метод Red Queen Gödel Machine (препринт на arXiv, первый автор, Алекс Якоб, Кембридж, при участии NVIDIA, Flower Labs, MBZUAI и Inria) заставляет самообучающегося ИИ-агента и его оценщика эволюционировать вместе, а не упираться в фиксированный тест.
На задачах написания и рецензирования научных статей соэволюционировавшие агенты-писатели получают приёмку в 1,78, 1,86 раза чаще под панелью ИИ-судей, а соэволюционировавшие оценщики точнее на 9% относительно базового подхода.
На олимпиадных математических доказательствах метод тоже превзошёл прежние подходы к самообучению агентов.
Гибридная связка открытой модели NVIDIA Nemotron 3 Ultra и ChatGPT-5.5 в задаче рецензирования статей приблизилась по качеству к одному ChatGPT-5.5, но снизила затраты на токены поиска примерно в 13 раз.
Авторы называют результат предварительным и узким; метод планируют открыть в открытый доступ, но пока это не сделано.

Почему это важно

У самообучающихся ИИ-агентов есть известное узкое место: агент способен улучшаться ровно до тех пор, пока способен усложняться сам тест, который его оценивает, дальше прогресс упирается в потолок фиксированного бенчмарка. Red Queen Gödel Machine предлагает решение на уровне архитектуры процесса: оценщик усложняется вместе с агентом, так что потолок постоянно отодвигается, а не остаётся статичным. Это меняет саму постановку задачи рекурсивного самоулучшения ИИ, а не просто добавляет ещё один приём поверх существующих методов.

Кому это важно

В первую очередь, исследовательским командам, которые строят рекурсивно самоулучшающихся ИИ-агентов и упираются в потолок оценки: у них появляется конкретный метод с опубликованной статьёй. Также это важно компаниям и лабораториям, которые ищут способ удешевить обучение агентных систем: эксперимент показывает, что связка открытой модели (NVIDIA Nemotron 3 Ultra) и дорогой закрытой (ChatGPT-5.5) может снизить затраты на поиск примерно в 13 раз без катастрофической потери качества.

Как это применить

Практический вывод для инженерных команд, не конкретная реализация (код пока не выложен, авторы лишь обещают открыть его), а сама схема: если есть дорогая передовая модель и дешёвая открытая, дорогую модель стоит оставить для управления процессом улучшения на высоком уровне, а массовый перебор вариантов переложить на открытую модель, в эксперименте авторов это снизило стоимость поиска примерно в 13 раз почти без потери качества. Как только код появится в открытом доступе, метод можно будет опробовать на своих задачах; пока результаты получены только на написании/рецензировании научных статей и на олимпиадных математических доказательствах.

Можно ли доверять

Работа опубликована исследовательской группой Кембриджа при участии NVIDIA, Flower Labs (стартап, выросший из того же факультета), MBZUAI и Inria, состав соавторов и участие NVIDIA как индустриального партнёра повышают доверие к результатам. При этом статья, препринт на arXiv, то есть она ещё не прошла независимое рецензирование. Соавтор, профессор Ник Лейн, сам публично предупреждает не переоценивать результат: «Это узкий результат, и нам стоит быть осторожными, чтобы его не переоценить». Абсолютные цифры точности и доли принятых статей, относительно которых считаются приросты 1,78, 1,86× и 9%, в материале не приводятся, известны только относительные показатели.

Риски и подводные камни

Главная оговорка, сами авторы называют результат предварительным и узким: нужны более длинные горизонты поиска, чтобы понять, насколько метод масштабируется за пределами двух проверенных типов задач. Все опубликованные улучшения (1,78, 1,86×, 9%, ~13×), относительные величины к базовому подходу; без абсолютных цифр сложно оценить, насколько хорош результат в реальном выражении. Метод, несмотря на обещание открыть исходный код, на момент публикации ещё не доступен публично, так что независимо повторить эксперимент пока нельзя.

«Самообучающийся агент может стать ровно настолько хорош, насколько хорош тест, который его оценивает: тест не просто измеряет прогресс, а определяет его, поэтому эффективность теста становится потолком, который агент не может преодолеть.»

— Алекс Якоб, аспирант лаборатории Machine Learning Systems Lab Кембриджа, первый автор работы