Гипотеза разрешающей способности: эволюцию ИИ-агентов тормозит шумная оценка улучшений

Гипотеза разрешающей способности: эволюцию ИИ-агентов тормозит шумная оценка улучшений

В препринте с Hugging Face Papers описана «гипотеза разрешающей способности» (Resolution Hypothesis) для эволюции агентов. Эволюция устроена как простой цикл: «предлагающий» компонент пишет кандидатов в артефакты (промпты, навыки, воспоминания), а отбор принимает те, что набрали более высокий балл. Цикл выглядит многообещающе, но у практиков остаётся загадка: в разных статьях методы по очереди выигрывают друг у друга, а на некоторых задачах эволюция часто не может «раскрутиться».

Авторы объясняют это так: эволюция агента останавливается не потому, что методы не умеют предлагать лучшие артефакты, а потому, что шумные оценки не позволяют надёжно их опознать. Гипотезу проверяли на семи методах эволюции и шести моделях (свыше 10 млн вызовов LLM), и, по словам авторов, нашли её подтверждение на обоих уровнях, где используются оценки.

На уровне кандидатов (выбор артефактов) полезные варианты существуют, но отбор отличает их от вредных не лучше случайного выбора, поэтому ошибки накапливаются от раунда к раунду. На уровне методов (ранжирование методов) типичные отрывы в несколько процентных пунктов меньше, чем разница между двумя независимыми запусками одного и того же метода, поэтому опубликованные рейтинги часто держатся на удаче.

Вывод авторов: эволюция агентов нередко упирается в надёжное распознавание улучшений. Они призывают сменить подход к разработке и оценке самоулучшающихся агентов: вместо создания всё новых систем, предлагающих улучшения, добиваться, чтобы настоящие улучшения были обнаруживаемыми и накапливаемыми.

Ключевые факты

  • Эволюция агентов, цикл: предлагающий компонент пишет кандидатов (промпты, навыки, воспоминания), отбор принимает тех, кто набрал больше баллов.
  • Гипотеза авторов: эволюция стопорится не из-за нехватки хороших идей, а потому что шумные оценки не позволяют надёжно распознать улучшения.
  • Проверка: семь методов эволюции, шесть моделей, свыше 10 млн вызовов LLM.
  • На уровне кандидатов отбор различает полезные и вредные артефакты не лучше случайного, и ошибки копятся от раунда к раунду.
  • На уровне методов отрывы в несколько процентных пунктов меньше разницы между двумя запусками одного метода, поэтому рейтинги в статьях часто держатся на удаче.

Почему это важно

Самоулучшающиеся агенты, которые сами переписывают свои промпты, навыки и память, популярное направление, а результаты в статьях противоречат друг другу: методы по очереди обгоняют друг друга, а на ряде задач эволюция не запускается. Авторы предлагают простое объяснение: проблема не в генерации идей, а в измерении. Если оценка шумит сильнее, чем различия между кандидатами, отбор превращается в лотерею. Это переносит фокус с изобретения новых методов на надёжность оценки.

Кому это важно

Исследователям и инженерам, которые строят самоулучшающихся агентов и автоматически оптимизируют промпты, навыки и память. Также тем, кто сравнивает такие методы по опубликованным таблицам результатов: по утверждению авторов, отрывы в несколько процентных пунктов могут быть меньше обычного разброса между запусками.

Как это применить

Источник не описывает готового инструмента или рецепта, а лишь призывает делать так, чтобы настоящие улучшения были обнаруживаемыми и накапливаемыми. Практический вывод из самой постановки: прежде чем доверять победе одного метода или принятому кандидату, стоит оценить разброс между независимыми запусками и понять, превосходит ли разница в баллах этот разброс.

Можно ли доверять

Это аннотация препринта на Hugging Face Papers; она не прошла рецензирования, насколько видно из текста. В аннотации не названы ни авторы, ни организации, ни конкретные методы и модели, ни бенчмарки, ни величины разброса между запусками, проверить цифры по ней нельзя. Авторы сами говорят, что нашли подтверждение гипотезы («we find support»), а не доказали её, и что узкое место эволюции лишь «часто» в распознавании улучшений, но не всегда. Масштаб эксперимента (свыше 10 млн вызовов) заявлен, но подробности нужно смотреть в полном тексте работы.

Риски и подводные камни

Вывод относится к тому, что узкое место бывает «часто», а не всегда: нельзя считать, что шум оценки объясняет любую неудачу эволюции. В аннотации не сказано, на каких именно задачах эволюция не запускается, и не описано конкретное решение. Сильное утверждение о том, что опубликованные рейтинги «часто держатся на удаче», основано на сравнении отрывов в несколько процентных пунктов с разбросом между запусками; без полного текста его нельзя оценить по отдельным методам и бенчмаркам.

«Эволюция агентов останавливается не потому, что методы не умеют предлагать лучшие артефакты, а потому, что шумные оценки не позволяют надёжно их опознать.»

— Авторы препринта, Hugging Face Papers