SwarmEvolve: рои ИИ-агентов в латентном пространстве ускорили поиск программ

Эволюционный поиск с участием больших языковых моделей использует ИИ-агентов, чтобы улучшать программы для математических и вычислительных задач: решения итеративно дорабатываются, а лучшие методы комбинируются. По описанию авторов, у такого подхода есть узкое место, он часто работает медленно. На каждом раунде модель генерирует длинную текстовую цепочку рассуждений, и эту генерацию приходится повторять много раз, чтобы сохранить разнообразие популяции решений.
В препринте представлен SwarmEvolve, фреймворк, в котором за раунд работают сотни недорогих агентов, объединённых в рои. Агенты рассуждают в латентном (скрытом) пространстве, не декодируя мысли в текст, а информацией обмениваются, передавая друг другу KV-кэши (внутреннюю память attention-слоёв модели). Каждый рой изучает задачу под своим углом.
Разнообразие идей обеспечивает фильтр новизны: он оставляет самые непохожие идеи агентов, напрямую измеряя расстояния между векторами их скрытых состояний. Скрещивание идей, как пишут авторы, происходит естественно в латентном пространстве: агент-«обобщатель» получает объединённые KV-кэши всех участников роя.
Результаты, заявленные в аннотации: на 21 задаче по математическим открытиям и научным вычислениям SwarmEvolve получает самый высокий средний балл, а медиана времени, нужного для достижения лучших результатов, с которыми другие современные фреймворки справляются за 60 минут, составляет всего 3-8 минут. Кроме того, на нескольких задачах SwarmEvolve с моделью Qwen3 8B улучшает решения, которые AlphaEvolve первоначально нашла с помощью передовых больших моделей. Авторы делают вывод, что рои агентов, общающиеся в латентном пространстве, дают быстрый и недорогой подход к поиску программ для научных задач.
Ключевые факты
- SwarmEvolve, фреймворк для эволюционного поиска программ с помощью языковых моделей: сотни недорогих агентов за раунд работают роями.
- Агенты рассуждают в латентном пространстве, без декодирования в текст, и обмениваются информацией через KV-кэши; резюмирующий агент получает объединённые KV-кэши всего роя.
- Фильтр новизны сохраняет самые различающиеся идеи, измеряя расстояния между векторами скрытых состояний агентов.
- На 21 задаче (математические открытия и научные вычисления), самый высокий средний балл; медиана 3-8 минут против 60 минут у других современных фреймворков до тех же лучших результатов.
- На нескольких задачах версия с Qwen3 8B улучшает решения, которые AlphaEvolve первоначально нашла с помощью передовых больших моделей.
Почему это важно
Эволюционный поиск программ с участием языковых моделей применяют к математическим и научным задачам, но он упирается в скорость: длинные текстовые рассуждения приходится генерировать снова и снова. SwarmEvolve предлагает убрать текст из внутреннего обмена и перенести рассуждения в латентное пространство. Если заявленное ускорение (медиана 3-8 минут вместо 60) подтвердится независимо, это заметно сокращает цикл итераций. Отдельно заметно утверждение, что небольшая модель Qwen3 8B на нескольких задачах улучшила решения, найденные AlphaEvolve с передовыми моделями.
Кому это важно
Исследователям, которые строят системы автоматического поиска алгоритмов и математических конструкций на основе языковых моделей. Тем, кто занимается многоагентными системами и обменом информацией между агентами не через текст, а через внутренние состояния модели. Также тем, кого интересуют научные вычисления на скромном оборудовании, поскольку в заявленном подходе участвуют недорогие агенты и небольшая модель.
Как это применить
Из описания видно только общее устройство метода: разделить агентов на рои с разными углами зрения на задачу, отбирать идеи фильтром новизны по расстояниям между скрытыми состояниями, а скрещивание поручать агенту, получающему объединённые KV-кэши роя. Практически использовать метод пока затруднительно: в доступном описании не упомянут выпуск кода, поэтому для применения придётся ждать полного текста работы и возможной публикации реализации.
Можно ли доверять
Это препринт, а все цифры взяты из аннотации и подаются самими авторами. Не названы конкуренты, с которыми сравнивали, не перечислены 21 задача, не указаны значение среднего балла и отрыв от других фреймворков. Не уточнено, на каком оборудовании измерены 3-8 минут, и какие именно передовые модели использовала AlphaEvolve. Улучшение решений AlphaEvolve заявлено лишь для «нескольких» задач, а не для всех, и его размер не приведён. Заявление о «низкой стоимости» не подкреплено цифрами затрат. Результаты стоит перепроверять по полному тексту и независимым воспроизведениям.
Риски и подводные камни
Заявленное преимущество по скорости относится к достижению тех же лучших результатов, а не к качеству в целом, и измерено как медиана, так что на отдельных задачах время может быть иным. Рассуждения в латентном пространстве хуже читаются человеком, чем текстовая цепочка мыслей, поэтому разбирать, почему рой пришёл к решению, сложнее. Обмен KV-кэшами предполагает доступ к внутренним состояниям модели, а значит, подход рассчитан на модели, которые можно запускать самостоятельно, а не на закрытые API. Это вывод из описания механизма, а не заявление авторов.
«Наша работа показывает, что рои агентов, общающиеся в латентном пространстве, дают быстрый и недорогой подход к поиску программ для научных задач.»
— авторы препринта SwarmEvolve, аннотация