SpecEvo: дешёвые нейросети ведут поиск, дорогая, лишь изредка

Эволюционный поиск на основе больших языковых моделей считается перспективным подходом к научным открытиям, но, как отмечают авторы статьи, существующие методы остаются дорогими и медленными: они часто применяют дорогостоящие рассуждения ко всем шагам подряд и недостаточно используют информацию из неудачных, повторяющихся и «насыщенных» попыток.

В ответ предлагается Speculative Evolution (SpecEvo), фреймворк из нескольких моделей, который сочетает лёгкие и передовые (frontier) модели и непрерывно накапливает свидетельства о ходе поиска. Лёгкие модели обслуживают два вида компонентов. Первые, параллельные Speculators: они порождают и дорабатывают программы-кандидаты. Второй, Advisor: он обобщает накопленные успехи, неудачи и направления, в которых поиск исчерпал себя, в устойчивые подсказки для следующих шагов исследования.

Передовая модель играет роль Navigator и подключается только в редких контрольных точках. Она просматривает текущую популяцию решений и вмешивается одним из способов: синтезом, точечной доработкой или переформулировкой задачи, в зависимости от того, насколько поиск застопорился. Авторы называют такую схему «speculate-then-consolidate» (сначала предположить, затем свести воедино): рутинное исследование и сведение свидетельств отдаются дешёвым моделям, а дорогие рассуждения резервируются для стратегических вмешательств, польза от которых распространяется на множество последующих недорогих оценок.

Результаты: на 176 задачах из четырёх областей научного и алгоритмического поиска SpecEvo, по заявлению авторов, не уступает базовым решениям на передовых моделях или превосходит их, при этом снижая расходы на API до 80%. На задаче поиска уравнений (equation discovery) эффективность оценок до 1,5 раза выше, чем у экономичных базовых методов, а на CO-Bench SpecEvo опережает сильнейший базовый метод на 3,8%. Авторы делают вывод, что результаты подтверждают координацию моделей с учётом траектории поиска как эффективный путь к экономному научному поиску.

Ключевые факты

SpecEvo, фреймворк эволюционного поиска для научных и алгоритмических задач, где лёгкие модели делают рутину, а передовая модель вмешивается лишь в редких контрольных точках.
Лёгкие модели обслуживают параллельные Speculators (порождают и дорабатывают программы-кандидаты) и Advisor (обобщает успехи, неудачи и исчерпанные направления в подсказки).
Передовая модель Navigator вмешивается синтезом, точечной доработкой или переформулировкой, в зависимости от застоя поиска.
На 176 задачах из четырёх областей SpecEvo, по заявлению авторов, не уступает передовым базовым решениям или превосходит их, снижая расходы на API до 80%.
На поиске уравнений эффективность оценок до 1,5 раза выше, чем у экономичных базовых методов; на CO-Bench, на 3,8% лучше сильнейшего базового метода.

Почему это важно

Эволюционный поиск на основе языковых моделей упирается в стоимость: дорогая модель привлекается к каждому шагу, а опыт неудачных попыток используется слабо. SpecEvo предлагает разделить труд: дешёвые модели ведут массовое исследование и копят выводы, а дорогая вмешивается редко и по делу. Если заявленное снижение расходов до 80% при сохранении качества подтвердится, автоматический научный поиск станет доступнее.

Кому это важно

Исследователям и командам, которые строят системы автоматического поиска алгоритмов и научных закономерностей на языковых моделях и считают расходы на API. Также тем, кто занимается оркестрацией нескольких моделей разного размера: работа предлагает конкретную схему распределения ролей между ними.

Как это применить

Идея переносима в виде схемы: параллельные дешёвые генераторы кандидатов, отдельный дешёвый компонент для обобщения успехов и неудач в постоянные подсказки и редкие контрольные точки, где дорогая модель просматривает популяцию решений и решает, как действовать. В тексте аннотации не названы конкретные модели и не говорится о публикации кода, поэтому готовой реализации по этому материалу не получить; детали придётся искать в полном тексте статьи.

Можно ли доверять

Это препринт на arXiv; все результаты, заявления самих авторов, независимой проверки пока нет. В аннотации не названы ни авторы и организации, ни использованные модели, ни четыре области задач (упомянуты лишь поиск уравнений и CO-Bench), ни сами передовые базовые решения. Показатель «до 80%», верхняя граница, а не типичное значение; типичная или средняя экономия не приведена.

Риски и подводные камни

Цифры в аннотации, максимумы («до 80%», «до 1,5 раза»), поэтому на отдельных задачах выигрыш может быть заметно меньше. Не указано, абсолютные или относительные 3,8% на CO-Bench. Абсолютные затраты в долларах не приведены, ограничения метода в аннотации не обсуждаются. Вывод авторов сформулирован осторожно: результаты «поддерживают» подход, а не доказывают его универсальность.