Ai2 выяснила: нейросети ненадёжно судят о новизне научных идей

Исследователи Ai2 опубликовали работу Old Ideas, Novel Problems о том, насколько надёжно большие языковые модели (LLM) оценивают новизну научных идей. Вместе с ней выложены бенчмарк, данные, код и автоматический конвейер, с помощью которого можно собирать новые наборы для оценки. Такую оценку («судью новизны») часто поручают другой LLM, при этом единого способа её построить нет: команды сами выбирают модель, промпт, формат оценки, бюджет рассуждений и иногда систему поиска по литературе. Проверяют же таких судей обычно на статьях, написанных людьми, а не на идеях, сгенерированных ИИ, которые им и предстоит оценивать.

Бенчмарк построен на рецензиях ICLR 2026. Авторы не считали принятие статьи показателем новизны, а извлекали из рецензий фрагменты, где рецензенты прямо обсуждали оригинальность вклада. Пул высокой новизны, 154 идеи людей из принятых статей, входящих в лучшие 10% своей области ICLR, где рецензенты положительно отметили новизну и никто её не оспорил. Пул низкой новизны, 145 идей из отклонённых статей из худших 10%, где рецензенты высказывали сомнения в оригинальности и никто не отметил новизну. В проверке процесса разметки аннотатор согласился с извлечённой полярностью сигнала новизны в 47 случаях из 50. Эти два пула образуют первый режим, Human-Only. Второй режим, Human+Generated, объединяет те же 154 идеи людей с 154 идеями простого LLM-генератора, которому дали только область исследований и просьбу предложить новую идею, без поиска по литературе, инструментов, итераций и обратной связи. Идеи генератора считаются менее новыми по предположению: это слабые метки, а не проверенные оценки. Эксперт отдельно разобрал 30 пар Human+Generated (в основном те, где ошибся самый сильный судья) и во всех 30 предпочёл идею человека, ни одну из сгенерированных идей новой не признав.

Тестировали шесть судей: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 и Claude Opus 4.6, в поточечном (абсолютная оценка) и попарном (какая из двух идей новее) режимах. Менялся один фактор за раз: промпт, бюджет рассуждений, доступ к близким статьям, формат идей, число объединяемых суждений и модель-генератор. Сильнее всего на результат влиял промпт. GPT-5.4 показывали одни и те же пары из Human+Generated с двумя промптами: в одном модели сообщали, что рецензенты нашли новой ровно одну идею в каждой паре, и просили указать её, в другом просто спрашивали, какая идея новая. При переходе к простому промпту точность упала с 93,5% до 40,9% (ниже случайного уровня), а вердикт изменился более чем в половине тех же пар. На Human-Only то же изменение сдвинуло точность лишь примерно на семь процентных пунктов, но и там сдвиги бывали существенными: у Claude Opus 4.6, на 21 пункт. Универсально лучшего промпта нет: удаление инструкции не считать новыми тривиальные или инкрементальные вклады улучшило точность одних судей и ухудшило у других (при оценке идей по отдельности). В одном из экспериментов правка нескольких слов в промпте сдвигала точность выбора более новой из двух идей более чем на 50 п.п.

При сравнении идей двух ИИ-генераторов (Opus 4.5 против Sonnet 4.5 и GPT-5.4 против GPT-5.1) в среднем по шести судьям от четверти до трети вердиктов менялось при изменениях промпта.

Больше поиска и рассуждений не значит лучше. GPT-5.6 Sol с очень высоким бюджетом рассуждений и живым итеративным поиском по arXiv получил 0,78 macro-F1 на Human+Generated (чем выше, тем лучше), на 11 пунктов отстав от Claude Opus 4.6 с пятью заранее найденными аннотациями (0,89), при примерно в 10 раз большей стоимости одного решения по текущим ценам API. Специализированные оценщики тоже не выиграли: простой промпт Claude Opus 4.6 с низким уровнем рассуждений и голосованием по трём вызовам дал 0,854 macro-F1 при общей стоимости оценки $2,59. Idea Novelty Checker (конвейер с поиском и переранжированием по литературе) набрал 0,642 за $30,66, а оценщик новизны из AI Scientist от Sakana AI, который итеративно ищет по Semantic Scholar, 0,772 за $82,05 (оба использовали Claude Opus 4.6, один вызов на решение).

Вывод авторов: оценка новизны с помощью LLM остаётся серьёзной нерешённой проблемой. Судья, выглядящий надёжным на работах людей, может вести себя иначе на идеях ИИ; промпт, помогающий одной модели, вредит другой; а больше поиска или вычислений не гарантирует более согласованных суждений.

Ключевые факты

Ai2 выпустила исследование Old Ideas, Novel Problems, бенчмарк на рецензиях ICLR 2026, данные, код и конвейер для создания новых наборов оценки.
У GPT-5.4 на парах человек против ИИ точность упала с 93,5% до 40,9% при замене промпта на более простой; на идеях только людей та же правка сдвинула точность примерно на семь п.п.
Простой промпт Claude Opus 4.6 (низкие рассуждения, голосование по трём вызовам) дал 0,854 macro-F1 за $2,59 и обошёл Idea Novelty Checker (0,642, $30,66) и оценщик из AI Scientist от Sakana AI (0,772, $82,05).
Агентный судья GPT-5.6 Sol с поиском по arXiv получил 0,78 macro-F1 против 0,89 у Claude Opus 4.6 с пятью готовыми аннотациями и стоил примерно в 10 раз дороже за решение.
Универсально лучшего промпта нет: он может помогать одной модели и вредить другой.

Почему это важно

Системы автоматизации науки всё чаще поручают другой LLM решать, действительно ли предложенная идея нова. Исследование Ai2 показывает, что такая оценка очень чувствительна к мелочам настройки: несколько слов в промпте способны сдвинуть точность более чем на 50 п.п. Особенно хрупкой оказалась оценка идей, сгенерированных ИИ, то есть именно того, ради чего такие судьи и применяются. Авторы делают вывод, что оценка новизны с помощью LLM остаётся серьёзной нерешённой проблемой.

Кому это важно

Командам, которые строят системы генерации научных идей и сравнивают между собой ИИ-генераторы: от четверти до трети вердиктов менялось при смене промпта. Также исследователям, которые пользуются LLM-судьями или специализированными оценщиками новизны, и тем, кто делает бенчмарки для оценки научных ИИ-систем.

Как это применить

Ai2 публикует бенчмарк, данные, код и автоматический конвейер, который можно применить к новым рецензиям, другим научным сообществам и будущим судьям новизны. Практические выводы авторов: проверять судью на тех идеях, которые ему предстоит оценивать; замерять чувствительность к промптам и моделям; не считать, что поиск по литературе или лишние вычисления сами по себе улучшат результат. Простой промпт Claude Opus 4.6 с голосованием по трём вызовам оказался точнее и заметно дешевле двух специализированных систем.

Можно ли доверять

Это исследование самой Ai2, представленное в её собственном блоге. Авторы сами оговаривают ограничения: идеи генератора считаются менее новыми по предположению, это слабые метки, а не проверенные суждения по каждой идее; генератор был намеренно простым. Эксперт проверил лишь 30 пар, причём в основном те, где ошибся самый сильный судья. При этом авторы подчёркивают, что многие выводы от меток не зависят: если два разумных способа оценки дают противоположные ответы на одну пару, это само по себе показывает нестабильность. Разметку по рецензиям аннотатор подтвердил в 47 случаях из 50.

Риски и подводные камни

Результат 93,5% у GPT-5.4 получен с подсказкой, что ровно одна идея в паре признана новой; без неё точность упала ниже случайной, так что высокие цифры могут отражать подсказку в промпте, а не способность судить о новизне. Сравнение специализированных оценщиков проводилось на одной модели (Claude Opus 4.6) и одном наборе Human+Generated. Результаты относятся к шести протестированным судьям и конкретным версиям моделей. Стоимость указана по текущим ценам API и со временем изменится.

«Наши результаты позволяют предположить, что оценка новизны с помощью LLM остаётся серьёзной нерешённой проблемой.»

— Ai2, блог на Hugging Face