У идей есть геномы: бенчмарк проверяет, умеет ли ИИ прослеживать «родословную» научных идей
Исследователи во главе с Yifan Zhou представили бенчмарк IdeaGene-Bench (IG-Bench), тест на то, умеют ли ИИ-системы понимать, как научные идеи наследуют, видоизменяют и комбинируют более ранние работы, подобно тому как гены передаются и мутируют в биологических геномах. Авторы исходят из наблюдения: научные идеи почти никогда не возникают с нуля, они опираются на существующие механизмы, устраняют известные ограничения предыдущих работ и комбинируют фрагменты более ранних исследований. Действующие бенчмарки почти не проверяют, способны ли ИИ-модели улавливать эту структуру наследования.
В основе IG-Bench лежит фреймворк IdeaGene: каждая статья или предложение представляется как набор минимальных, типизированных, подкреплённых доказательствами объектов «геном идеи» (Idea Genome objects). Механизм GenomeDiff сопоставляет такие объекты между работами и фиксирует шесть типов эволюционных изменений: наследование, мутацию, потерю, заимствование извне и появление принципиально новой идеи.
Бенчмарк включает 1961 «золотую» родословную линию, 1085 подготовленных вручную объектов «геном идеи» и 920 попарных записей GenomeDiff, охватывающих 10 научных областей. На его основе проводятся два вида оценки. IG-Exam (42 типа заданий, 1029 примеров) проверяет задачи на рассуждение о родословной с однозначным ответом: абстрагирование объектов «геном идеи», прослеживание наследования, рассуждение об эволюции идей и проверку родословной. IG-Arena оценивает уже генерацию новых идей с помощью метрики Population-Evolution Score (PES, «оценка эволюции популяции»): она проверяет, можно ли встроить предложенную идею как органичного «потомка» в заданную линию идей, унаследует ли она нужные объекты «геном идеи», достаточно ли осмысленно отличается от соседних работ и представляет ли ценность для отбора в будущих исследованиях.
Авторы прогнали через бенчмарк 14 систем на основе больших языковых моделей, выступающих в роли «ИИ-учёных», и обнаружили общее узкое место: модели плохо справляются именно с комбинированием элементов родословной. Лучшая из протестированных систем показала точность всего 27,3% на задачах рассуждения о родословной. При этом добавление структурированного контекста о родословной не улучшает результаты всех участников равномерно, а скорее перетасовывает итоговый рейтинг систем, кто-то выигрывает от такого контекста, а кто-то, наоборот, теряет позиции.
Ключевые факты
- Бенчмарк IG-Bench проверяет способность ИИ прослеживать «родословную» научных идей, как они наследуют, видоизменяют и комбинируют более ранние работы.
- В основе, фреймворк IdeaGene: идеи представлены как объекты «геном идеи», а механизм GenomeDiff фиксирует шесть типов изменений между версиями (наследование, мутация, потеря, внешнее заимствование, новая вставка).
- Датасет: 1961 золотая родословная линия, 1085 объектов «геном идеи», 920 попарных сравнений GenomeDiff по 10 научным областям.
- Два теста: IG-Exam (42 типа заданий, 1029 примеров), рассуждение о родословной; IG-Arena, генерация новых идей с оценкой PES (насколько предложенная идея органично встраивается как потомок в линию идей).
- На 14 ИИ-системах лучший результат, всего 27,3% точности; добавление контекста о родословной перетасовывает рейтинг систем, а не улучшает результаты у всех одинаково.
Почему это важно
Бенчмарк указывает на слепое пятно в оценке ИИ как «научного ассистента»: большинство существующих тестов не проверяют, понимает ли модель, откуда взялась идея и как она соотносится с предшественниками, а именно это отличает содержательный научный вклад от случайно сгенерированного текста.
Кому это важно
Разработчикам ИИ-инструментов для научной работы (agent- и co-scientist-систем), исследователям, изучающим границы возможностей больших языковых моделей в творческих и научных задачах, и авторам других бенчмарков для оценки рассуждающих моделей.
Как это применить
IG-Bench можно использовать как контрольную точку при выборе или разработке ИИ-ассистента для литературных обзоров и генерации гипотез: если система показывает низкую точность на IG-Exam, к её предложениям «новых идей» стоит относиться с осторожностью и вручную проверять реальную новизну и связь с предыдущими работами.
Можно ли доверять
Это академическая работа с открыто описанной методологией, конкретными числовыми показателями (1961 линия, 1085 объектов, 920 сравнений, 27,3% точности) и тестированием 14 разных систем, что снижает риск подгонки результатов под одну модель; вместе с тем бенчмарк пока не проверялся независимо сторонними лабораториями, и все цифры приведены со слов самих авторов.
Риски и подводные камни
Главный риск, субъективность авторской типизации: если разметка объектов «геном идеи» отражает трактовку конкретной исследовательской группы, то оценка родословной может измерять совпадение с этой трактовкой, а не реальное качество генерации идей. Кроме того, неравномерный эффект от добавления контекста о родословной (одним моделям он помогает, другим, вредит) говорит, что метрика PES пока чувствительна к архитектуре конкретной системы, а не универсальна для всех ИИ-подходов.