Представлена Sage-Taiyi: ИИ для научных идей опередил AI Scientist-v2 на Taiyi-Bench

Представлена Sage-Taiyi: ИИ для научных идей опередил AI Scientist-v2 на Taiyi-Bench

Препринт описывает Sage-Taiyi, архитектуру для генерации научных идей, вдохновлённую метакогницией (способностью следить за собственным мышлением и управлять им). Система использует накопленное научное понимание, чтобы определять, что исследовать дальше и как это делать.

Механизм построен на явном мониторинге и контроле. Система пересматривает своё понимание доказательств, допущений и нерешённых вопросов, а затем на основе этих оценок меняет цели исследования и выбирает подходящие многократно применимые методы рассуждения.

Главный результат получен на Taiyi-Bench, бенчмарке для ИИ-соавторов в науке, который включает 265 задач из 50 статей по десяти дисциплинам. По данным авторов, Sage-Taiyi занимает первое место по всем восьми метрикам, исторического «переоткрытия» и открытой генерации идей. Общий балл (Overall) составил 54,0 против 47,9 у сильнейшего из базовых решений, AI Scientist-v2. Шкала и способ подсчёта балла в тексте не раскрыты. Также сообщается, что система показывает хорошие результаты ещё на двух внешних бенчмарках по научной генерации идей; цифры и названия не приведены.

Отдельно авторы описывают пять совместных работ с экспертами, которые связывают предложения системы с экспериментальной и вычислительной проверкой в химии, материаловедении и инженерии. В химии оптимизация условий реакции подняла выход кобальт-катализируемого карбонилирования со следовых количеств до 84%, а фотокаталитического аллильного аминирования, с 13% до 69%.

Вывод авторов осторожный: результаты «поддерживают» метакогнитивную регуляцию как подход к научной генерации идей и её продвижение к практической проверке.

Ключевые факты

  • Sage-Taiyi, архитектура с метакогнитивным контролем: система пересматривает понимание доказательств, допущений и нерешённых вопросов и по нему меняет цели и методы рассуждения.
  • На Taiyi-Bench (265 задач из 50 статей, десять дисциплин) Sage-Taiyi, по данным авторов, первая по всем восьми метрикам: Overall 54,0 против 47,9 у AI Scientist-v2.
  • Заявлены хорошие результаты ещё на двух внешних бенчмарках по научным идеям, но без цифр.
  • В пяти работах с участием экспертов предложения системы связаны с экспериментальной и вычислительной проверкой в химии, материаловедении и инженерии.
  • В химии оптимизация условий реакции подняла выход карбонилирования с кобальтовым катализатором со следовых количеств до 84%, а фотокаталитического аллильного аминирования, с 13% до 69%.

Почему это важно

Идея в том, что ИИ-соавтор не просто генерирует гипотезы, а оценивает, что он уже знает, чего не знает, и по этому выбирает следующий шаг. Это попытка сделать автоматизированный поиск научных идей более управляемым. Практическая проверка в химии (рост выхода реакций) показывает, что работа не ограничена одними бенчмарками, хотя масштаб такой проверки в тексте невелик: пять совместных работ с экспертами.

Кому это важно

Исследователям, которые строят ИИ-системы для научной работы и сравниваются с AI Scientist-v2. Также тем, кто следит за темой «ИИ-соавторов» в химии, материаловедении и инженерии и за способами оценки таких систем.

Как это применить

Напрямую применить пока нечего: в тексте не сказано, опубликованы ли код и данные, и не указано, на какой языковой модели основана система. Практический вывод для разработчиков, идея явного цикла «мониторинг, пересмотр понимания, смена цели и метода» и сравнение с AI Scientist-v2 на Taiyi-Bench.

Можно ли доверять

Это препринт, и все цифры, заявления самих авторов. Шкала и способ расчёта Overall, список восьми метрик, названия и результаты двух внешних бенчмарков в тексте не приведены. Не сказано, публичен ли Taiyi-Bench и кто его создал. Сами авторы формулируют вывод осторожно: результаты «поддерживают» подход, а не доказывают его превосходство.

Риски и подводные камни

Преимущество в 54,0 против 47,9 нельзя интерпретировать без шкалы и метода оценки. Неясно, достигнуто ли улучшение выхода реакций самой системой или в совместной работе с экспертами-химиками («экспертно направляемые сотрудничества»), и сколько предложений проверено и сколько не подтвердилось. Один сильный базовый ориентир (AI Scientist-v2) и пять совместных работ, небольшая база для широких выводов.