GPT и Claude в рецензиях берут около 50% замечаний из приложения к статье

GPT и Claude в рецензиях берут около 50% замечаний из приложения к статье

Языковые модели всё чаще используют рецензенты, чтобы найти слабые места в научных статьях, и их выводы нередко формируют рецензии, которые потом отправляют люди. Прежние работы изучали, насколько рецензии нейросетей совпадают с человеческими, но какие именно части статьи модели критикуют, было известно мало. Именно это проверили авторы препринта «AI Reviews Are Biased Towards the Appendix».

Они разобрали 2000 статей с конференций ACL, EMNLP, COLM и ICLR. Оказалось, что новейшие модели GPT и Claude берут около 50% и более своих замечаний (слабых мест) из приложения. Такое поведение сохраняется при трёх способах использовать модель для рецензирования статьи: через API, через кодового агента и через веб-доступ.

У людей картина другая: из приложения они берут лишь 8,4% замечаний, и эти замечания в основном касаются подачи материала и содержания, связанного с центральной идеей статьи. Модели же достают претензии из глубины приложения, и они относятся к мелким техническим деталям, которые не имеют отношения к главному вкладу работы.

Авторы рассчитывают, что анализ пополнит научную дискуссию об ИИ-рецензиях. Код опубликован на GitHub (cincynlp/review_appendix).

Ключевые факты

  • Проанализированы 2000 статей с ACL, EMNLP, COLM и ICLR.
  • Новейшие модели GPT и Claude берут около 50% и более своих замечаний из приложения.
  • Люди-рецензенты берут из приложения только 8,4% замечаний; их претензии чаще о подаче и сути основной идеи.
  • Перекос сохраняется при работе через API, кодового агента и веб-доступ.
  • Модели критикуют мелкие технические детали из глубины приложения, не центральные для вклада статьи; код исследования открыт.

Почему это важно

Нейросети всё чаще помогают искать слабые места в статьях, а их результаты нередко ложатся в основу человеческих рецензий. Работа показывает, что модели смотрят на статью иначе, чем люди: примерно половина и более их замечаний взята из приложения, тогда как у людей на приложение приходится 8,4%. До этого было известно мало о том, какие части статьи ИИ-рецензенты критикуют.

Кому это важно

Организаторам и рецензентам научных конференций, которые используют ИИ как подсказку при рецензировании. Авторам статей, чьи работы могут получить замечания к деталям приложения. Исследователям, которые изучают качество и смещения ИИ-рецензирования.

Как это применить

Источник не даёт рекомендаций по правилам рецензирования. Практически из него следует лишь одно наблюдение: замечания модели стоит сверять с тем, к какой части статьи они относятся, и отличать претензии к основной идее от придирок к техническим деталям в глубине приложения. Код анализа открыт: github.com/cincynlp/review_appendix.

Можно ли доверять

Это препринт, и в доступном описании нет сведений об авторах и их организациях. Названы лишь «новейшие модели GPT и Claude» без конкретных версий и без разбивки по моделям; число статей по конференциям тоже не приведено. В описании не сказано, были ли придирки моделей к приложению справедливыми или ошибочными. Результаты можно перепроверить по опубликованному коду.

Риски и подводные камни

Цифра «около 50% и более» дана одной общей оценкой, без различий между моделями. Из описания нельзя понять, полезны ли замечания к приложению: авторы лишь отмечают, что они касаются мелких технических деталей, не связанных с вкладом статьи. Если такие замечания попадают в человеческие рецензии, акцент оценки может сместиться с главной идеи на второстепенное.