GPT и Claude в рецензиях берут около 50% замечаний из приложения к статье

Языковые модели всё чаще используют рецензенты, чтобы найти слабые места в научных статьях, и их выводы нередко формируют рецензии, которые потом отправляют люди. Прежние работы изучали, насколько рецензии нейросетей совпадают с человеческими, но какие именно части статьи модели критикуют, было известно мало. Именно это проверили авторы препринта «AI Reviews Are Biased Towards the Appendix».
Они разобрали 2000 статей с конференций ACL, EMNLP, COLM и ICLR. Оказалось, что новейшие модели GPT и Claude берут около 50% и более своих замечаний (слабых мест) из приложения. Такое поведение сохраняется при трёх способах использовать модель для рецензирования статьи: через API, через кодового агента и через веб-доступ.
У людей картина другая: из приложения они берут лишь 8,4% замечаний, и эти замечания в основном касаются подачи материала и содержания, связанного с центральной идеей статьи. Модели же достают претензии из глубины приложения, и они относятся к мелким техническим деталям, которые не имеют отношения к главному вкладу работы.
Авторы рассчитывают, что анализ пополнит научную дискуссию об ИИ-рецензиях. Код опубликован на GitHub (cincynlp/review_appendix).
Ключевые факты
- Проанализированы 2000 статей с ACL, EMNLP, COLM и ICLR.
- Новейшие модели GPT и Claude берут около 50% и более своих замечаний из приложения.
- Люди-рецензенты берут из приложения только 8,4% замечаний; их претензии чаще о подаче и сути основной идеи.
- Перекос сохраняется при работе через API, кодового агента и веб-доступ.
- Модели критикуют мелкие технические детали из глубины приложения, не центральные для вклада статьи; код исследования открыт.
Почему это важно
Нейросети всё чаще помогают искать слабые места в статьях, а их результаты нередко ложатся в основу человеческих рецензий. Работа показывает, что модели смотрят на статью иначе, чем люди: примерно половина и более их замечаний взята из приложения, тогда как у людей на приложение приходится 8,4%. До этого было известно мало о том, какие части статьи ИИ-рецензенты критикуют.
Кому это важно
Организаторам и рецензентам научных конференций, которые используют ИИ как подсказку при рецензировании. Авторам статей, чьи работы могут получить замечания к деталям приложения. Исследователям, которые изучают качество и смещения ИИ-рецензирования.
Как это применить
Источник не даёт рекомендаций по правилам рецензирования. Практически из него следует лишь одно наблюдение: замечания модели стоит сверять с тем, к какой части статьи они относятся, и отличать претензии к основной идее от придирок к техническим деталям в глубине приложения. Код анализа открыт: github.com/cincynlp/review_appendix.
Можно ли доверять
Это препринт, и в доступном описании нет сведений об авторах и их организациях. Названы лишь «новейшие модели GPT и Claude» без конкретных версий и без разбивки по моделям; число статей по конференциям тоже не приведено. В описании не сказано, были ли придирки моделей к приложению справедливыми или ошибочными. Результаты можно перепроверить по опубликованному коду.
Риски и подводные камни
Цифра «около 50% и более» дана одной общей оценкой, без различий между моделями. Из описания нельзя понять, полезны ли замечания к приложению: авторы лишь отмечают, что они касаются мелких технических деталей, не связанных с вкладом статьи. Если такие замечания попадают в человеческие рецензии, акцент оценки может сместиться с главной идеи на второстепенное.