ИИ-модели раскрывают авторов анонимных научных статей эффективнее людей
Двойное слепое рецензирование, главная защита научного сообщества от предвзятости по статусу и принадлежности к организации: рецензент должен оценивать работу по существу, не зная, кто её написал. Это держится на предположении, что анонимизированная рукопись не выдаёт личность автора.
Авторы новой работы показывают, что с распространением больших языковых моделей (LLM) это предположение становится всё менее надёжным. Авторство и раньше можно было вычислить по сети цитирований или по особенностям стиля, но исследование демонстрирует ещё один канал утечки: используя только заголовок и аннотацию статей, опубликованных уже ПОСЛЕ обучения модели (то есть заведомо ей не встречавшихся), языковые модели вскрывают анонимность эффективнее, чем люди, уверенность модели быстро сосредотачивается на небольшом числе вероятных кандидатов из пула в пять профильных экспертов на статью.
Ключевое наблюдение: уязвимость сохраняется, даже если из текста намеренно убрать стилистические и библиографические подсказки, манеру письма и ссылки на предыдущие работы автора. Значит, модель ориентируется не на «почерк» текста, а на устойчивые паттерны в постановке задачи и направлении исследования, своего рода концептуальную подпись автора, которую нельзя скрыть простой переработкой текста.
Вывод авторов: двойное слепое рецензирование уязвимо для автоматизированного семантического вывода, и это требует пересмотра того, как поддерживаются анонимность и справедливость рецензирования в исследовательской экосистеме, где ИИ применяется повсеместно.
Ключевые факты
- Двойное слепое рецензирование, основная защита от предвзятости по статусу и принадлежности к организации, и держится на анонимности рукописи.
- LLM по одним лишь заголовку и аннотации статьи вычисляют вероятного автора эффективнее людей, сужая круг до нескольких кандидатов из пула в пять профильных экспертов.
- Проверка велась на статьях, опубликованных после обучения модели, то есть модель не могла просто «вспомнить» текст из обучающих данных.
- Уязвимость сохраняется даже без стилистических и библиографических подсказок: модель опирается на устойчивые паттерны постановки задачи и направления исследования как на «концептуальную подпись» автора.
- Авторы призывают пересмотреть механизмы анонимности и справедливости рецензирования в условиях, когда ИИ используется повсеместно.
Почему это важно
Анонимность рукописи, это не формальность, а единственный механизм, который не даёт репутации, месту работы или известности автора влиять на оценку самой работы. Если языковая модель способна вычислить вероятного автора по одному заголовку и аннотации, предположение об анонимности, на котором стоит вся система рецензирования, перестаёт быть надёжным, причём не в теории, а уже сейчас, при повсеместном доступе к таким моделям.
Кому это важно
В первую очередь, организаторам конференций и журналов, которые проектируют процесс рецензирования, и самим рецензентам, которые могут (осознанно или нет) использовать ИИ-инструменты при чтении анонимной рукописи. Важно это и авторам, особенно из менее известных лабораторий или без громкого имени, именно их работа больше всего теряет от восстановленной анонимности, если оценка снова начинает зависеть от того, кто, а не что написал.
Как это применить
Организаторам рецензирования стоит исходить из того, что анонимность рукописи больше нельзя считать гарантированной технически, и явно регламентировать использование ИИ-инструментов рецензентами при работе с анонимными материалами. Авторам работы имеет смысл понимать: убрать явные упоминания себя и ссылки на свои прошлые статьи недостаточно, устойчивая манера ставить задачу и выбирать направление исследования сама по себе может послужить опознавательным признаком.
Можно ли доверять
Это препринт на arXiv, то есть результат пока не прошёл собственное рецензирование в журнале или на конференции. В тексте не названы ни конкретные протестированные модели, ни точные показатели точности идентификации, приведено лишь качественное сравнение с людьми и размер пула кандидатов (пять экспертов на статью). Направление вывода, что семантический след автора трудно скрыть, выглядит правдоподобным и согласуется с ростом возможностей языковых моделей, но количественные масштабы эффекта по одному препринту оценить нельзя.
Риски и подводные камни
Главный риск, обратный ход эффекта, который двойное слепое рецензирование должно было предотвратить: если анонимность рушится, в оценку снова просачивается предвзятость по статусу и принадлежности к организации, только теперь опосредованно, через ИИ-инструмент в руках рецензента. Есть и риск ложной уверенности, модель может «убедительно» назвать неверного автора, а рецензент воспримет догадку как факт. Наконец, само исследование не даёт готового решения проблемы, которую описывает, оно фиксирует уязвимость, а не способ её закрыть.