Научное рецензирование трещит по швам в эпоху ИИ
Джейсон Семприни, экономист в области здравоохранения из Университета Де-Мойна, исследовал, как обязательная вакцинация школьников от ВПЧ (вируса папилломы человека) влияет на заболеваемость раком шейки матки. ВПЧ, причина большинства случаев этого рака, но результат оказался контринтуитивным: обязательная вакцинация почти не снижает общий уровень заболеваемости раком шейки матки в популяции. Отчасти это объясняется тем, что часть людей находит способы уклониться от обязательной прививки.
Он отправил рукопись в научный журнал на рецензирование, стандартную процедуру, при которой другие учёные в той же области анонимно и на добровольных началах оценивают работу и решают, публиковать её или нет. Обычно статью смотрят двое-трое экспертов: если один ошибается, остальные могут это поправить. В случае Семприни рецензент оказался только один, и именно он неверно понял суть работы: решил, что автор ставит под сомнение саму эффективность вакцины против рака шейки матки, а не эффективность закона об обязательной вакцинации. «Здесь очень большая разница», говорит Семприни. Из-за этого недоразумения статью отклонили.
По словам исследователей, подобные истории становятся всё более частыми. Число статей, индексируемых базами Scopus и Web of Science, в последнее время растёт экспоненциально, на 5,6% в год. По одной из оценок, учёные по всему миру суммарно тратят на рецензирование 15 000 человеко-лет работы ежегодно; если бы этот труд оплачивался, одна только американская доля обошлась бы в $1,5 млрд. Рецензирование по-прежнему держится на бесплатном, добровольном труде самих учёных, и всё больше исследователей просто не могут позволить себе выделять на него столько времени.
Ключевые факты
- Число научных публикаций в базах Scopus и Web of Science растёт экспоненциально, на 5,6% в год
- По одной из оценок, учёные всего мира суммарно тратят на бесплатное рецензирование 15 000 человеко-лет в год; американская доля этого труда, будь она оплачена, стоила бы $1,5 млрд
- Статью обычно проверяют двое-трое рецензентов, но работу экономиста Джейсона Семприни рецензировал только один, и он неверно понял её суть
- Из-за этой ошибки журнал отклонил исследование Семприни о том, что обязательная вакцинация школьников от ВПЧ почти не снижает заболеваемость раком шейки матки
- Рецензирование держится на бесплатном труде добровольцев, и, по словам исследователей, система всё меньше справляется с ростом числа поступающих статей
Почему это важно
Рецензирование, это фильтр, через который проходит почти любая научная статья перед публикацией: именно оно должно отсеивать ошибки и слабые работы. Если поток статей растёт быстрее, чем число готовых бесплатно их проверять учёных, у каждой отдельной работы остаётся меньше внимательных читателей до публикации, как в случае Семприни, где единственный рецензент неверно понял суть исследования, и корректная работа была отклонена.
Кому это важно
Учёным, которые подают статьи в журналы и зависят от исхода рецензирования для карьеры и грантов; редакциям журналов, которым всё труднее найти рецензентов; и в конечном счёте читателям научных результатов, от коллег-исследователей до тех, кто опирается на выводы науки в практических решениях, вроде политики вакцинации, о которой писал Семприни.
Как это применить
Материал описывает проблему, а не конкретное решение или инструмент, который можно внедрить. Единственный практический вывод для авторов статей, учитывать, что при растущей нагрузке рецензентов вероятность недопонимания или беглого прочтения работы растёт, а значит стоит явно и без двусмысленности формулировать, что именно исследование проверяет.
Можно ли доверять
Источник, Ars Technica, известное технологическое издание. Оценка «15 000 человеко-лет» и «$1,5 млрд» в тексте приведена без указания автора и методики расчёта, обозначена лишь как «одна из оценок», это стоит держать в уме как менее строгую цифру. Оригинальный заголовок статьи связывает происходящее с «эпохой ИИ», но доступный нам фрагмент текста этой связи не раскрывает и описывает рост числа публикаций и нагрузку на рецензентов без объяснения причин.
Риски и подводные камни
Главный риск, что корректные исследования отклоняются не из-за реальных недостатков, а из-за перегруженности или невнимательности единственного рецензента, как это произошло с работой Семприни. Второй риск, устойчивость самой системы: рецензирование держится на неоплачиваемом труде учёных, и если поток статей продолжит расти на 5,6% в год, а желающих тратить на это личное время будет всё меньше, система рискует замедлиться или начать пропускать больше ошибок в обе стороны, как ложные отклонения, так и недостаточно проверенные публикации.
«Здесь очень большая разница»
— Джейсон Семприни, экономист в области здравоохранения, Университет Де-Мойна