Рецензии на ICLR стали чаще повторять друг друга: совпадение критики выросло с 12,0% до 21,3%

Рецензии на ICLR стали чаще повторять друг друга: совпадение критики выросло с 12,0% до 21,3%

Исходная посылка работы: рецензирование держится на том, что несколько читателей находят разные проблемы в одной статье. Авторы препринта «Twice-Told Critiques» измерили, насколько критика в рецензиях на конференциях и в журналах перекрывается внутри одной статьи.

Главный результат касается конференции ICLR: измеренное совпадение критики выросло с 12,0% в 2026 году до 21,3% в 2027 году. Сравнивались рецензии с одного и того же этапа процесса рецензирования. Рост от года к году зафиксирован и на NeurIPS, ICML, а также в журналах F1000 и PLOS; конкретных цифр по ним в тексте нет.

Вторая метрика, сколько новых проблем добавляет третья рецензия к двум предыдущим. На ICLR в 2027 году третья рецензия добавила 5,46 новой проблемы против 6,12 в 2026 году.

Чтобы связать это с нейросетями, авторы применили ко всем рецензиям MELD, детектор текста, сгенерированного языковой моделью. Внутри одной статьи две рецензии, которые MELD пометил как сгенерированные, пересекаются сильнее, чем две непомеченные: на 3,0 пункта на ICLR в 2024-2025 годах, на 4,5 пункта в 2026-2027 годах и на 5,4 пункта по пяти журнальным источникам.

Вывод авторов осторожный: результаты свидетельствуют, что помеченные детектором рецензии одной статьи менее различны между собой, чем непомеченные, и позволяют предположить, что разнообразие критики среди рецензий на одну статью снижается.

Ключевые факты

  • На ICLR измеренное совпадение критики между рецензиями выросло с 12,0% в 2026 году до 21,3% в 2027 году (рецензии с одного этапа процесса).
  • Рост совпадения от года к году отмечен также на NeurIPS, ICML и в журналах F1000 и PLOS.
  • Третья рецензия на ICLR добавляла к двум другим 5,46 новой проблемы в 2027 году против 6,12 в 2026 году.
  • Две рецензии одной статьи, помеченные детектором MELD, пересекаются сильнее двух непомеченных: на 3,0 пункта на ICLR в 2024-2025, на 4,5 пункта в 2026-2027 и на 5,4 пункта по пяти журнальным источникам.
  • Авторы формулируют вывод осторожно: результаты «позволяют предположить», что разнообразие критики в рецензиях на одну статью снижается.

Почему это важно

Идея независимого рецензирования в том, что разные читатели замечают разные недостатки. Если рецензии всё чаще указывают на одни и те же проблемы, дополнительный рецензент приносит меньше новой информации. Цифры из работы это и показывают: на ICLR совпадение критики выросло с 12,0% до 21,3%, а третья рецензия добавляла 5,46 новой проблемы против 6,12 годом ранее. Рост отмечен не только на одной конференции, но и на NeurIPS, ICML и в журналах F1000 и PLOS.

Кому это важно

Организаторам конференций и редакторам журналов, которые решают, сколько рецензентов назначать на статью. Рецензентам и авторам статей, чьи работы оценивают по нескольким отчётам. Исследователям, которые изучают влияние языковых моделей на научные процессы.

Как это применить

Работа сообщает измерения, а не предлагает меры: никаких рекомендаций или изменений правил в источнике нет. Практический вывод можно сделать только осторожный: при оценке качества рецензирования имеет смысл смотреть не только на число рецензий, но и на то, насколько они различаются по содержанию. Эту идею авторы закладывают в метрику вклада третьей рецензии.

Можно ли доверять

Это препринт, оценённый по аннотации. В тексте не названы авторы и организации, не определено, как именно считается совпадение критики и от чего берётся процент, не указано, сколько рецензий и статей проанализировано, и не приведены точность и доля ложных срабатываний детектора MELD. Сами авторы пишут осторожно: результаты «свидетельствуют» о меньшей различности помеченных рецензий и лишь «позволяют предположить» снижение разнообразия критики. Причинная связь между использованием языковых моделей и ростом совпадений в аннотации не утверждается.

Риски и подводные камни

Результат зависит от детектора MELD: помеченные им рецензии сравниваются с непомеченными, а надёжность такой разметки в источнике не раскрыта. Различия между группами небольшие (3,0, 4,5 и 5,4 пункта), и по аннотации нельзя судить об их устойчивости. Для NeurIPS, ICML, F1000 и PLOS приведено лишь направление изменения без цифр. Нельзя читать работу как доказательство того, что рецензии пишут нейросети или что именно они стали причиной роста совпадений.