PaperCritic: ИИ-рецензента обучили оценивать обоснованность статей

Число заявок на ИИ-конференции быстро растёт, и авторы работы рассматривают ИИ-рецензентов как возможную альтернативу людям. Они считают, что простое подражание человеческому рецензированию проблематично: рецензия служит сразу нескольким целям, оценке обоснованности (soundness), интересности и ясности статьи, причём последние две субъективны.
Поэтому авторы сосредоточились только на обоснованности, которую называют самым важным и объективным критерием. Цель обучения они определяют как одновременную максимизацию двух величин: точности (precision), которая опирается на обоснованность и содержательность пунктов рецензии, и полноты (recall), охвата качественных эталонных пунктов рецензии.
Для этого создан датасет PaperSound-23K с разметкой качества пунктов рецензий: он построен на 1 тыс. заявок ICLR и 23 тыс. пунктов рецензий, написанных людьми и сгенерированных языковыми моделями. На нём обучена модель PaperCritic, методом обучения с подкреплением, где наградой служит F1-мера (сочетание точности и полноты).
По результатам экспериментов авторов, на тестовой выборке из той же области PaperCritic превосходит передовые модели и модели, обученные другими методами подготовки ИИ-рецензентов. Неожиданным, по словам авторов, оказалось то, что навык рецензировать заявки ICLR переносится на рецензирование статей семейства Nature и даже на задачи вне исходной области: проверку кода, юридический разбор договоров и обратную связь по сочинению рассказов.
Ключевые факты
- PaperCritic, ИИ-рецензент, который оценивает только обоснованность (soundness) статей, а не интересность или ясность: последние два критерия авторы считают субъективными.
- Датасет PaperSound-23K собран из 1 тыс. заявок ICLR и 23 тыс. пунктов рецензий (написанных людьми и сгенерированных языковыми моделями) с разметкой качества.
- Обучение идёт с подкреплением: наградой служит F1-мера точности и полноты пунктов рецензии.
- По заявлению авторов, на тестовой выборке из той же области PaperCritic превосходит передовые модели и другие методы обучения ИИ-рецензентов.
- Навык, по их данным, переносится на статьи семейства Nature и на проверку кода, юридических договоров и отзывы на рассказы.
Почему это важно
Поток заявок на ИИ-конференции растёт, и нагрузка на рецензентов-людей заставляет искать замену. Работа предлагает не копировать человеческие рецензии целиком, а обучать модель на одном объективном критерии, обоснованности. Отдельно заметен результат про перенос: по словам авторов, навык, полученный на заявках ICLR, работает и на статьях Nature, и в далёких задачах вроде проверки кода и договоров.
Кому это важно
Организаторам конференций и редакторам журналов, которые ищут способы справиться с ростом числа заявок. Исследователям, работающим над ИИ-рецензентами и оценкой качества рецензий. Разработчикам, интересующимся обучением с подкреплением на задачах, где нет однозначной проверки ответа.
Как это применить
Напрямую, пока только как идея и постановка задачи: обучать рецензента на сочетании точности и полноты пунктов рецензии, используя F1-меру как награду, и ограничивать задачу объективным критерием. Из текста источника неизвестно, опубликованы ли модель и датасет, поэтому готовым инструментом это считать нельзя.
Можно ли доверять
Все утверждения в источнике принадлежат самим авторам и взяты из аннотации к статье на Hugging Face Papers. Числовых результатов (F1, точности, полноты, отрыва от базовых методов) в тексте нет, не названы ни «передовые модели», с которыми сравнивали, ни другие методы обучения. Не указаны размер модели и её основа, а по переносу на Nature и другие задачи не сказано, превосходит ли PaperCritic конкурентов. Не описано, как и кем размечалось качество пунктов рецензий. Оценить силу результатов можно только по полному тексту статьи.
Риски и подводные камни
Сужение до обоснованности оставляет за кадром интересность и ясность, а значит, такой рецензент не заменяет рецензию целиком. Обучение на заявках ICLR и на пунктах рецензий, часть которых сгенерирована языковыми моделями, может переносить их особенности на модель. Заявленный перенос на задачи вне исходной области приведён без цифр, так что осторожнее считать его гипотезой до проверки по полному тексту работы.
«Как ни удивительно, обучение рецензированию заявок ICLR переносится и на рецензирование статей семейства Nature, и даже на задачи рецензирования вне исходной области (например, проверку кода, юридическую проверку договоров и обратную связь по сочинению рассказов).»
— Авторы PaperCritic, аннотация статьи