Автор блога: стимулы в науке неверны, исследователи равнодушны к ошибкам в своих работах
Автор начинает с цитаты Чарли Мангера: «Покажите мне стимул, и я покажу вам результат». По мнению автора, результаты академической науки сильно отдалились от её исходной цели, продвижения научного понимания и подготовки нового поколения исследователей. Наука, пишет автор, должна быть про новые рубежи, честность, добросовестное поведение, открытость в отношении неопределённости и ошибок.
Поводом стали несколько недавних случаев, где автора не устроили корректность результатов, честность их авторов или отсутствие любопытства после того, как им сказали, что результаты неверны или вводят в заблуждение. Главный довод: когда статья опубликована, а повышения и известность получены, уже не важно, что результаты неверны. Это «чья-то чужая проблема». В одном случае автор оспорил статью, которую считали передовой (state-of-the-art) и о которой её авторы знали, что оценка в ней некорректна. Один из авторов признал проблемы, но отказался отзывать статью и спросил, не мешает ли это самому автору блога публиковать собственную работу.
Автор говорит, что видит всё больше аспирантов, которые всё меньше интересуются корректностью, точностью и тем, что автор считает добросовестной научной практикой: они усвоили от успешных людей в области, что важно, а что нет. Для контраста автор вспоминает, как ему сказали, что его подход к поиску сильно связных компонент неверен. В тот же день он дома исправил свой инструмент (перейдя на алгоритм Тарьяна) и ощутил глубокий стыд. Недавний же разговор с аспирантом, написавшим инструмент, прошёл иначе: когда автор объяснил, что подход к оценке некорректен, студент никак не отреагировал. Автор сам довёл проверку до конца и показал, что оценка была недостаточно аккуратной, а инструмент менее полезен, чем следует из статьи.
Автор вспоминает и собственные студенческие эпизоды. Рецензент диссертации оспорил график, и автор неделю переживал, пока не выяснил, что рецензент неверно его прочёл из-за нечёткой подписи. В другой раз в презентации автор случайно не упомянул перезапуски (restarts) как важное достижение в истории SAT-решателей, и слушатель на это указал, о чём автору было стыдно.
Итог эссе безрадостный: автор не знает, как исправить проблему. Исследователи, по его ощущению, всё меньше заботятся о корректности, точности и научном любопытстве, потому что их к этому не стимулируют. Автор допускает, что система повреждена настолько, а столько аспирантов выросли в профессоров в такой среде, что написанное многим кажется чуждым и даже отталкивающим.
Ключевые факты
- Автор опирается на слова Чарли Мангера «Покажите мне стимул, и я покажу вам результат» и считает, что итоги академической науки далеко ушли от исходной цели.
- Пример: автор оспорил статью, считавшуюся передовой, оценка в которой, по словам автора, была известна её авторам как некорректная. Один из них признал проблемы, но отказался отзывать работу.
- Автор говорит, что видит всё больше аспирантов, равнодушных к корректности и точности. Он противопоставляет им себя в студенчестве, когда исправил инструмент в тот же день после замечания.
- Данных о распространённости явления нет: всё держится на личном опыте и мнении автора.
- Решения автор не предлагает и пишет, что не знает, как исправить проблему.
Почему это важно
Эссе затрагивает вопрос, на котором держится доверие к научным публикациям: что происходит, когда авторам известна ошибка в результатах, а отзыв статьи ничего им не даёт. Автор считает, что стимулы (повышения, известность, число статей) работают против честности, и приводит конкретные истории из своей практики. К ИИ текст напрямую не относится, но в качестве примеров упомянуты оценка инструментов и SAT-решатели, то есть та же исследовательская среда.
Кому это важно
Исследователям и аспирантам, научным руководителям, рецензентам и редакторам журналов. Также тем, кто опирается на результаты чужих статей и сравнивает с ними собственные методы: автор прямо говорит о том, что передовые результаты могут держаться на некорректной оценке.
Как это применить
Текст, размышление, а не инструкция. Практический вывод только один, и он взят из личных примеров автора: услышав замечание об ошибке в методе или оценке, проверить его и при необходимости сразу исправить, а не отмахиваться. Предложений по изменению системы стимулов в тексте нет.
Можно ли доверять
Это мнение одного автора, написанное от первого лица. Имя автора в предоставленном тексте не указано, как и название статьи, её авторы, аспирант, инструмент и учреждения, о которых идёт речь, поэтому проверить конкретные случаи нельзя. Конкретная ошибка в оценке передовой статьи не описана, ответа критикуемых сторон, кроме пересказа автора, нет. Статистики о том, насколько распространено описанное поведение, тоже нет.
Риски и подводные камни
Обобщение строится на нескольких личных эпизодах, поэтому делать из него вывод о состоянии науки в целом нельзя. Сравнение себя прежнего с нынешними аспирантами, субъективное, а утверждение «они усвоили от успешных людей, что важно» остаётся мнением автора. Сам автор признаёт, что не знает, как исправить проблему, и допускает, что его взгляды многим кажутся чуждыми.
«Покажите мне стимул, и я покажу вам результат.»
— Чарли Мангер, цитата в начале эссе