Резонансную статью об ущербе от изменения климата отозвали из-за странных данных по Узбекистану
Экономист Сол Сян (Sol Hsiang) сообщил, что на следующей неделе в журнале Nature выходит комментарий его команды, который приведёт к отзыву громкой статьи авторского коллектива Kotz с соавторами, опубликованной годом ранее и названной второй по цитируемости в СМИ климатической статьёй 2024 года. Kotz с соавторами утверждали, что изменение климата уже обходится мировой экономике на 300% дороже, чем считалось по прежним оценкам, и без того немаленьким; заявление получило огромный резонанс, особенно в Европе, а данные статьи использовали центробанки при стресс-тестах на климатические риски.
Команда Сяна не смогла воспроизвести результаты Kotz с соавторами и обнаружила, что вся картина держится на аномальных экономических данных по Узбекистану за 1995, 1999 годы: без этой страны экстремальные цифры исчезают, хотя ущерб остаётся значительным. Согласно официальной ноте об отзыве, авторы исправили узбекистанские данные, учли переход между источниками данных и добавили учёт пространственной автокорреляции; после этого диапазон неопределённости оценки ущерба к середине века расширился с 11, 29% до 6, 31%, а вероятность расхождения ущерба между разными сценариями выбросов к 2050 году снизилась с 99% до 90%. Авторы признали, что правки слишком существенны для обычной корректировки, и отозвали статью целиком; исправленная версия, ещё не прошедшая рецензирование, выложена на Zenodo, и авторы намерены подать её на повторное рецензирование. В ноте об отзыве авторы поблагодарили за указание на проблему Томаса Бирпарка, Дилана Хогана, Сола Сяна и Кристофа Шётца.
По словам Сяна, проблему заметили случайно: команда в рамках рутинной проверки нескольких статей поочерёдно исключала из выборки по одной стране и пересчитывала модель, и обнаружила, что без Узбекистана результат разваливается. Выяснилось, что ассистенты авторов переносили цифры из PDF-документа, и часть перенесённых чисел оказалась попросту неправдоподобной. На диаграмме рассеяния из исходной статьи, которая должна была подтверждать качество данных, оси были обрезаны так, что выбросы, включая узбекистанскую точку, которая, к слову, даже не была самой крайней, оказались не видны.
По данным новостной заметки, на которую ссылается автор блога, в исходном варианте статьи прогнозировалось падение мирового экономического выпуска на 62% к 2100 году при неизменных темпах выбросов; без данных Узбекистана падение оценивается в 23%. Население Узбекистана, около 40 миллионов человек, то есть страна не крошечная, но и не крупная, и то, что данные одной такой страны почти втрое меняли глобальную оценку, само по себе выглядит тревожным методологическим сигналом. Джонатан Фальк, независимо обративший внимание автора блога на эту историю, отметил: без открытого доступа к исходным данным и методам разобраться в проблеме было бы намного труднее.
Ключевые факты
- Статью Kotz с соавторами об ущербе от изменения климата, вторую по цитируемости в СМИ климатическую статью 2024 года, отзывают после того, как команда Сола Сяна не смогла воспроизвести её результаты
- Причина, ошибочные экономические данные по Узбекистану за 1995, 1999 годы: без этой страны заявленный экстремальный ущерб (300% от прежних оценок) исчезает, хотя значительный ущерб остаётся
- По одной из цитируемых оценок, прогноз падения мирового выпуска к 2100 году снижается с 62% до 23% при исключении Узбекистана из выборки
- Ошибку нашли случайно: команда рутинно исключала по одной стране из выборки и пересчитывала модель для нескольких статей; выяснилось, что ассистенты авторов неверно перенесли цифры из PDF, а диаграмма с выбросами была опубликована с обрезанными осями
- После исправлений диапазон неопределённости ущерба к середине века расширился с 11, 29% до 6, 31%, а вероятность расхождения ущерба между сценариями выбросов к 2050 году снизилась с 99% до 90%; исправленная версия ещё не прошла рецензирование
Почему это важно
Статья Kotz с соавторами была одной из самых заметных климатических публикаций 2024 года и легла в основу стресс-тестов центробанков на климатические риски. Оказалось, что её главный, самый цитируемый вывод, оценка ущерба на 300% выше прежних, держался на данных всего одной страны с искажёнными цифрами. Это редкий публичный случай, когда громкий научный результат разваливается после простой проверки на устойчивость, и хороший повод присмотреться к тому, как вообще проверяются подобные оценки перед тем, как попасть в заголовки и в регуляторные модели.
Кому это важно
Экономистам, изучающим последствия изменения климата, и рецензентам подобных статей, как пример того, какую проверку стоит проводить перед публикацией. Центробанкам и регуляторам, которые использовали данные Kotz et al. в стресс-тестах на климатические риски и теперь получают пересмотренные, менее экстремальные цифры. Журналистам и всем, кто ссылался на исходную статью как на источник самых высоких оценок ущерба от климата.
Как это применить
Сол Сян описал конкретную диагностику, которая вскрыла проблему: поочерёдно исключать из набора данных по одной стране и пересчитывать модель, проверяя, не держится ли результат на одном наблюдении. Это простой и воспроизводимый способ проверки устойчивости выводов, который можно применять к любой похожей работе с межстрановыми панельными данными. Отдельный урок, не доверять диаграммам рассеяния с обрезанными осями: они могут прятать именно те выбросы, которые определяют весь результат.
Можно ли доверять
Источник, прямой рассказ Сола Сяна, соавтора комментария, который вызвал отзыв, изложенный им лично на профильном блоге (statmodeling.stat.columbia.edu) со ссылкой на официальную ноту об отзыве и цитаты автора. Сама нота об отзыве согласована всеми авторами исходной статьи, что подтверждает добросовестность происходящего. Оговорка: комментарий в Nature на момент публикации поста ещё не вышел (обещан «на следующей неделе»), а исправленная версия статьи с новыми данными выложена на Zenodo, но ещё не прошла рецензирование, то есть окончательные скорректированные оценки ущерба пока не являются рецензированным научным результатом.
Риски и подводные камни
История показывает риск слепого доверия к одной громкой оценке: выводы, на которые уже успели опереться центробанки и медиа, оказались чувствительны к данным одной страны, а проблема с обрезанными осями на диаграмме означала, что выброс был скрыт от глаз рецензентов и читателей. Команда Сяна нашла эту проблему, проверяя лишь несколько статей рутинной диагностикой, открытым остаётся вопрос, сколько похожих уязвимостей есть в других неотозванных работах. Кроме того, исправленная версия статьи ещё не прошла рецензирование, так что итоговые скорректированные цифры ущерба могут снова измениться.
«Мы не смогли воспроизвести их результаты и поняли, что всё дело было в странных данных по Узбекистану.»
— Сол Сян (Sol Hsiang)