Data Colada нашли признаки фальсификации данных в исследовании Ариели о прокрастинации

Блог Data Colada, специализирующийся на разборе статистических манипуляций в научных публикациях, опубликовал пост с анализом оригинальных данных статьи Дэна Ариели и Клауса Вертенброха «Procrastination, Deadlines, and Performance: Self-Control by Precommitment», вышедшей в журнале Psychological Science в 2002 году. У статьи более 2100 цитирований на Google Scholar, её включают в программы курсов по экономике и психологии. Поводом стала новая репликация: Кайл Хиндман и Альберто Бисин попытались воспроизвести Study 2 из оригинальной статьи, и она не воспроизвелась.

В оригинальном эксперименте 60 участников (по 20 в каждой из трёх групп) вычитывали три документа по 10 страниц со 100 ошибками в каждом. В первой группе дедлайн по каждому документу назначался извне (раз в неделю), во второй участники сами выбирали сроки, в третьей все три документа сдавались в последний, 21-й день. По заявлению авторов оригинала, группа с внешними дедлайнами показала заметно лучший результат по числу исправленных ошибок, задержкам и заработку.

Хиндман получил файлы с исходными данными оригинального исследования ещё в 2006 году по почте; в свойствах файлов было указано, что последним их сохранял Дэн Ариели. В 2023 году, через неделю после того как Франческа Джино подала на авторов Data Colada иск на $25 млн (по другому делу), Хиндман переслал эти файлы им. В октябре 2024 года авторы репликации предложили Ариели включить в статью анализ этих файлов; Ариели отказал, заявив, что переданные файлы могут не быть настоящими данными, и не предоставил никаких других данных.

Проанализировав файлы, авторы Data Colada указывают на четыре признака фальсификации. Во-первых, эффект слишком велик: участники с внешними дедлайнами исправляли в среднем 136,1 ошибки против 71,1 у группы с единым поздним дедлайном (почти вдвое меньше), при Cohen's d = 2,5 и корреляции r = 0,79 между условием и числом исправлений, это больше, чем эффект пола на рост человека (d ≈ 1,8) или на количество обуви (d ≈ 1,2). Во-вторых, у 18 из 20 участников группы с поздним дедлайном нашёлся «двойник», другой участник с точно таким же числом исправлений по каждому из трёх заданий, причём номера участников-двойников расходились ровно на 10 позиций; в двух других группах таких совпадений не было вовсе. В-третьих, показатели, которые обязаны сильно коррелировать между собой, в оригинальных данных не коррелируют: в репликации частные корреляции между пятью субъективными оценками задания (нравится ли, интересно ли и т.д.) лежат в диапазоне от +0,63 до +0,92, а в оригинале, от −0,29 до +0,18; корреляции результатов между тремя похожими заданиями на вычитку в репликации составляют от +0,74 до +0,90, в оригинале, от +0,03 до +0,27; корреляции самооценки затраченного времени между заданиями в репликации, от +0,79 до +0,95, в оригинале, от +0,05 до +0,17. В-четвёртых, в самоотчётах о потраченном времени в оригинальных данных почти нет округлений: круглым числом минут было только 11,7% ответов против 85% в репликации, где люди естественным образом округляют оценки до «20 минут» или «30 минут».

Авторы Data Colada прямо пишут: «Мы пришли к выводу, что данные в исследованиях 1 и 2 были сфальсифицированы». Они также отмечают, что, насколько им известно, соавтор Клаус Вертенброх никогда не имел доступа к данным ни одного из исследований. Подробный разбор того, что именно и как было изменено в данных Study 1, авторы обещают в отдельном следующем посте. Ариели и Вертенброх, узнав о готовящихся постах, обратились в редакцию Psychological Science с просьбой отозвать статью; на момент публикации поста этот процесс ещё не завершён.

Ключевые факты

Data Colada проанализировали исходные данные статьи Ариели и Вертенброха (2002) о том, что внешние дедлайны улучшают результат, и заключили, что данные Study 1 и 2 были сфальсифицированы
Поводом стала новая репликация Кайла Хиндмана и Альберто Бисина, которая не смогла воспроизвести результат Study 2
Четыре красных флага: аномально большой эффект (Cohen's d = 2,5, 136,1 против 71,1 исправлений в двух группах), 18 из 20 участников одной группы имеют точного «двойника» по результатам, ожидаемые корреляции между похожими показателями в оригинале отсутствуют, самоотчёты о времени почти не содержат округлённых чисел (11,7% против 85% в репликации)
Файлы с оригинальными данными получены от Ариели в 2006 году и, по их метаданным, последним сохранялись им же; в 2024 году он отказался подтвердить их подлинность и не предоставил других данных
Ариели и Вертенброх после ознакомления с постами Data Colada сами обратились в Psychological Science с просьбой отозвать статью; отзыв пока не завершён

Почему это важно

Статья Ариели и Вертенброха 2002 года, не рядовая публикация: её цитируют более 2100 раз, она входит в программы курсов по экономике и психологии и легла в основу популярных представлений о пользе внешних дедлайнов для борьбы с прокрастинацией. Если данные, как утверждает Data Colada, были сфальсифицированы, под вопросом оказывается вывод, на который десятилетиями опирались и преподаватели, и авторы книг о продуктивности.

Кому это важно

Исследователям и преподавателям, которые ссылаются на эту статью в курсах по поведенческой экономике и психологии; авторам научно-популярных книг и статей о самоконтроле и дедлайнах, использующим этот результат как пример; редакции Psychological Science, которая сейчас рассматривает запрос на отзыв статьи.

Как это применить

Тем, кто ссылается на исследование 2002 года в лекциях, статьях или книгах, стоит дождаться исхода процедуры отзыва и учитывать разбор Data Colada и провалившуюся репликацию Хиндмана и Бисина, прежде чем и дальше приводить эту работу как доказанный факт про эффективность внешних дедлайнов.

Можно ли доверять

Data Colada, блог, который ранее уже находил статистические аномалии в других известных психологических исследованиях, и в этом посте они опираются на прямой количественный анализ полученных файлов, а не на догадки; код и данные для проверки выложены в открытом ResearchBox. При этом их выводы, это заключение авторов поста, а не решение независимого расследования или редакции; Ариели оспаривает подлинность переданных ему файлов, а сама процедура отзыва статьи ещё не завершена.

Риски и подводные камни

Обвинение в фальсификации данных серьёзно и пока не подтверждено официальным расследованием издания или университета, читать его стоит как аргументированную, но одностороннюю позицию одной из сторон спора. Авторы Data Colada ранее уже сталкивались с судебным иском на $25 млн от другого исследователя (Франчески Джино) по отдельному делу, что показывает, насколько остро воспринимаются подобные обвинения в академической среде.

«Мы пришли к выводу, что данные в исследованиях 1 и 2 были сфальсифицированы.»

— авторы Data Colada