Статья на arXiv: время, сэкономленное ИИ, надо считать вместе с ошибками
В препринте на arXiv (автор один, пишет от первого лица) разбирается, что вообще значит «ИИ сэкономил время». Противопоставлены два взгляда. «Секундомер» считает сэкономленным то, что показали часы. «Бухгалтерская книга» (ledger view) считает экономию контрфактической величиной, которую нужно читать рядом с ошибками, пропущенными в готовую работу. Автор отстаивает второй взгляд.
Аргумент в четыре части. Во-первых, вводятся две величины, не зависящие от модели: сэкономленное время и избыточные пропущенные дефекты, а из них строится одно число для решения, названное «стоимостью дефекта безубыточности» (break-even defect cost). Во-вторых, предлагается базовая модель проверки: пока модель не стала настолько хороша, что проверять не нужно, доля пропущенных дефектов у откалиброванного работника не зависит от качества модели; время проверки растёт с логарифмом доли ошибок модели; а избыточное доверие даёт минуты на часах ценой ещё большего числа минут в сумме.
В-третьих, автор показывает, что могут и чего не могут выявить рандомизированные исследования, и воспроизводит по публичным данным исследование METR о разработчиках. Те же 246 задач (issues) дают замедление на 19% или 24% в зависимости от выбранной оценки (estimand), а без поправки на случайный дисбаланс групп, 34%. При этом ИИ помог где-то в 3-82% этих задач: это границы, а не точечная оценка. В-четвёртых, автор пересматривает опубликованные результаты, заменяя привнесённые точечные допущения заданными границами. В рабочем процессе GDPval, где проверяется каждый результат, одно время проверки ограничивает ускорение GPT-5 величиной 3,6 раза. Консультанты за пределами передовой группы работали быстрее, но чаще ошибались.
Наконец, два предсказания модели автор проверил в небольшом заранее специфицированном эксперименте: ИИ-рецензенты проверяют черновики, написанные ИИ, краткие справки (брифы) одного типа, составленные по документам SEC, поданным уже после сбора обучающих данных моделей. Когда рецензенту сообщали истинную долю ошибок автора черновика, он проверял тем больше, чем выше эта доля, но по принципу «всё или ничего», переключаясь примерно там, где в его промпте сходятся издержки. Когда ему говорили, что автор черновика ошибается в десять раз реже, чем на деле, он проверил на 7 из 9 цифр меньше и пропустил неверную цифру в 22,5% справок вместо нуля. Итог автор описывает так: быстрее и хуже, целиком за счёт сниженных усилий.
Ключевые факты
- Автор противопоставляет «секундомер» (время по часам) и «бухгалтерскую книгу», где экономия читается вместе с пропущенными ошибками, и выступает за второе; решающее число, стоимость дефекта безубыточности.
- Повторный расчёт по публичным данным METR: на тех же 246 задачах замедление от ИИ составило 19% или 24% в зависимости от оценки (34% без поправки на случайный дисбаланс); помог ИИ в 3-82% задач.
- В процессе GDPval с проверкой каждого результата одно время проверки ограничивает ускорение GPT-5 величиной 3,6 раза.
- В небольшом эксперименте ИИ-рецензент, которому сообщили, что автор черновика ошибается в десять раз реже, проверил на 7 из 9 цифр меньше и пропустил неверную цифру в 22,5% справок вместо нуля.
Почему это важно
Споры о том, ускоряет ли ИИ работу, обычно опираются на показания секундомера. Статья утверждает, что одного времени мало: если работа быстрее, но в неё просочилось больше ошибок, экономия может оказаться мнимой. Пересчёт данных METR показывает, как сильно итог зависит от выбранной оценки: замедление выходит 19%, 24% или 34%, а доля задач, где ИИ помог, укладывается лишь в широкий интервал 3-82%.
Кому это важно
Тем, кто оценивает отдачу от ИИ-помощников в команде или компании, исследователям, которые измеряют продуктивность разработчиков и офисных работников, и тем, кто выстраивает проверку ИИ-результатов человеком или другой нейросетью.
Как это применить
Практический вывод из рамки автора: фиксировать не только затраченное время, но и пропущенные ошибки, и сопоставлять их через число безубыточности, стоимость дефекта, при которой выигрыш во времени перестаёт окупать лишние ошибки. Само значение этого числа в источнике не приводится. Из эксперимента следует и осторожность с подсказками проверяющему: заниженная оценка ошибок автора черновика снижала усилия на проверку.
Можно ли доверять
Это препринт на arXiv; сведений о рецензировании в тексте нет. Воспроизведение данных METR и пересмотр результатов GDPval опираются на публичные данные, а эксперимент автор сам называет небольшим и заранее специфицированным. Названия оценок (estimand) за цифрами 19% и 24% в тексте не раскрыты, не указано и число справок в эксперименте.
Риски и подводные камни
Эксперимент проведён на ИИ-рецензентах и ИИ-черновиках одного типа справок по документам SEC, поэтому перенос на людей и другие задачи не доказан. Какие именно модели выступали черновщиком и рецензентом, в источнике не сказано. Оценка 3,6 раза относится к GPT-5 в конкретном процессе GDPval с проверкой каждого результата. Цифры замедления относятся к повторному расчёту автора и не равны исходному результату METR.
«Быстрее и хуже, целиком за счёт сниженных усилий.»
— автор статьи, об ИИ-рецензенте, которому сообщили заниженную долю ошибок черновика