Работа аспирантов Гарварда: с ИИ-агентами кода на ~30% больше, ревью дольше на 49%

Издание ComplexDiscovery пересказывает рабочую статью (working paper) двух аспирантов Гарварда, Фионы Чен и Джеймса Стреттона. Они сравнили фирмы, внедрившие ИИ-агентов для программирования, с фирмами, которые ещё не успели это сделать. Выборка: 718 компаний и 725 938 работников, период с января 2021 года по март 2026 года. Данные взяты у Jellyfish, компании, продающей аналитическую платформу для учёта инженерной активности, и дополнены записями о занятости из LinkedIn, собранными Revelio Labs. В выборку вошли только клиенты Jellyfish, согласившиеся на исследовательское использование данных. Метод, ступенчатая разность разностей (staggered difference-in-differences): помесячно отслеживают, как менялись показатели у внедривших ИИ фирм относительно ещё не внедривших.
Что выросло. Добавленных строк кода стало больше на 1 494 на работника в месяц при базе 5 017, то есть примерно на 30%. Коммитов стало больше на 20%, а pull request (пакетов кода, отправляемых на проверку), на 23%. Авторы оговариваются: это добавочный эффект агентов в фирмах, где ИИ-помощники для кода уже были, а не эффект ИИ «с нуля».
Что не выросло. Готовой работой считали закрытые задачи в Jira (задача считается завершённой, когда её код выкатили в продакшен). Агенты сдвинули этот показатель на 0,12 задачи на работника в месяц при базе 3,67 и стандартной ошибке 0,17, статистически неотличимо от нуля. 95-процентный доверительный интервал исключает рост больше чем примерно на 12% от базы, то есть намного меньше, чем 30% прироста написанного кода. Версию «инженеры просто перешли на задачи покрупнее» авторы проверили: разметили 0,5% задач по размеру с помощью GPT-4o, распространили метки на все задачи через модель текстовых эмбеддингов и не нашли сдвига ни в среднем размере задач, ни в размере pull request.
Где застревает. Время от подачи pull request до слияния выросло на 3,45 дня при базе 7,03 дня, то есть на 49%. Доля pull request с формальным запросом на изменения выросла примерно на 12 процентных пунктов от базы 13%, то есть почти удвоилась, а число комментариев на один pull request, на 35%. Доля работников, занимающихся проверкой кода, выросла на 14% от базы около 29% (в источнике не уточнено, относительный это рост или в пунктах), тогда как доля пишущих код заметно не изменилась. ИИ-инструменты для проверки проблему не сняли: к марту 2026 года почти 80% фирм их пробовали, но ИИ создал лишь 23,3% комментариев ревью, а хотя бы один ИИ-комментарий получили только 10,8% pull request. Авторы пишут, что узкое место сохраняется и после внедрения таких инструментов.
Как это выглядит на практике. В интервью младший инженер рассказал о проекте, где одобрять изменения мог лишь один старший инженер и проверял его код раз в неделю; после сбоев из-за коммитов, написанных ИИ, ввели правило обязательного одобрения старшим, что добавило очередей.
Объяснение авторов, модель с двумя каналами. Первый: быстрое написание направляет больше кода к ограниченному числу проверяющих; это можно во многом решить, перебросив людей на ревью. Второй: рост запросов на изменения и комментариев, который одним ускорением написания не объяснить, читается в модели как признак более слабых черновиков; здесь, по словам авторов, нужна более совершенная технология.
Занятость. Сокращений из-за роста объёма кода не обнаружено: оценки исключают падение общей занятости больше чем на 2,9%, а более шумная оценка по инженерам, падение больше чем на 13,8%. Авторы предупреждают, что это краткосрочные эффекты в частичном равновесии, которые могут скрывать потерю рабочих мест в конкурирующих фирмах, а оценка по инженерам показывает восходящие предтренды, из-за чего её трудно читать как причинную.
Почему различия в сроках внедрения можно сравнивать. По статье, момент внедрения определялся в основном тем, когда фирма узнала об инструментах, и сроками закупки (согласования, проверки юристов и безопасности, пилоты): в одной фирме инструмент одобрили примерно за день, по словам другого собеседника, в среднем это занимает от шести до 12 месяцев. Известный перекос, крупные фирмы внедряли раньше, поэтому авторы учитывают размер фирмы. Если скрытая разница и осталась, она, по словам авторов, скорее завысила бы эффект ИИ, а не занизила.
Юридическая часть материала. ComplexDiscovery связывает результат с юридическим ИИ: рабочий процесс Harvey для ходатайства об отклонении иска (разработан с LexisNexis, объявлен 7 октября) и агент Cooley для подсказок по скрытию данных в судебных документах (разработка с Google Cloud, 8 октября) оставляют юриста на контрольной точке. Harvey говорит, что чтение иска, исследование и подготовка такого ходатайства обычно занимают 40-50 и более часов, а его инструмент даёт исследование и первый черновик за считаные часы; сколько времени юристы тратят на контрольных точках, в объявлении не сказано. У Cooley, по словам компании, агент ещё в разработке, а решения о скрытии принимают юристы; показателя ошибок в объявлении нет. Издание подчёркивает: Чен и Стреттон юридическую работу не изучали, так что речь о закономерности в разработке ПО, а не о выводе про юрфирмы. Отдельная статья NBER (пересмотрена в сентябре 2026 года; авторы, Мерт Демирер, Леон Музольф и Лиюань Ян; данные о более чем 500 000 разработчиков GitHub) тоже показывает затухание: накопленный рост коммитов от автономных агентов на 240% сжимается до 30% для реальных релизов. Демирер и Музольф ранее были постдоками в Microsoft (владеет GitHub) и теперь работают там платными исследовательскими консультантами.
Ключевые факты
- Рабочая статья аспирантов Гарварда Фионы Чен и Джеймса Стреттона охватывает 718 фирм и 725 938 работников (январь 2021, март 2026); данные взяты у Jellyfish и дополнены записями LinkedIn от Revelio Labs.
- У фирм, внедривших ИИ-агентов, добавленного кода стало примерно на 30% больше (1 494 строки на работника в месяц при базе 5 017), коммитов на 20% и pull request на 23% больше, но закрытые задачи в Jira не выросли заметно (0,12 при базе 3,67, стандартная ошибка 0,17).
- Время от подачи pull request до слияния выросло на 49% (на 3,45 дня при базе 7,03 дня), доля pull request с запросом на изменения почти удвоилась (примерно +12 п.п. от базы 13%), комментариев на pull request стало больше на 35%.
- ИИ-инструменты ревью пробовали почти 80% фирм к марту 2026 года, но они дали лишь 23,3% комментариев, а ИИ-комментарий получили всего 10,8% pull request; узкое место сохранилось.
- Работа не имеет признаков завершённого рецензирования в рассмотренной версии; сокращений занятости не найдено, но это краткосрочный результат, а юридическую работу авторы не изучали.
Почему это важно
Типичный довод в пользу ИИ-агентов для кода, рост выпуска кода. Эта работа показывает, что рост выпуска сам по себе не равен росту готовой работы: у внедривших фирм кода стало примерно на 30% больше, а закрытые задачи в Jira заметно не прибавились (интервал исключает рост больше примерно 12% от базы). Узким местом стала человеческая проверка: слияние pull request заняло на 49% дольше, а запросы на изменения почти удвоились. Результат опирается на большую выборку, 718 фирм и 725 938 работников, и на проверку очевидной альтернативы (задачи не стали крупнее).
Кому это важно
Руководителям инженерных команд и тем, кто закупает ИИ-агентов: по модели авторов, важно, какой из двух каналов преобладает, перегрузка ограниченного числа ревьюеров (её можно снять перераспределением людей) или более слабые черновики (тут нужна лучшая технология). Эти два случая требуют разных затрат. Источник также адресует материал специалистам по eDiscovery, приватности и комплаенсу: он предлагает при оценке юридического ИИ смотреть не только на скорость черновика, но и на принятый результат, долю правок и время проверяющего. Метаданные об авторстве ИИ (боты, строки Co-authored-by) могут попадать под политики хранения и юридического удержания данных.
Как это применить
Прямых рекомендаций авторы статьи не приводят, но из пересказа следуют практические ориентиры. Измерять у себя не только число строк, коммитов и pull request, но и закрытые задачи, время до слияния, долю запросов на изменения и число комментариев на pull request. Учитывать, что очередь у единственного старшего ревьюера способна съесть выигрыш: в интервью один инженер описал ревью раз в неделю и новое правило обязательного одобрения старшим после сбоев. При выборе ИИ-инструментов ревью помнить, что в выборке они давали лишь 23,3% комментариев.
Можно ли доверять
Это рабочая статья (job-market paper Фионы Чен): в рассмотренной ComplexDiscovery версии нет признаков принятия в журнал или завершённого рецензирования; текущая версия датирована 4 августа 2026 года, первая, 7 января. Пересказ идёт через вторичное издание, которое поставило материал в юридический контекст. Данные принадлежат Jellyfish, а в выборку вошли только клиенты, согласившиеся на исследовательское использование данных. Авторы признают перекос (крупные фирмы внедряли раньше) и контролируют размер фирмы; по их словам, остаточная скрытая разница скорее завысила бы эффект ИИ. Среднее это или медиана в 49% роста времени ревью, источник не уточняет. Отдельная статья NBER с похожим выводом имеет раскрытый конфликт интересов у двух авторов (связь с Microsoft).
Риски и подводные камни
Оценки описывают добавочный эффект агентов в фирмах, где ИИ-помощники для кода уже были, а не эффект ИИ с нуля. Это краткосрочные результаты в частичном равновесии: потери рабочих мест в конкурирующих фирмах они могут не отражать, а оценка занятости инженеров показывает восходящие предтренды и трудна для причинной трактовки. Верхняя граница возможного падения занятости (13,8% для инженеров) велика из-за шума. Авторы изучали разработку ПО, а не юридическую работу, поэтому переносить цифры на юрфирмы нельзя: проверка кода и проверка документов, разные вещи. Юридические инструменты Harvey и Cooley не публикуют показателей этапа проверки, а Cooley говорит, что его агент ещё в разработке.
«После нескольких сбоев, вызванных коммитами, которые написал ИИ, появились ещё и новые правила, требующие одобрения старшего инженера для кода, созданного ИИ, из-за чего возникло ещё больше узких мест при проверке.»
— младший разработчик, опрошенный авторами статьи (авторы слегка отредактировали цитату для ясности)