NBER: ИИ-помощник улучшил работу молодых патентных юристов, но навыки сохранили лишь старшие

Рабочая статья Национального бюро экономических исследований США (NBER, некоммерческая исследовательская организация) отвечает на спорный вопрос: ИИ-помощь развивает профессиональную экспертизу или подтачивает её. Исследователи провели трёхмесячное рандомизированное контролируемое испытание: в нём участвовали 133 патентных юриста из одиннадцати американских юридических фирм, работающих в сфере интеллектуальной собственности.

Дизайн разделял два эффекта: сначала юристы работали с ИИ, а затем оценивали материал без него. Так можно было измерить и качество работы с ИИ, и то, насколько устояло их собственное суждение. Все результаты оценивали вслепую патентные юристы из независимой фирмы по пяти критериям: юридическая защищаемость (enforceability), техническая точность, стратегическая неоднозначность, полнота и ясность. Исследование профинансировано Google. Две трети участников получили доступ к InFlow, невыпущенному ИИ-ассистенту от Google Labs, остальная треть работала без ИИ. В двух заданиях по составлению патентной формулы ИИ был только у основной группы, контрольная выполняла те же задания самостоятельно. В третьем задании, «редлайнинге» (критическом разборе готового черновика патента), все работали без ИИ. По словам авторов, составление черновика измеряет сиюминутный результат с ИИ, а редлайнинг, усвоенное суждение, то есть то, что патентные юристы обычно делают без каких-либо инструментов.

В черновиках группа с ИИ явно опередила контрольную и через 10, и через 90 дней, причём по всем пяти критериям. Рост оценок получился в основном за счёт меньшего числа плохих оценок и большего числа средних, а высшие баллы почти не сдвинулись. У юристов со стажем менее семи лет выигрыш был заметно больше, чем у старших. Исследователи связывают это с накапливающимися данными о том, что ИИ сокращает разрыв между менее и более опытными работниками: подобное уже наблюдали в письме, клиентской поддержке и разработке ПО.

В редлайнинге картина обратная. Группа с ИИ в целом показала лучший результат, но весь выигрыш дали старшие юристы; младшие не получили никакой пользы, хотя именно они больше всех выиграли при составлении черновиков с ИИ. Результаты младших «разошлись»: средних оценок стало намного меньше, а плохих и хороших, больше, роста на верхнем уровне нет. Авторы трактуют это как признак того, что ИИ ускорил становление навыков у одних младших и подменил его у других; почему эффекты разошлись, эксперимент не объясняет. Те, кто больше всего выиграл от ИИ, сохранили меньше всего устойчивого навыка, поэтому исследователи предполагают: базовая экспертиза может быть условием, чтобы практика с ИИ превращалась в прочное умение.

Дополнительный текстовый анализ даёт одно из возможных объяснений. Старшие чаще перестраивали негодный черновик и обосновывали правки правовыми принципами, а младшие часто замечали серьёзные изъяны, но не исправляли их, оставляя заметки, похожие на инструкции для ИИ-ассистента. Поскольку такое поведение встречалось и в контрольной группе, авторы не связывают его с привычкой, привитой ИИ, а видят в нём исходный дефицит на младшем уровне, который использование ИИ не устранило.

Авторы называют ограничения: небольшая выборка (из-за высокой почасовой ставки ведущих юристов), нерепрезентативность участвовавших фирм для сферы профессиональных услуг, отсутствие замера исходных навыков и короткое по сравнению с годами становления патентной экспертизы трёхмесячное окно. Напряжение между мгновенной продуктивностью и долгосрочным развитием навыков, по мнению исследователей, останется важным, пока профессиональная работа требует суждения без ИИ, а это, вероятно, продлится долго: даже если ИИ научится помогать в редлайнинге, на встречах с клиентами и в судебных заседаниях он вряд ли будет доступен в реальном времени.

The Decoder приводит схожие результаты из других областей: по исследованию Anthropic, молодые разработчики, осваивавшие новую библиотеку с помощью ИИ, на проверочном тесте показали результат на 17 процентов хуже тех, кто учился без него; MIT Media Lab нашла признаки «когнитивного долга» от переложенного на ИИ мышления при написании эссе; исследование BCG 2023 года показало, что слабые консультанты с GPT-4 улучшились намного сильнее сильных. Исследователи Стэнфорда объясняют сокращение стартовых позиций в ряде отраслей тем, что ИИ в основном заменяет книжные знания из школы и вуза, главное, что приносят новички, тогда как у опытных специалистов есть и практическая экспертиза, которую ИИ заменить непросто. Работа вписывается в дискуссию об эрозии профессиональной экспертизы, которую некоторые исследователи называют «трагедией когнитивного общего достояния»: отдельные фирмы выигрывают от автоматизации, а цену недоразвитых кадров несёт вся профессия. По словам издания, исследование добавляет к этим опасениям экспериментальные данные из реальной практики. Там же упомянуто, что Anthropic недавно сообщила: доля младших позиций в её инженерных подразделениях с начала 2025 года упала с 21 до 14 процентов.

Ключевые факты

Трёхмесячное рандомизированное испытание NBER: 133 патентных юриста из одиннадцати американских фирм; две трети работали с ИИ-ассистентом InFlow от Google Labs, треть, без ИИ.
В составлении черновиков группа с ИИ опередила контрольную через 10 и 90 дней по всем пяти критериям; у юристов со стажем менее семи лет выигрыш был заметно больше, чем у старших.
В редлайнинге без ИИ преимущество дали только старшие юристы; у младших пользы не было, а их оценки разошлись: меньше средних, больше плохих и хороших.
Авторы предполагают, что базовая экспертиза может быть условием превращения практики с ИИ в прочный навык; почему результаты младших разошлись, эксперимент не объясняет.
Ограничения: небольшая выборка, нерепрезентативные фирмы, нет замера исходных навыков, три месяца, мало для становления патентной экспертизы; исследование профинансировано Google.

Почему это важно

Исследование проверяет на реальных профессионалах, а не студентах, спорный вопрос: развивает ли ИИ экспертизу или подменяет её. Результат неоднозначный: ИИ быстро подтягивает младших в черновой работе, но при задаче без ИИ, где нужно собственное суждение, пользу сохранили только старшие. Это согласуется с другими работами, которые приводит The Decoder (исследование Anthropic о разработчиках, MIT Media Lab об эссе, BCG 2023 года о консультантах).

Кому это важно

Юридическим фирмам и руководителям, которые внедряют ИИ-помощников и обучают младших сотрудников; самим молодым специалистам в профессиях, где суждение нужно без инструментов; исследователям рынка труда, обсуждающим сокращение стартовых позиций. Отдельно The Decoder упоминает данные Anthropic о снижении доли младших позиций в её инженерных подразделениях с 21 до 14 процентов с начала 2025 года.

Как это применить

Прямых рекомендаций в источнике нет. Из выводов авторов следует: мерить стоит не только качество работы с ИИ, но и суждение сотрудника без него, как это сделано в задании по редлайнингу. Исследователи подчёркивают, что профессиональная работа по-прежнему требует суждения без ИИ, в том числе на встречах с клиентами и в суде, где ИИ вряд ли будет под рукой в реальном времени. InFlow, невыпущенный ассистент Google Labs, и доступен ли он будет, в источнике не сказано.

Можно ли доверять

Это рабочая статья NBER, то есть материал, вероятно не прошедший рецензирование в журнале; в пересказе The Decoder об этом не сказано, поэтому судить нужно по самому дизайну. Плюсы: рандомизация, контрольная группа, слепая оценка независимой фирмой. Но исследование профинансировано Google, а ассистент разработан Google Labs. Авторы сами перечисляют ограничения: малая выборка, нерепрезентативные фирмы, нет замера исходных навыков, короткий срок. Причину расхождения результатов у младших эксперимент не объясняет, а объяснение через исходный дефицит, лишь предположение авторов на основе дополнительного анализа текста.

Риски и подводные камни

Не стоит читать результат как доказательство того, что ИИ вызывает утрату навыков: авторы лишь предполагают, что базовая экспертиза может быть необходима для закрепления навыка, а описанное поведение младших встречалось и в контрольной группе. Эффект измерялся в одной узкой профессии и на одном инструменте; размеры эффектов в баллах или процентах в пересказе не приведены, как и число младших и старших участников. Аргумент о «трагедии когнитивного общего достояния», рамка некоторых исследователей, а не результат этого эксперимента.

«трагедия когнитивного общего достояния»

— так называют проблему эрозии профессиональной экспертизы некоторые исследователи (по пересказу The Decoder)