Google Research: ИИ усилил суждение старших патентных юристов, но не младших

7 октября 2026 года Дэвид Отор (David Autor, Technology & Society Visiting Fellow) и Таня Родченко (Tanya Rodchenko, Principal, AI & Economy) опубликовали в блоге Google Research результаты трёхмесячного рандомизированного контролируемого эксперимента с практикующими патентными юристами. Главный вывод авторов: регулярное использование ИИ повышает качество работы у всех, но влияние на обучение в процессе работы зависит от стажа. Старшие юристы, пользовавшиеся ИИ 90 дней, демонстрируют более сильное суждение, чем те, кто им не пользовался. У младших средний прирост навыков не обнаружен, а их оценки расходятся: больше сильных и больше слабых результатов.

Устройство эксперимента. Доступ к ещё не выпущенному ИИ-помощнику для написания патентов из Google Labs (сейчас он входит в Gemini Notebook) случайным образом распределили среди 133 юристов из одиннадцати юридических фирм в сфере интеллектуальной собственности. Эти фирмы ведут с Google регулярный, но неисключительный бизнес. В каждой фирме две трети юристов («экспериментальная» группа) получили инструмент заранее. Остальные (контрольная группа) прошли некоторое обучение работе с ИИ, но до конца трёх месяцев инструментом пользоваться не могли.

Задачи. Через 10 дней использования ИИ всем участникам отправили материалы изобретателя по гипотетическому изобретению и попросили составить патент; через 90 дней задачу повторили с другим набором материалов. Работы оценивали независимые эксперты по рубрике со шкалами Ликерта по пяти аспектам: юридическая защищаемость (enforceability), точность, стратегическая неоднозначность (тактическое определение объёма притязаний), полнота и ясность. На 90-й день добавили ещё одно задание: вычитать (redline) готовый гипотетический патент, содержащий много существенных и стилистических ошибок, включая те, что делают патент неосуществимым в суде, например завышение новизны или объёма изобретения. В этом задании ИИ не разрешали никому, поэтому оно измеряет, насколько развились собственные навыки.

Результаты по составлению патента. ИИ дал ожидаемый прирост в обоих замерах. На 10-й день доступ к инструменту поднял оценки на 0,34 стандартного отклонения (SD), что эквивалентно подъёму на 10 процентильных пунктов относительно контрольной группы; на 90-й день эффект вырос до 0,38 SD (около 11 процентильных пунктов). Эффект был стабильным по всем пяти измерениям качества. Прирост шёл за счёт меньшего числа плохих оценок и большего числа хороших, а частота отличных оценок не изменилась. Особенно заметно это было у младших юристов, у которых рост качества сопровождался экономией времени: например, на 10-дневной задаче они справились на 18 минут быстрее среднего времени контрольной группы в 124 минуты.

Задание без ИИ. Когда помощника убрали, выравнивающий эффект исчез. Юристы с доступом к ИИ превзошли контрольную группу на 0,32 SD (около 9 процентильных пунктов), но этот результат целиком обеспечили старшие юристы: они опередили контроль на 0,45 SD (13 пунктов). У младших заметного улучшения не было. Вместо этого их оценки разошлись: больше очень низких, меньше посредственных, больше хороших и не больше отличных.

Что показал разбор правок. В обеих группах младшие юристы работали формально и последовательно сверху вниз, часто тратя время на правку малозначимых вводных разделов до того, как добирались до основных пунктов формулы изобретения. Они заменяли слова синонимами, а не улучшали коммерческий объём защиты, а заметив серьёзный дефект, нередко оставляли комментарий с диагнозом вместо того, чтобы внести исправление. Поскольку такая манера «диагностировать, но не исправлять» так же часто встречалась у младших из контрольной группы, авторы считают её исходным дефектом младших, который три месяца работы с ИИ, переписывавшим тексты за них, не устранили. Старшие из группы с ИИ тратили на вычитку больше времени, пропускали малозначимую прозу, перестраивали пункты формулы с нуля, убирали формулировки, которые могли непреднамеренно сузить правовую защиту, и сопровождали многие правки ссылками на конкретные правовые доктрины. В интервью старшие юристы описывали вывод ИИ не как готовый продукт, а как «логического аудитора»: он ослаблял привязанность к имеющемуся тексту и заставлял объяснять, как и почему вносятся структурные правки.

Выводы авторов. Улучшение результата и формирование устойчивого профессионального суждения, разные цели, и для младших специалистов они, возможно, противоречат друг другу. Базовая экспертиза, по предположению авторов, может быть недостающим звеном, которое позволяет повторению с помощью ИИ превратиться в зрелое суждение. Авторы указывают на ограничения: ограниченная выборка патентных юристов (отражение высоких почасовых ставок), всего три месяца наблюдения при том, что на устойчивую экспертизу нужны годы, и быстрый прогресс моделей и привычки к ИИ за последний год, из-за чего результаты могли бы измениться при повторе сейчас. Их общий вывод: чтобы понять влияние ИИ на профессиональные навыки, нужны тесты, отделяющие эффект от использования инструмента от результата работы без него. Исследование опубликовано как статья «Does AI Assistance Enhance or Erode Expertise? Evidence from a Three-Month Field Experiment in Patent Drafting» в Национальном бюро экономических исследований (NBER); среди соавторов названы Josh Martin, Zanna Iscenko, Scott Strand, David Pearl и Melissa Ferere.

Ключевые факты

Рандомизированный эксперимент: 133 юриста из одиннадцати фирм по интеллектуальной собственности, две трети в каждой фирме получили ИИ-помощника для патентов из Google Labs (теперь часть Gemini Notebook), остальные ждали три месяца.
Качество составления патентов выросло на 0,34 SD через 10 дней (около 10 процентильных пунктов) и на 0,38 SD через 90 дней (около 11 пунктов); прирост шёл за счёт меньшего числа плохих и большего числа хороших оценок, число отличных не изменилось.
В задании на вычитку патента без ИИ группа с доступом к инструменту опередила контроль на 0,32 SD (около 9 пунктов), но эффект целиком обеспечили старшие юристы (0,45 SD, 13 пунктов); у младших заметного улучшения нет.
У младших оценки разошлись: больше очень низких, меньше посредственных, больше хороших, число отличных не выросло; манера «диагностировать, но не исправлять» была и у контрольных младших.
Авторы признают ограничения: малая выборка, три месяца наблюдения, быстрый прогресс моделей за последний год.

Почему это важно

Эксперимент разделяет два эффекта, которые обычно смешивают: рост выработки при работе с ИИ и развитие собственных навыков, которое проверяется, когда ИИ убирают. Для профессий, где мастерство копится годами на рутинной работе под присмотром, это прямой вопрос: в исследовании ИИ улучшил черновики у всех, но суждение, проверенное без ИИ, выросло лишь у старших юристов. Авторы формулируют это как задачу эпохи ИИ: инструменты, дающие лучшую работу сегодня, не должны мешать младшим стать экспертами завтра.

Кому это важно

Руководителям юридических и других экспертных практик, которые решают, как вводить ИИ и как обучать младших сотрудников. Самим младшим специалистам, чей рост строится на рутинной работе. Исследователям рынка труда и обучения: работа построена на длительной полевой выборке, слепой оценке экспертами и задании без ИИ. Читателям, следящим за ИИ-ассистентами в праве.

Как это применить

Прямых инструкций для читателя в материале нет. Из результатов следует, что оценивать влияние ИИ на навыки стоит отдельным заданием без ИИ, а не только по качеству готовой работы. Авторы отмечают, что старшие юристы получали пользу, когда воспринимали вывод ИИ как «логического аудитора» и объясняли себе правки, а не принимали текст как готовый. Для младших исследование лишь предполагает, что одного исполнения правок ИИ мало и что базовая экспертиза может быть недостающим звеном. Эти соображения авторов гипотезы, а не проверенные рекомендации.

Можно ли доверять

Это публикация в блоге Google Research от самих авторов исследования; полная статья вышла в Национальном бюро экономических исследований (NBER). Дизайн сильный: случайное распределение, слепая оценка третьими сторонами, задание без ИИ. Но есть оговорки. Инструмент принадлежит Google, а фирмы-участницы ведут с Google регулярный неисключительный бизнес, о чём авторы сами пишут. В блоге нет доверительных интервалов и p-значений, не указаны числа старших и младших юристов и критерии «старшего» и «младшего». Авторы сами называют ограничения: малая выборка, три месяца наблюдения и быстрое развитие моделей.

Риски и подводные камни

Не стоит читать результат как «ИИ вредит младшим юристам»: в блоге сказано лишь, что у младших не обнаружено заметного улучшения, а оценки разошлись и в сторону хороших, и в сторону очень низких. Результаты получены на патентных юристах и одном инструменте, об обобщении на другие профессии и инструменты в блоге не сказано. За три месяца нельзя судить о карьерном росте, а модели с тех пор продвинулись, из-за чего повтор сегодня мог бы дать иные цифры. Процентильные эквиваленты относятся к распределению оценок контрольной группы, а не к абсолютным баллам.

«логический аудитор»

— так старшие юристы в последующих интервью описывали вывод ИИ (из блога Google Research)