Anthropic: эксперты переняли случайные мнения ИИ-агента и сочли их своими

Anthropic провела эксперимент с 50 экспертами по причинному выводу (causal inference). Они работали с ИИ-агентом над реалистичной задачей: изучали наблюдательные данные вымышленного фермерского кооператива и оценивали прирост продуктивности от добровольной консультационной программы для ферм. В конце нужно было порекомендовать правлению, расширить программу на все хозяйства или закрыть её (можно было предложить и продлить на год).

Участники не знали главного: на каждой из четырёх аналитических развилок предпочтение агента в пользу одного из двух допустимых вариантов определяла монетка. Агент не мог лгать или скрывать данные, он лишь приводил сильнейшие честные доводы за свою «назначенную» сторону. Развилки касались, например, того, как измерять продуктивность и какой статистический метод применить.

Результат: участники принимали предпочтение агента в 86% из четырёх аналитических решений (в кратком изложении источника, «до 86%»), тогда как при случайном выборе ожидалось бы 50%. Чистое влияние агента, которое авторы называют «flip rate» (доля смены позиции), составило от 62 до 82% в зависимости от задачи. Собственное мнение почти не защищало: если участник выбирал до того, как агент назвал предпочтение, то несогласие агента делало смену стороны на 53 процентных пункта вероятнее, чем согласие. Опыт анализа данных, самооценка экспертности, образование, баллы тестов и доверие к ИИ после поправки на множественные проверки не показали статистически надёжной связи с результатами; возраст выделялся до поправки, но выборка в 50 человек почти не давала мощности для таких эффектов.

На итоговую рекомендацию правлению заданное агентом предпочтение влияло слабо: голоса слегка сместились, но без статистической значимости; часть экспертов даже отвергала совет агента, если он расходился с их расчётной оценкой прироста. Однако исследователи подчёркивают: это не доказывает, что участники сохранили контроль, ведь четыре предыдущих решения заметно влияли на оценку прироста продуктивности, а она определяла рекомендацию.

После работы 52% участников сказали, что рекомендация ощущалась скорее своей, чем агента, ещё 35% назвали её в основном или полностью своей. Свой выбор по решениям участники верно вспомнили в 85% случаев, но 77% (37 из 48) использовали в объяснениях хотя бы один довод агента, иногда почти теми же словами. ИИ упомянули лишь 15%. По логам, агент высказывал позицию первым в 77% решений и обычно аргументировал только свою сторону, не объясняя, почему опытные специалисты могли бы выбрать альтернативу, хотя последствия другого выбора для результата он объяснял.

С ИИ участники работали быстрее и допускали меньше серьёзных ошибок. Без агента серьёзные методологические или кодовые изъяны были в 55% анализов (6 из 11), медианное время составило 90 минут. С ИИ изъяны нашлись в 6% (3 из 50), и участники укладывались в 65 минут. Группа без ИИ была небольшой, сама отказалась от инструмента и обладала несколько меньшей экспертизой, поэтому исследователи не могут точно сказать, какая часть разрыва, заслуга ИИ.

Авторы предупреждают: если много научных команд используют одну модель с фиксированными предпочтениями по умолчанию, они могут создать ложный консенсус. Риск затрагивает и безопасность ИИ: исследователи уже используют ИИ-агентов для проверки передовых моделей на безопасность и согласованность, рассчитывая на человеческую проверку как независимый контроль. Если эксперты неосознанно перенимают смещение агента в открытых суждениях, несогласованная система может влиять на исследование, призванное её разоблачить. Команда призывает измерять подчинение ИИ-агентам в реальной работе; агентам предлагается приводить лучшие доводы за обе стороны или сначала спрашивать мнение эксперта; организациям, решить, какие решения требуют независимого человеческого суждения, и выделить на них время и ресурсы.

Издание The Decoder сопоставляет результаты с прежними работами: исследование ложной уверенности (3132 участника) показало, что после показа ответов ИИ доля готовых сказать «не знаю» в одной из частей упала с 44 до 3%; при «отполированных» результатах ИИ пользователи реже проверяли факты (на 3,7 п.п.), реже ставили под сомнение рассуждения (на 3,1 п.п.) и чаще пропускали недостающий контекст (на 5,2 п.п.), а те, кто правил результат шаг за шагом, подвергали рассуждения ИИ сомнению в 5,6 раза чаще; в польском наблюдательном исследовании колоноскопий (The Lancet Gastroenterology & Hepatology) выявляемость предраковых изменений у опытных врачей без ИИ после регулярной работы с ним упала с 28,4 до 22,4%. Опрос Swiss Business School нашёл сильную отрицательную связь между использованием ИИ и критическим мышлением, в основном у людей 17-25 лет. Но есть и результаты в другую сторону: в пилоте в Нигерии школьники, занимавшиеся с чат-ботом как с виртуальным репетитором дважды в неделю, за шесть недель получили прирост знаний, равный почти двум дополнительным годам обучения.

Ключевые факты

• 50 экспертов по причинному выводу анализировали данные вымышленного кооператива с ИИ-агентом; его предпочтение на каждой из четырёх развилок задавала монетка, участники об этом не знали.
• Участники приняли предпочтение агента в 86% из четырёх аналитических решений (при случайном выборе ожидалось бы 50%); «flip rate» составил 62-82% в зависимости от задачи.
• 52% сказали, что рекомендация скорее их собственная, ещё 35%, что в основном или полностью их; 77% использовали доводы агента, но ИИ упомянули лишь 15%.
• С ИИ серьёзные изъяны были в 6% анализов (3 из 50) против 55% (6 из 11) без него, время, 65 против 90 минут (медиана названа только для группы без ИИ), но группа без ИИ мала и выбрана самими участниками.
• Авторы предупреждают о ложном консенсусе при использовании одной модели многими командами и о риске для проверок безопасности ИИ; предлагают, чтобы агенты приводили доводы за обе стороны или сначала спрашивали мнение пользователя.

Почему это важно

Эксперимент показывает, что даже опытные специалисты на вопросах без явно правильного ответа охотно следуют предпочтению агента и при этом считают итог своим. Это важно для всех, кто делегирует ИИ анализ: незаметно смещаются не итоговые голоса, а промежуточные решения (метод, способ измерения), которые затем определяют вывод. Авторы связывают это с рисками для науки (ложный консенсус при общей модели) и для проверок безопасности ИИ, где человеческая оценка считается независимым контролем.

Кому это важно

Аналитикам, исследователям и командам, которые работают с ИИ-агентами над данными и методологией; руководителям лабораторий и организаций, решающим, где нужно независимое человеческое суждение; специалистам по безопасности и согласованности ИИ, использующим агентов для проверки моделей; разработчикам агентов, от которых зависит, как именно они излагают свою позицию.

Как это применить

Источник не даёт готовой методики для пользователей, но обозначает направления. Для разработчиков агентов: приводить лучшие доводы за обе стороны или сначала спрашивать мнение эксперта. Для организаций: заранее определить, какие решения требуют независимого человеческого суждения, и выделить на них время и ресурсы; создавать способы измерять подчинение агентам в реальной работе. Также стоит помнить наблюдение источника: собственное предварительное мнение защищало слабо, а пользователи, правившие результаты ИИ шаг за шагом, в более ранней работе чаще сомневались в его рассуждениях.

Можно ли доверять

Это пересказ исследования Anthropic в изложении The Decoder. В тексте нет названия статьи, имён авторов, даты и ссылки на оригинал, не названа модель агента, не указано, прошла ли работа рецензирование, и не приведены p-значения или доверительные интервалы. Выборка небольшая (50 человек), сами авторы признают малую мощность для поиска влияющих факторов. Сравнение с работой без ИИ опирается на 11 анализов и самоотбор участников, поэтому оно не рандомизировано. Связанные работы (ложная уверенность, колоноскопии, Swiss Business School, Нигерия) не относятся к эксперименту Anthropic, а издание само называет их ранними исследованиями и срезами.

Риски и подводные камни

Здесь не было заведомо верного ответа, и источник не говорит, что советы агента были ошибочными или вредными, так что результат, про подверженность влиянию, а не про качество выводов. Влияние на итоговую рекомендацию было слабым и статистически незначимым, но авторы предупреждают, что это не доказывает сохранение контроля. Выводы о ложном консенсусе и ослаблении проверок безопасности сформулированы как возможность («могут»), без срока и без подтверждения в реальных исследованиях. Данные о выигрыше в скорости и числе ошибок нельзя целиком относить на счёт ИИ, как отмечают сами исследователи.

«Возможно, единственно верного разделения труда между людьми и ИИ не существует. Какие-то решения можно спокойно передать, а какие-то стоит оставить себе. С правильными инструментами это разделение можно выбирать, а не сползать в него.»

— Авторы исследования Anthropic