Учёные: советы ИИ снижают точность людей, но повышают уверенность
Исследователи из трёх французских и итальянских университетов, Валерио Капраро (доцент Университета Милано-Бикокка), Кьяра Маркоччиа (Высшая нормальная школа в Париже) и Уолтер Куаттрочокки (Римский университет Сапиенца), выяснили, что доступ к советам ИИ резко подавляет способность людей признавать границы своих знаний.
В эксперименте участникам задавали вопросы, на которые модели ИИ обычно отвечают неправильно: например, о цвете формы команды в фильме «Играй, как Бекхэм». Такие визуальные детали специально выбрали, чтобы падение точности нельзя было списать на разумное доверие надёжному инструменту. Для советов использовалась модель Step 3.5 Flash, которая на этих вопросах, как правило, ошибалась.
Без доступа к ИИ 44% участников признавали, что не знают ответа, а точность верных ответов составляла 27%. Когда советы ИИ стали доступны, доля признаний «не знаю» рухнула до 3%, точность упала до 9%, а уверенность в своих ответах, наоборот, выросла с 30% до 76%. Некоторые участники, которые ответили бы верно самостоятельно, спросили ИИ и получили неверный ответ.
Денежное вознаграждение за точность помогло слабо: доля признаний «не знаю» выросла с 3% до 8%, точность, с 9% до 16%, но оба показателя остались далеко ниже базового уровня без ИИ (44% и 27% соответственно).
Авторы связывают результат с термином «когнитивная капитуляция» (cognitive surrender), который ранее в этом году предложили исследователи Уортонской школы бизнеса: в их работе люди принимали неверные ответы ИИ в 80% случаев, при этом сообщая о более высокой уверенности, чем участники, работавшие без ИИ. Капраро отдельно обеспокоен детьми, которые растут с такими системами ещё до того, как у них сформируется критическое мышление. В тексте также упоминается, что обновлённый ИИ-поиск Google заменил ссылки на уверенные ИИ-резюме, и организация Common Sense Media на этой неделе назвала такой подход «недопустимым риском» для школьников.
Ключевые факты
- Без ИИ 44% участников признавали, что не знают ответа; с советами ИИ доля упала до 3%
- Точность верных ответов упала с 27% до 9% при доступности советов ИИ
- Уверенность участников в своих ответах выросла с 30% до 76%, несмотря на падение точности
- Денежное вознаграждение почти не помогло: точность выросла лишь до 16%, признания «не знаю», до 8%
- Авторы связывают эффект с феноменом «когнитивной капитуляции», описанным ранее исследователями Уортонской школы
Почему это важно
Исследование даёт количественное подтверждение тому, что многие подозревали интуитивно: сам факт доступности ИИ-совета меняет поведение человека, не только когда ответ ИИ верен, но и когда он ошибается. Люди перестают распознавать границы собственного знания и слепо доверяют уверенно звучащим, но неверным ответам, при этом субъективно чувствуя себя увереннее, чем без ИИ.
Кому это важно
Результаты касаются разработчиков продуктов на основе ИИ, проектирующих интерфейсы для образования и поиска информации, преподавателей и родителей, а также специалистов по UX и этике ИИ, которые закладывают, должен ли продукт предлагать альтернативу «я не знаю» вместо уверенного ответа. Отдельно авторы указывают на детей, которые растут с ИИ-системами ещё до формирования критического мышления.
Как это применить
Из результатов следует практический вывод для проектирования ИИ-продуктов: система должна допускать и явно предлагать ответ «не знаю» вместо всегда уверенного вывода. Денежные стимулы для проверки ответа сами по себе эффект не компенсируют, нужны интерфейсные решения, а не только мотивация пользователя.
Можно ли доверять
Исследование проведено группой из трёх университетов (Милано-Бикокка, Высшая нормальная школа в Париже, Сапиенца) и методологически выстроено так, чтобы исключить альтернативное объяснение: вопросы специально подобраны так, что использованная модель Step 3.5 Flash на них обычно ошибается, поэтому падение точности нельзя списать на разумное доверие надёжному инструменту. Результаты согласуются с более ранней работой исследователей Уортонской школы бизнеса о «когнитивной капитуляции».
Риски и подводные камни
Эксперимент использует специально подобранные «сложные» вопросы и одну конкретную модель, поэтому эффект в реальных повседневных сценариях может проявляться иначе, например, слабее, если люди чаще сверяют советы ИИ по темам, где сами разбираются. Тем не менее исследование фиксирует системный риск: продукты на основе ИИ, спроектированные всегда отвечать уверенно, а не признавать неопределённость, могут закреплять у пользователей привычку не сомневаться в неверных ответах.
«Люди стали заметно хуже отвечать, точность упала до трети прежнего уровня, но при этом их уверенность в своих ответах выросла вдвое»
— Валерио Капраро, доцент Университета Милано-Бикокка