Учёные предложили строить объяснения ИИ на психологии поиска информации
Научная статья, позиционный доклад (препринт на arXiv, без указания авторов и организаций в аннотации), утверждает, что подход к разработке объяснимого искусственного интеллекта, ориентированного на человека (human-centered explainable AI), должен опираться на психологию поиска информации, а не только на техническую доступность объяснений.
Опираясь на модель мотивов поиска информации Талии Шарот и Касса Санстейна, авторы предлагают, что человек решает, стоит ли знакомиться с объяснением работы ИИ-системы, исходя из трёх видов ожидаемой пользы: инструментальной (поможет ли это действовать лучше), гедонистической (станет ли от этого лучше на душе) и когнитивной (улучшит ли это понимание происходящего).
Оценку каждого из этих видов пользы, по мнению авторов, искажает набор хорошо изученных когнитивных искажений: иллюзия контроля, склонность излишне доверять автоматизированным системам, необоснованный оптимизм, искажённая оценка будущего эмоционального эффекта, сверхуверенность и предвзятость подтверждения. Эти искажения приводят к двум типам сбоя: избыточному поиску объяснений, который распыляет внимание пользователя, не улучшая качество решений, и недостаточному поиску, при котором критические риски и недопонимания остаются незамеченными.
Авторы отмечают, что проблема особенно остра для агентных ИИ-систем: там объяснения должны помогать не просто понять отдельный результат работы модели, а предвидеть цепочку последующих действий, оценивать риски и решать, когда вмешаться. Итоговый тезис статьи, сместить фокус разработки объяснимого ИИ с того, чтобы просто делать объяснения доступными, на то, чтобы делать их искомыми: проектировать системы с учётом того, когда и почему пользователи на самом деле хотят получить объяснение.
Ключевые факты
- Статья, позиционный доклад (препринт на arXiv), без экспериментов и эмпирических данных, авторы и институты в аннотации не названы
- Предложена модель из трёх видов ожидаемой пользы от объяснения ИИ: инструментальной, гедонистической и когнитивной
- Названы шесть когнитивных искажений, влияющих на решение обращаться к объяснению: иллюзия контроля, чрезмерное доверие автоматизации, необоснованный оптимизм, искажённая оценка эмоционального эффекта, сверхуверенность и предвзятость подтверждения
- Искажения ведут к двум сбоям, избыточному и недостаточному поиску объяснений
- Особый акцент сделан на агентных ИИ-системах, где объяснения должны поддерживать оценку риска цепочки действий и решение о вмешательстве, а не только понимание одного результата
Почему это важно
Пока разработчики объяснимого ИИ фокусируются на том, чтобы сделать объяснения доступными, кнопка «почему так», лог рассуждений модели, статья указывает на другой вопрос: станет ли пользователь вообще их искать и в какой момент. Без учёта психологии поиска информации даже подробное и технически корректное объяснение рискует остаться невостребованным.
Кому это важно
Разработчикам интерфейсов ИИ-агентов и систем объяснимого ИИ, исследователям UX и человеко-машинного взаимодействия, командам, проектирующим агентные системы, в которых решения принимаются без постоянного контроля со стороны человека.
Как это применить
Работа предлагает не готовый продукт, а концептуальную рамку для дизайна: при проектировании объяснений стоит определять, какой из трёх видов пользы, инструментальную, гедонистическую или когнитивную, объяснение должно закрывать для конкретного пользователя в конкретный момент, и подстраивать момент и форму подачи объяснения под это, а не выводить его всегда одинаково.
Можно ли доверять
Это позиционная статья, предложение теоретической рамки и синтез существующих психологических исследований, а не отчёт об эксперименте. Это препринт на arXiv, авторы и организации в аннотации не названы, о рецензировании ничего не сказано. Собственных эмпирических данных, которые проверяли бы предложенную модель на реальных ИИ-системах, в статье нет.
Риски и подводные камни
Сами авторы указывают, что риск создают оба крайних сценария, и избыточный, и недостаточный поиск объяснений: оба искажают решения пользователя. Поскольку статья не подкреплена экспериментами, неясно, насколько предложенная трёхчастная модель пользы и список из шести искажений действительно предсказывают поведение пользователей на практике, а не только объясняют его задним числом.