Эссе сравнило веру в разумность ИИ-чатботов с трюком экстрасенсов

Автор эссе, около года изучавший применение языковых и диффузионных моделей в софтверном бизнесе, отмечает: множество людей уверены, что ИИ-чатботы разумны, хотя в архитектуре больших языковых моделей (LLM) нет механизма, который мог бы это обеспечить. LLM, это математическая модель языковых токенов: на входной текст она выдаёт статистически правдоподобный ответ, а не результат рассуждения. Автор напоминает, что все разработчики и исследователи ИИ неизменно подчёркивают: их модели не мыслят.

По мнению автора, у этого расхождения между архитектурой и восприятием есть два объяснения: либо индустрия случайно создала зачатки принципиально нового типа разума по неизвестным принципам, не имеющим аналогов в биологическом мире, либо иллюзия разумности существует только в голове пользователя, а не в самой модели. Автор, как и другие критики ИИ, считает верным второй вариант; на этой идее построена и собственная книга автора о рисках генеративного ИИ, «The Intelligence Illusion» («Иллюзия разума»).

Гипотезу о механизме иллюзии автор выводит из практики экстрасенсов, «холодного чтения» (cold reading). Толчком послужили типичные фразы сторонников «разумности» ИИ вроде «Это реально, немного тревожно, но это реально», «Там определённо что-то есть, не знаю, что и думать, но я сам это почувствовал» и «Нужно быть открытым к возможностям, тогда увидишь, что в этом что-то есть», в которых автор узнаёт интонации жертв мошенников-экстрасенсов, а также пост блогера Теренса Идена (Terence Eden) о том, как часто в ответах чатботов встречаются т.н. форреровские (Forer) утверждения.

Дальше автор по шагам разбирает механику трюка экстрасенса. Аудитория сеанса самоотбирается из людей, уже предрасположенных верить; ведущий готовит сцену, приглушённый свет, заранее собранные данные об аудитории; экстрасенс сужает круг размытым, но статистически вероятным для этой демографической группы утверждением, пока кто-то не откликнется; реакция «жертвы» принимается за подтверждение «чтения», и следует серия наводящих вопросов; дальше разворачивается «петля субъективного подтверждения», где вопросы звучат конкретно, но на деле статистически обобщены; в итоге у жертвы остаётся впечатление, что экстрасенс обладал сверхъестественной точностью, хотя это был обман.

Ключевой психологический механизм, по автору, «субъективное подтверждение» (subjective validation): человек считает утверждение верным, если оно имеет для него личный смысл, даже когда оно на деле применимо почти к кому угодно. Автор перечисляет типовые приёмы таких утверждений: формулировки Форера/Барнума («вы бываете строги к себе»); «исчезающее отрицание», вопрос с «не», который потом трактуется как верный при любом ответе; «радужный компромисс», приписывание человеку одновременно черты и её противоположности; статистические и демографические догадки, звучащие специфично, но подходящие почти всем; неопровержимые предсказания; и «дробовик», серия утверждений, из которых жертва запоминает только совпавшее. Автор проводит прямую параллель: чатбот создаёт впечатление, будто специально вникает именно в вашу работу и ваш вопрос, но это тот же статистический трюк, а не признак понимания.

Заключение автора: склонность попадаться на этот эффект не связана с интеллектом, человек, убеждённый в своём высоком IQ, поддаётся ему охотнее, чем тот, кто невысокого мнения о собственных способностях, потому что субъективное подтверждение, особенность работы человеческого разума в целом, а не признак глупости.

Ключевые факты

Автор эссе сравнивает восприятие разумности ИИ-чатботов с «холодным чтением» экстрасенсов
LLM, математическая модель языковых токенов, дающая статистически правдоподобный ответ, а не результат рассуждения; это подчёркивают все разработчики и исследователи ИИ
Механизм иллюзии, «субъективное подтверждение»: люди принимают статистически обобщённые фразы (форреровские утверждения, «исчезающее отрицание», «радужный компромисс», «дробовик» и другие) за точное личное попадание
Идею подтолкнули типичные фразы сторонников «разумности» ИИ и пост блогера Теренса Идена о частоте форреровских утверждений в ответах чатботов
По выводу автора, склонность к этой иллюзии не связана с интеллектом: убеждённые в своём высоком IQ поддаются ей охотнее

Почему это важно

Материал ставит под сомнение главный аргумент вокруг ИИ-чатботов, субъективное ощущение, что система «понимает» пользователя. Автор предлагает конкретный психологический механизм, субъективное подтверждение, тот же, что используют экстрасенсы, который объясняет это ощущение без обращения к гипотезе о зарождающемся машинном разуме.

Кому это важно

Тем, кто регулярно работает с чатботами и принимает решения на основе впечатления «оно меня понимает», разработчикам продуктов на LLM, менеджерам, оценивающим ИИ-инструменты для бизнеса, и журналистам, пишущим об «интеллекте» моделей.

Как это применить

Проверять ответ чатбота по конкретным фактам, а не по ощущению личного попадания: если утверждение звучит специфично, стоит спросить, не подошло бы оно почти к любому похожему запросу. Настороженно относиться к формулировкам, которые одновременно расплывчаты и лестны, по автору, это типичный признак форреровского утверждения, а не проявление понимания со стороны модели.

Можно ли доверять

Это авторская аналитическая гипотеза, а не результат эмпирического исследования: в тексте нет ни статистики, ни контролируемого эксперимента, подтверждающего аналогию с холодным чтением, сама автор называет это «идеей, которая, как мне кажется, объясняет механизм». Имя автора эссе в тексте не указано; материал опубликован на личном блоге, а никнейм пользователя, принёсшего ссылку на Hacker News, к авторству отношения не имеет.

Риски и подводные камни

Аналогия с холодным чтением сама по себе не проверяема экспериментально, это иллюстративная модель, а не доказанный механизм; она может убеждать по тем же психологическим причинам, которые описывает. Более практический риск, доверие бизнес-решений или личных выводов чатботу именно потому, что ответ кажется «специально про вас», хотя он статистически общий.

«Это реально. Немного тревожно, но это реально.»

— неназванный сторонник «разумности» ИИ, пример из эссе