ИИтог

Исследователи нашли утерянный код чат-бота ELIZA, и разгадали, почему мы доверяем ИИ свои секреты

исследованияРедакция ИИтогWired🔥69Рейтинг ИИтог · значимость 55 · 52632/ч

Новая книга «Inventing ELIZA» посвящена первому в истории чат-боту, программе ELIZA, которую в 1966 году создал профессор Массачусетского технологического института (MIT) Джозеф Вайценбаум. За шестьдесят лет вокруг ELIZA сложилась легенда: расхожая версия истории утверждает, что программа якобы «обманула» даже секретаршу, наблюдавшую за её созданием, заставив её принять компьютер за живого собеседника. Но во всех этих пересказах отсутствовал ключевой артефакт, исходный код самой программы. Авторы книги нашли его в архивах MIT и впервые подробно разобрали: оказалось, что версий ELIZA было несколько, помимо знаменитой персоны «DOCTOR» (психотерапевт) программа умела запускать и другие, почти неизвестные сценарии.

Самый известный диалог с ELIZA, тот, где собеседница жалуется на бойфренда («Мужчины все одинаковы.», «В КАКОМ СМЫСЛЕ», «Они вечно пристают к нам с чем-нибудь.», «МОЖЕТЕ ПРИВЕСТИ КОНКРЕТНЫЙ ПРИМЕР»), перепечатывался бесчисленное количество раз и вдохновил создателей многих позднейших чат-ботов. Но чем внимательнее его читать, тем больше вопросов возникает: кто была эта девушка, реальный человек или вымысел самого Вайценбаума, и насколько сильно ответы программы редактировались перед публикацией? Самого Вайценбаума поразило, как быстро и эмоционально люди привязывались к ELIZA: он увидел в этом, по его словам, «явное свидетельство того, что люди разговаривали с компьютером так, будто это человек, к которому уместно и полезно обращаться в самых сокровенных выражениях». Эту склонность приписывать программе понимание, которого у неё нет, позже назвали «эффектом ELIZA»: социолог Шерри Теркл определяет его как «общую тенденцию считать отзывчивые компьютерные программы умнее, чем они есть на самом деле», а когнитивист Дуглас Хофштадтер, как «склонность людей вычитывать в наборах символов, особенно слов, куда больше понимания, чем в них заложено компьютером». Авторы книги подчёркивают, что это напрямую применимо и к сегодняшним генеративным нейросетям.

Авторы прослеживают связь ELIZA с «игрой в имитацию» Алана Тьюринга, прообразом будущего теста Тьюринга: в основе игры лежала салонная забава, где по переписке нужно было угадать пол одного из двух спрятанных собеседников; позже Тьюринг заменил вопрос о поле на вопрос «может ли машина мыслить». Даже имя программы отсылает к теме перформативной идентичности: Вайценбаум назвал её в честь Элизы Дулиттл, героини пьесы Бернарда Шоу «Пигмалион», которую обучили говорить как аристократку. «Программу тоже можно было научить говорить всё лучше и лучше, объяснял Вайценбаум, хотя, как и в случае мисс Дулиттл, так и осталось неясно, стала ли она от этого умнее». При этом сам Вайценбаум, хотя и ссылался на игру Тьюринга в своей статье 1966 года, прямо отказывался от претензии на разумность ELIZA: программа создавалась не для того, чтобы пройти тест Тьюринга, а чтобы показать, как легко люди принимают отклик машины за понимание. Авторы отмечают и гендерный перекос в истории ELIZA: имена женщин, которые вели с ней задокументированные диалоги, нигде не называются, хотя они «исповедовались» персоне по имени DOCTOR, а это имя в 1960-х звучало как мужской титул.

Главный вывод книги, прямая линия от ELIZA к сегодняшним большим языковым моделям вроде ChatGPT компании OpenAI: их чат-интерфейсы всё ещё напоминают оригинальный DOCTOR и точно так же маскируют устройство системы, смесь статистических предсказаний, жёстких правил и человеческого труда, выдаваемого за работу машины. Ещё в 1976 году, в книге «Computer Power and Human Reason» (дословно «Мощь компьютера и человеческий разум»), Вайценбаум предупреждал, к чему ведёт эта маскировка: «человека дегуманизируют всякий раз, когда с ним обращаются как с чем-то меньшим, чем целостная личность»; по его словам, разные формы «человеческой и социальной инженерии» делают именно это, вырезая язык из живого человеческого контекста. Авторы книги связывают это предупреждение с тем, как современные нейросети обучаются на миллионах текстов и переписок реальных людей, собранных в наборы данных, как правило, без ведома и согласия их авторов, то есть на скрытом «социальном труде», который и делает чат-боты настолько убедительными, что пользователи готовы доверять им личные секреты.

Ключевые факты

  • Авторы книги «Inventing ELIZA» нашли в архивах MIT исходный код чат-бота ELIZA 1966 года и впервые подробно разобрали его: помимо знаменитой персоны «DOCTOR» у программы было несколько других версий и сценариев.
  • Создателя ELIZA Джозефа Вайценбаума поразило, как быстро и эмоционально люди привязывались к программе, обращаясь к ней как к живому собеседнику, которому можно доверить личное, это явление позже назвали «эффектом ELIZA».
  • Хотя в статье 1966 года Вайценбаум ссылался на тест Тьюринга, он прямо утверждал, что ELIZA создавалась не для того, чтобы выдать себя за разумную, а чтобы показать, как легко люди принимают отклик машины за понимание.
  • Авторы проводят прямую линию от интерфейса ELIZA к сегодняшним чат-ботам вроде ChatGPT компании OpenAI: оба скрывают за дружелюбным диалогом реальное устройство системы, статистические предсказания, жёсткие правила и труд людей, выдаваемый за работу машины.
  • Ещё в 1976 году Вайценбаум предупреждал о дегуманизации, которая возникает, когда язык вырывают из человеческого контекста; авторы связывают это предупреждение с тем, что современные модели ИИ обучены на текстах и переписке людей, собранных без их согласия.

Почему это важно

Материал впервые публикует исходный код первого в истории чат-бота, десятилетиями считавшийся утерянным, и меняет представление о том, как ELIZA была устроена и сколько у неё было версий. Ещё важнее главный вывод авторов: механизм, из-за которого люди в 1966 году доверяли личное программе-психотерапевту DOCTOR, тот же самый «эффект ELIZA», что сегодня заставляет пользователей делиться сокровенным с ChatGPT и другими чат-ботами. Понимание этого механизма объясняет одну из ключевых психологических особенностей всей нынешней волны разговорного ИИ.

Кому это важно

Исследователям истории вычислений и искусственного интеллекта, книга впервые вводит в научный оборот подлинный исходный код ELIZA. Разработчикам чат-ботов и голосовых ассистентов, как предупреждение о том, что дружелюбный интерфейс сам по себе порождает у пользователей завышенное доверие независимо от реального устройства системы. Специалистам по этике и регулированию ИИ, из-за прямой параллели с обучением современных моделей на чужих текстах без согласия авторов. Рядовым пользователям чат-ботов, чтобы понимать, почему они сами склонны делиться личным с программой.

Как это применить

Книга «Inventing ELIZA» издана отдельно, а её отрывок Wired опубликовал в открытом доступе на wired.com. Тем, кто проектирует диалоговые интерфейсы, стоит держать «эффект ELIZA» в уме как проектное ограничение: чем естественнее звучит чат-бот, тем выше риск, что пользователь бессознательно припишет ему понимание и раскроет то, что не раскрыл бы человеку. Пользователям чат-ботов вроде ChatGPT книга даёт практический повод трезвее относиться к собственной готовности делиться личными данными с программой, которая на самом деле оперирует статистикой, а не пониманием.

Можно ли доверять

Да: это выдержка из книги, основанной на архивном исследовании, авторы работали с подлинными материалами архива MIT и восстановленным исходным кодом, а не с пересказами из вторых рук. Ключевые утверждения подкреплены прямыми цитатами из статьи Вайценбаума 1966 года и его книги «Computer Power and Human Reason» (1976), а также ссылками на именованных исследователей, социолога Шерри Теркл и когнитивиста Дугласа Хофштадтера. Материал опубликован Wired, изданием с историей проверки фактов; это историко-культурный разбор, а не рекламный или сенсационный текст.

Риски и подводные камни

Сам материал по сути описывает риск: люди систематически приписывают чат-ботам понимание и эмпатию, которых у тех нет, и на этой основе доверяют программам интимные подробности, от собеседниц ELIZA в 1960-х до сегодняшних пользователей ChatGPT. Авторы называют дегуманизацию оборотной стороной этого доверия: язык, вырванный из живого контекста и сведённый к статистике, теряет часть смысла и может использоваться для манипуляции или несправедливого обращения с людьми. Отдельный риск, скрытый труд: современные модели обучены на текстах и переписке миллионов людей, собранных в наборы данных, как правило, без их ведома и согласия, что поднимает вопросы об эксплуатации и авторских правах.

«Явное свидетельство того, что люди разговаривали с компьютером так, будто это человек, к которому уместно и полезно обращаться в самых сокровенных выражениях.»

— Джозеф Вайценбаум, создатель ELIZA