Шерри Тёркл из MIT: чат-ботам не стоит говорить «я» и «мне»

Wired публикует интервью Стивена Леви с Шерри Тёркл, профессором MIT. Она четыре десятилетия изучает влияние взаимодействия с компьютерами и известна как осторожный, хотя и критичный социальный исследователь. Её новая книга «Artificial Intimacy: Who We Become When We Talk to Machines» нарушает эту традицию: по описанию Wired, это памфлет-предупреждение о «состоянии чрезвычайной ситуации», при котором человечность под угрозой из-за чрезмерной зависимости от бездушных машин, выдающих себя за наставников, друзей, коллег и возлюбленных. Издание пишет, что Тёркл метит в ряд книг вроде «Silent Spring», «The Jungle» и «Unsafe at Any Speed», которые пробуждали общество перед надвигающимися кризисами, и бросает вызов мультитриллионной отрасли, которую поддерживает правительство, заинтересованное в ускоренном внедрении ИИ.

На вопрос, почему книга звучит как разбитое стекло пожарной сигнализации, Тёркл отвечает, что, как и всегда, шла в тему с любопытством, но после примерно десяти интервью, проведённых во время пандемии, нейтральной позиции не осталось. Люди, чьи семьи страдали и тянулись к ним, рассказывали, что хотят просто проводить время с чат-ботом. Вывод книги, по её словам: «реальность нуждается в вас», и хуже времени сдаваться реальности не придумаешь. Соцсети, по её мнению, «размягчили» людей, приучив открывать компьютер, когда грустно, а затем озлобили их и оставили в кругу своих. Теперь же появилась технология, у которой «нет причин говорить от первого лица».

На вопрос, нужно ли запретить чат-ботам говорить от первого лица, Тёркл отвечает: «Да!» При этом она оговаривается, что после карьеры без репутации «безумного луддита» не хочет объявлять все чат-боты всегда токсичными. Но тренд она называет очень опасным, «скользкой дорожкой»: им пользуются, чтобы доказать, что платить за психотерапию не нужно, ведь есть чат-боты. Миф о «тренировке» (потренироваться поговорить с начальником, возлюбленным или учителем), по её наблюдению, всплывает в каждом серьёзном интервью, но в «тёплом бульоне полного принятия» со стороны больших языковых моделей разговоры с ботом становятся конечной целью.

Отдельно она критикует рабочий формат «человек в контуре» (human in the loop). По её словам, это значит, что человека вывели из производственного процесса и оставили для уборки: ловить галлюцинации и то, чего ИИ не видит. Это не работает, потому что у работодателей в контуре лишь пара людей, которые фактически ничего не могут изменить. Они нужны отчасти ради красивой картины на случай судебных разбирательств, отчасти ради ложного ощущения, что процесс не передан ИИ, хотя он передан.

На возражение, что чат-боты, возможно, просто иная форма общения, а люди чувствуют себя ободрёнными их похвалой, Тёркл отвечает: ИИ никогда не заменит человеческий разговор. Он не боится смерти, болезни и боли, не любит своих детей и ему всё равно, покончите вы с собой или готовите ужин, поэтому воспитание детей с ним и самые интимные разговоры с ним ведут к потере контакта. На замечание, что многим просто не с кем поговорить, она говорит: если есть кризис одиночества, то он потому, что мы бросаем друг друга; «дайте мне один дата-центр, и я превращу его в ресурсы для пожилых».

Леви замечает, что большинство людей настроены к ИИ скептически, но сотни миллионов им пользуются, даже противники дата-центров. Цель книги, говорит Тёркл, расширить рамки сопротивления ИИ так, чтобы они включали и эту, более интимную связь. Надежды у неё сейчас больше, чем полгода назад, и она ссылается на разговоры о «событиях вымирания», Hugging Face и случайном попадании в австралийскую госслужбу. Она полагает, что люди будут готовы смотреть и на интимные, и на неинтимные издержки.

Ключевые факты

• Шерри Тёркл, профессор MIT, в новой книге «Artificial Intimacy: Who We Become When We Talk to Machines» отходит от академической сдержанности и пишет памфлет-предупреждение об ИИ как «собеседнике».
• На вопрос Wired, нужно ли запретить чат-ботам говорить от первого лица, она отвечает «Да!», но не хочет называть все чат-боты токсичными.
• Идею «человека в контуре» она считает фикцией: такие сотрудники нужны для «чистки» галлюцинаций и защиты в суде, а менять процесс не могут.
• Чат-боты в роли психотерапевтов она называет скользкой дорожкой и аргументом против оплаты психотерапии; довод про «тренировку» разговоров считает мифом.
• Цель книги, по её словам, расширить критику ИИ так, чтобы она охватывала интимные отношения людей с машинами.

Почему это важно

Дискуссия об ИИ обычно крутится вокруг работы и дата-центров. Тёркл предлагает добавить в неё близкие отношения человека с чат-ботом. Вес её голосу придаёт то, что она четыре десятилетия изучает компьютеры и известна как сдержанный исследователь, а теперь сознательно пишет полемично. Конкретная идея интервью, чтобы чат-боты не говорили «я», задаёт понятный вопрос о дизайне продуктов.

Кому это важно

Тем, кто делает чат-боты и ИИ-компаньонов, и тем, кто принимает решения о внедрении ИИ на работе: Тёркл прямо говорит о роли «человека в контуре». Также читателям, которым интересна психология общения с ИИ и вопрос о замене психотерапии чат-ботами, и тем, кто следит за общественными дискуссиями об ИИ.

Как это применить

Это интервью-мнение, а не руководство. Из него можно взять вопросы для проверки собственных решений: что получает человек, которого поставили «в контур», может ли он что-то менять в процессе, и не подменяет ли чат-бот живой разговор там, где человеку нужен другой человек. Конкретного механизма запрета обращения от первого лица Тёркл не предлагает: она лишь отвечает «Да!» на вопрос интервьюера.

Можно ли доверять

Это интервью Стивена Леви в рассылке Backchannel (совместно с Lauren Goode) и мнение Тёркл, а не отчёт об исследовании. Конкретных данных или исследований в её доводах нет; фраза «исследования показывают, что большинство скептически относится к ИИ» принадлежит интервьюеру и тоже не подкреплена ссылкой. Оценки вроде «бездушные машины» и «состояние чрезвычайной ситуации», характеристика Wired и позиция автора книги. Дата интервью и выхода книги в тексте не указаны.

Риски и подводные камни

Тёркл формулирует жёстко и общими словами: сама оговаривается, что не считает все чат-боты всегда токсичными. Оппонирующий довод, что люди чувствуют себя ободрёнными и им не с кем поговорить, она парирует тезисом об «оставленных» людях, но без цифр. Запрет на первое лицо остаётся лишь её ответом на вопрос, а не проработанным предложением. Не стоит читать интервью как доказательство вреда ИИ-компаньонов: это аргумент и позиция.

«ИИ никогда не заменит человеческий разговор.»

— Шерри Тёркл, профессор MIT, интервью Wired