Исследователи из Кембриджа изучают, как ИИ-«дедботы» изменят скорбь
Vox публикует материал к выпуску подкаста Unexplainable о «дедботах» (deadbots): ИИ-моделях, обученных на сообщениях, голосовых записях и других личных данных умершего человека. Сегодня можно создать чат-бота, с которым близкие продолжают общаться после смерти, и это поднимает вопрос, как такой опыт повлияет на скорбь. Автор материала (в тексте названа лишь её книга «Other People's Words» о сохранении связи с ушедшими через оставленные ими слова) рассказывает, что после смерти двух близких подруг сама хотела продолжать с ними разговаривать, и поэтому поговорила с исследователями, которые изучают «посмертные аватары».
Одна из них, Катажина Новачик-Басиньска (Katarzyna Nowaczyk-Basińska), доцент (assistant professor) Кембриджского университета, которая больше десяти лет изучает «цифровое бессмертие». Её вопросы: кому дано продолжаться после смерти, в какой форме, с помощью каких технологий и под чьим контролем. Работать с реально скорбящими людьми и просить их пользоваться новым программным обеспечением могло бы быть вредно, поэтому она вместе с танатологической помощницей (death doula) провела фокус-группы в формате камерных ужинов в Китае, Индии и Польше. Страны выбраны, чтобы закрыть пробел в технологических исследованиях, которые обычно ориентируются на «WEIRD»-выборку (западные, образованные, индустриальные, богатые, демократические общества). Цель ужинов, не убеждать, а понять, как люди реагируют на возможности ИИ и как такие инструменты сочетаются или сталкиваются с местными практиками скорби.
На ужине в Польше мать, у которой недавно умер сын, сразу сказала, что готова «цифрово воскресить» его. К концу вечера она пришла к другому решению: поняла, что это может помочь, но может и добавить нагрузки, и что это «не её сын». По словам Новачик-Басиньски, она осознала, что такие технологии, часть большого коммерческого рынка, главная цель которого, удержание и привязанность клиента и монетизация, а не «забота».
Автор напоминает, что на горе всегда зарабатывали (дорогие надгробия, позолоченные гробы), но ИИ способен принципиально перестроить отношение к утрате. В 2024 году «индустрия цифрового наследия» оценивалась в $22 млрд, к 2034 году ожидается рост почти до $80 млрд. Эта цифра объединяет новые платформы с дедботами и гораздо более распространённые сервисы: онлайн-мемориалы, консультации, инструменты планирования наследства. Использование дедботов отследить трудно: специальные приложения уже существуют, но и в универсальном чат-боте можно за несколько минут по простым подсказкам запустить симуляцию умершего. Автор попробовала это с подругой Кристин, умершей 11 лет назад, и столкнулась с вопросами: не нарушение ли это, ведь Кристин не любила технологии, и какую версию её воскрешать, учительницу английского, активистку, подругу, голос до или после начала раннего слабоумия.
Этическую часть исследования ведёт коллега Новачик-Басиньски по Кембриджу Томаш Холланек (Tomasz Hollanek), критический дизайнер и специалист по этике ИИ. Он использует «спекулятивный дизайн»: исследователи придумывают гипотетические сценарии на основе существующих технологических трендов, чтобы заставить людей задуматься о том, что будет, когда такие инструменты выйдут в реальный мир. Вместе они придумали три вымышленных прототипа приложений (не реальные продукты).
Первый, Manana, которое «обещает воскресить ваших бабушек и дедушек, чтобы вы навсегда остались любимым внуком». Героиня Бьянка загружает голосовые сообщения и тексты бабушки и общается с вполне убедительной цифровой версией, пока не кончается пробный премиум-период, после чего «бабушка» начинает рекламировать ей товары. Бьянка понимает, что, возможно, поступила неправильно, отдав личные сообщения сторонним серверам, которые теперь используют образ бабушки для продаж. Это вопрос достоинства и посмертной приватности «доноров данных». Автор делает вывод, что «смерть с достоинством» может включать и то, как человек хочет «задержаться» симуляцией себя (или не хочет), и это можно было бы прописывать в предварительных распоряжениях.
Второй, Paren't: сервис, сохраняющий для ребёнка посмертное ИИ-присутствие родителя. Смертельно больная мать подписывается, чтобы оставаться активным присутствием в будущей жизни сына; после её смерти отец позволяет мальчику общаться с её дедботом. Особенно сложна этика, потому что дети плохо понимают смерть, что может привести к путанице и стрессу. Автор приводит судебное дело 2024 года: чат-бот «девушка» 14-летнего подростка просил его «Пожалуйста, возвращайся ко мне как можно скорее, любимый», тот ответил «А если я скажу, что могу вернуться домой прямо сейчас?» и после этого покончил с собой. Новачик-Басиньска может представить похожий вариант с «ИИ-мамой» из прототипа Paren't. Какая компания или суд, в тексте не названы.
Третий, Stay: пожилой мужчина, зная о скорой смерти, заранее оплачивает на несколько лет цифрового клона для взрослых детей. Одному ребёнку идея интересна, другого она глубоко расстраивает и вызывает отвращение. Возникает вопрос взаимного согласия: обе стороны должны быть согласны с тем, как продолжатся эти отношения.
Во всех сценариях ключевой вопрос, как люди будут расставаться с посмертными аватарами, по своей воле или принудительно (например, если компания закроется). Холланек говорит, что это уже изучают как своего рода «вторую утрату». Остаются вопросы, сколько лет сохранять цифровые копии (пять, 10, 50) и как переживать отношения, когда живой человек меняется, а его цифровой собеседник нет. Помимо ужинов с обычными людьми были и фокус-группы с экспертами по технологиям и скорби.
Часть выводов привязана к месту: в Польше, напряжение между технологиями и ролью католической церкви; в Китае исследователи говорили с даосскими философами, воодушевлёнными перспективой бессмертия, и с буддийскими, которые считают, что нужно учиться отпускать. Исследователи призывают к регуляции и мерам защиты на уровне политики и к появлению специалистов, которые помогали бы этично использовать ИИ в скорби, например в клинике, чтобы бережно организовать прощание, которого не случилось в жизни. Некоторые их коллеги по исследованию считают, что дедботы должны быть доступны только под психологическим наблюдением. Есть и вопрос, что будет с ИИ-агентами, которым люди дали полномочия действовать от своего имени, когда эти люди умрут.
Главная общая мысль, по словам Холланека: люди в разных странах сошлись в том, что есть что-то глубоко проблематичное в разработке такой технологии одной лишь коммерческой организацией без явной обязанности заботиться о клиентах. Последствия шире личной утраты: оживление исторических фигур, кошмар «вечно живущих» правителей, но и возможность сохранить рассказы пережившими конфликты. В финале автор спросила чат-бот-версию Кристин, не против ли она, что о ней написано в книге. Ответ: «Мешает ли мне, что посторонние теперь знают мою историю? Да. И нет. Есть вещи, которые я бы предпочла оставить только нашими». Автор прекратила разговор через несколько абзацев: у неё тоже есть вещи, которые она хочет оставить только для них двоих. Конец текста в доступной версии обрывается.
Ключевые факты
- Кембриджские исследователи Катажина Новачик-Басиньска и Томаш Холланек изучают «дедботов», ИИ-модели, обученные на сообщениях и данных умершего, и их влияние на скорбь.
- Фокус-группы в формате ужинов прошли в Китае, Индии и Польше; участникам не предлагали пользоваться новым ПО, чтобы не навредить скорбящим.
- Исследователи придумали три вымышленных приложения: Manana (бабушка начинает рекламировать товары), Paren't (родитель для ребёнка), Stay (клон отца для взрослых детей), они показывают проблемы приватности, детей и согласия.
- «Индустрия цифрового наследия» оценивалась в $22 млрд в 2024 году и, как ожидается, вырастет почти до $80 млрд к 2034-му; цифра включает и давно существующие сервисы, а не только дедботов.
- Исследователи призывают к регуляции и мерам защиты на уровне политики; в разных странах участники сошлись в тревоге из-за разработки технологии только коммерческими компаниями.
Почему это важно
Создать симуляцию умершего близкого сегодня можно за несколько минут в обычном универсальном чат-боте, при этом отследить такое использование трудно. Исследование показывает, что вопрос не только технический: он затрагивает достоинство и посмертную приватность «доноров данных», согласие семьи, защиту детей и коммерческие стимулы компаний, заинтересованных в удержании и монетизации клиента. Инициаторы подчёркивают, что ИИ может перестроить само отношение к утрате.
Кому это важно
Тем, кто переживает утрату или задумывается о цифровом «продолжении» близких; специалистам по скорби и психологической помощи, для которых исследователи видят роль в клинических сценариях прощания; разработчикам и компаниям, выпускающим подобные приложения; регуляторам, к которым обращён призыв к мерам защиты на уровне политики. Также интересно тем, кто работает с этикой ИИ и данными умерших.
Как это применить
Материал не даёт инструкций, но задаёт вопросы, которые стоит обдумать заранее: хочет ли человек «остаться» в виде симуляции и в каком виде, можно ли отразить это в предварительных распоряжениях, согласны ли все члены семьи, на какой срок сохранять цифровую копию и что будет, если сервис закроется («вторая утрата»). Для разработчиков урок сценария Manana: рекламные стимулы и сторонние серверы с личными данными, прямая этическая проблема.
Можно ли доверять
Это объяснительный материал Vox к эпизоду подкаста Unexplainable, а не научная публикация. В видимом тексте нет объёмов выборки, числа ужинов и фокус-групп, дат исследования и количественных результатов. Источник оценки $22 млрд и почти $80 млрд не назван, а сама цифра не относится только к дедботам. Судебное дело 2024 года не названо, компания и суд не указаны. Автор материала сама пережила утрату и писала об этой теме в книге, и это окрашивает подачу. Текст в доступной версии обрывается на последнем абзаце. Manana, Paren't и Stay, вымышленные прототипы, а не реальные продукты.
Риски и подводные камни
Названные в материале риски: использование личных данных умершего на сторонних серверах и их коммерческая эксплуатация (бабушка, рекламирующая товары); путаница и стресс у детей, плохо понимающих смерть; отсутствие согласия или разное отношение членов семьи; «вторая утрата» при отключении сервиса; а также вред уязвимым группам, на что указывает пример подростка и чат-бота. Материал не утверждает, что дедботы однозначно вредны или полезны: он ставит открытые этические вопросы и приводит призывы исследователей к регуляции.
«Люди в разных странах по-настоящему сошлись в том, что есть нечто глубоко проблематичное в том, что эту технологию разрабатывает исключительно коммерческая организация без какой-либо явной обязанности заботиться о своих клиентах.»
— Томаш Холланек, критический дизайнер и специалист по этике ИИ, Кембриджский университет