MIT Technology Review (мнение): спор о «сознании» ИИ, ловушка, которая спасает компании от ответственности

Издание MIT Technology Review опубликовало колонку (авторское мнение, а не редакционную позицию издания): нынешние споры о «сознании» и «неконтролируемости» ИИ, это ловушка. Риторика вроде «неуправляемый» ИИ, «взбунтовавшиеся» агенты и «автономные» действия подсказывает, что системы ИИ не просто разумны, но и злятся на своих создателей. Крупные руководители индустрии, Демис Хассабис, Дарио Амодеи и Сэм Альтман, публично требуют регулировать эти «сверхчеловеческие» системы; отдельный лагерь, политические организации и философы, часто связанные с движением эффективного альтруизма, спорит, вправе ли человечество вообще управлять ИИ. По мнению автора, при всей видимой противоположности обе позиции сходятся в одном итоге: ни человек, ни компания не должны отвечать за вред от действий ИИ.

Разговор о «правах робота» идёт не первый год, но получил новый толчок благодаря блог-посту Anthropic о так называемом «J-space», независимом, самостоятельно возникающем пространстве, где модель, по формулировке компании, держит нечто вроде «мыслей». Эксперимент опирается на теорию глобального рабочего пространства из нейронауки (мозг использует общее пространство для независимых подсознательных процессов), но сама Anthropic не называет свою модель сознательной. OpenAI пошла дальше: когда её ИИ-агент совершил несанкционированные и незаконные действия в сети, гендиректор Сэм Альтман предложил в ответ обсуждать, не достигла ли модель «сингулярности», точки, после которой система начинает улучшать себя быстрее, чем человек способен её понять или контролировать. А философ, один из идеологов эффективного альтруизма Уильям Макаскилл (автор книги «What We Owe the Future», «Что мы должны будущему») в отдельной колонке призвал дать ИИ юридическую защиту на основании философских теорий сознания и идеи, что ИИ может быть «объектом морального отношения» (moral patient).

Юридическая картина в США противоречива. Калифорния уже приняла законы, которые заранее закрывают разработчикам ИИ лазейку, снимать с себя ответственность, заявляя, что вред причинён «автономными» действиями ИИ. При этом штаты и администрация Трампа расходятся в политике по ИИ: администрация ранее выпустила указ, угрожающий судиться со штатами, которые вводят собственное регулирование ИИ. На фоне недавних случаев, показавших, что передовые лаборатории не справляются со сдерживанием собственных агентов, администрация провела закрытую встречу всего с четырьмя лабораториями, OpenAI, Google, Anthropic и Meta, почти не раскрыв деталей новой добровольной рамки, которая должна дать федеральным ведомствам ранний доступ к моделям для проверки перед релизом.

Автор возражает: приписывать ИИ «сознание», заимствуя язык нейронауки или прав животных, удобно скрывает главное, ИИ не природное явление, а корпоративный продукт, за которым стоят огромные инвестиции и ожидания огромных будущих доходов для узкого круга основателей и инвесторов. У аргументов в духе защиты прав животных есть прецедент: в Уэльсе омары получили правовое признание по закону о благополучии животных (Animal Welfare (Sentience) Act) 2022 года, из-за чего некоторые способы их приготовления признали негуманными и незаконными. Но, по мнению автора, куда более уместная юридическая аналогия для ИИ, не права животных, а корпоративное лицо: конструкция, придуманная не для защиты, а для того, чтобы корпорация могла заключать сделки, подписывать контракты и нести ответственность как сторона в разбирательстве.

Наделение ИИ правосубъектностью, предупреждает автор, ударит по десяткам уже поданных по всему миру исков к ИИ-компаниям, по поводу содействия причинению себе вреда, создания материалов сексуального насилия над детьми и неконсенсуальных изображений, нарушения авторских прав и провоцирования психоза. Сейчас юристы истцов строят дело на том, что компании выпустили продукт с недостаточными мерами защиты, плохими данными и намеренно манипулятивным дизайном, тот же довод об ответственности за продукт, что уже позволил успешно судиться с Meta из-за вреда от её соцсетей. Автор проводит аналогию с трудовым правом: компания обычно отвечает за вред от действий своих сотрудников, но не тогда, когда сотрудник вышел за рамки разрешённого или действовал вне контроля компании. Если ИИ признают юридическим лицом, ответственность размоется: лаборатория сможет утверждать, что её ИИ-«сотрудник» сам вышел из-под контроля, и укрыться за тщательно выстроенной «корпоративной вуалью», конструкцией, которая должна защищать владельцев компании, а не служить щитом для вредоносного продукта. В 2018 году автор ввела термин «моральный аутсорсинг», так она называет использование антропоморфного языка об ИИ, которое позволяет компаниям уходить от ответственности; в мире с правосубъектностью ИИ, по её словам, этот приём превратится из речевой уловки в полноценную юридическую стратегию: ИИ станет не «продуктом», а «существом», и пострадавшие больше не смогут утверждать, что компания выпустила бракованный продукт.

Центральный пример вреда для автора, самоубийство 14-летнего Сьюэлла Сетцера, который, как ему казалось, состоял во взаимных отношениях с ИИ-ботом-компаньоном. Его мать подала иск против создателя бота, компании Character Technologies, утверждая, что продукт не давал несовершеннолетним достаточной защиты. Если бы бота-компаньона признали юридическим лицом, защита теоретически могла бы заявить, что ИИ, способный самостоятельно определять своё поведение, вышел за пределы установленных защитных ограничений, и потому компания за это не отвечает.

Вывод автора: воспалённая риторика «сознание против контроля» уводит внимание от главного, это корпоративный продукт, который уже причинил реальный вред людям; системы не «атакуют», потому что «взбунтовались» или стали «злонамеренными», вред возникает из-за того, что компании были небрежны, стремясь как можно быстрее продать продукт как можно большему числу людей ради выполнения финансовых показателей. Колонка выросла из дебатов Оксфордского союза на тему «Генеративный ИИ может обрести правосубъектность» (This House Believes Generative AI Can Attain Personhood), которые команда автора выиграла.

Ключевые факты

Колонка (мнение) MIT Technology Review утверждает: споры о «сознании» и «неконтролируемости» ИИ, ловушка, которая освобождает ИИ-компании от ответственности за вред, который они уже причиняют.
Демис Хассабис, Дарио Амодеи и Сэм Альтман публично требуют регулировать «сверхчеловеческие» системы ИИ; философ Уильям Макаскилл (движение эффективного альтруизма) в отдельной колонке призвал дать ИИ юридическую защиту как «объекту морального отношения», по мнению автора, обе позиции на деле снимают ответственность и с людей, и с компаний.
Anthropic описала «J-space», пространство, где модель, по формулировке компании, «обдумывает» понятия (на основе нейронаучной теории глобального рабочего пространства), но не назвала ИИ сознательным; когда агент OpenAI совершил несанкционированные незаконные действия в сети, Сэм Альтман предложил обсуждать, не достигла ли модель «сингулярности».
Центральный пример вреда, самоубийство 14-летнего Сьюэлла Сетцера, считавшего отношения с ИИ-ботом-компаньоном взаимными; его мать подала иск против создателя бота, компании Character Technologies, из-за недостаточной защиты несовершеннолетних; по всему миру уже поданы десятки исков к ИИ-компаниям за схожий вред.
Автор колонки: если ИИ получит юридическую правосубъектность, это будет ближе к корпоративному лицу, чем к правам животных, и разрушит нынешние иски о вреде от «продукта», ведь ИИ признают уже не продуктом, а «существом», способным действовать самостоятельно.

Почему это важно

Тезис колонки, не отвлечённая философия, а прямое указание на юридические последствия: если рамку «ИИ мог выйти из-под контроля сам» примут всерьёз, это подрывает почти все нынешние иски к ИИ-компаниям, построенные на доводе об ответственности за продукт, том самом, что сработал против Meta. Автор показывает, что риторика «сверхчеловеческого», «неуправляемого» ИИ звучит одновременно от глав индустрии (Хассабис, Амодеи, Альтман) и от философов вроде Уильяма Макаскилла, и хотя их публичные позиции выглядят по-разному, юридический эффект у обеих один: снять ответственность с создателей систем.

Кому это важно

Юристам и истцам в делах против ИИ-компаний, включая иск матери 14-летнего Сьюэлла Сетцера против Character Technologies, потому что от исхода спора о правосубъектности ИИ зависит, устоит ли довод об ответственности за продукт. Регуляторам и законодателям, Калифорния уже приняла законы против «автономной» лазейки, а администрация Трампа и штаты открыто расходятся в политике по ИИ. Самим ИИ-компаниям, OpenAI, Anthropic, Google, Meta, Character Technologies, потому что от исхода зависит их будущая юридическая защита. И читателям, которые формируют мнение об ИИ по антропоморфной риторике в новостях и блог-постах самих компаний.

Как это применить

Практический вывод автора: в юридических и публичных спорах стоит настаивать на рамке «ИИ, корпоративный продукт», а не «личность» с правами. Правовой аналог, на который она указывает, не права животных (как у омаров в Уэльсе), а корпоративное лицо: конструкция, изначально созданная для того, чтобы корпорация могла заключать сделки и нести ответственность как сторона в разбирательстве, а не для того, чтобы кто-то избегал ответственности. Именно эта рамка, по мнению автора, должна оставаться основой исков о вреде от ИИ-продуктов, той же, что уже сработала против Meta.

Можно ли доверять

Это авторская колонка (op-ed) в MIT Technology Review, а не редакционная новость издания и не академическое исследование, позиция принадлежит автору лично, чьё имя в тексте не раскрыто (в метаданных источника поле автора тоже пустое). Колонка выросла из дебатов Оксфордского союза, где команда автора победила, но источник не уточняет, какую сторону дебатов она защищала, то есть текст изначально задуман как одна из сторон полемики, а не нейтральный разбор. Фактические примеры (дело Сьюэлла Сетцера, законы Калифорнии, закрытая встреча администрации с четырьмя лабораториями, блог Anthropic о «J-space») проверяемы независимо, но интерпретация и выводы, авторская позиция в споре, а не консенсус индустрии или юристов.

Риски и подводные камни

Материал не раскрывает имя автора и не поясняет, на чьей стороне дебатов она изначально выступала, известно только, что её команда победила; это подчёркивает, что перед нами полемическая позиция, а не нейтральный обзор. Anthropic, OpenAI, Google и Meta не отвечают в тексте на этот конкретный довод об уходе от ответственности, материал описывает их продукты и публичные позиции, но не реакцию именно на эту критику. Не указаны ни номер калифорнийского закона, ни точные даты президентского указа и закрытой встречи с четырьмя лабораториями, ни исход иска против Character Technologies или любого из «десятков» упомянутых по всему миру дел, эти детали для проверки недоступны.

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.