Анил Сет в эссе о «мифологии сознательного ИИ»: интеллект, не сознание

Журнал Noema опубликовал эссе Анила Сета «Мифология сознательного ИИ», победившее в ежегодном конкурсе эссе премии Берггрюна 2025 года. Сет, профессор нейронауки и директор Центра науки о сознании в Университете Сассекса, а также сопредседатель программы «Мозг, разум и сознание» Канадского института перспективных исследований; автор книги «Being You: A New Science of Consciousness» (Dutton, 2021).
Эссе начинается с культурной истории искусственного сознания: от Йосселе-голема и «Франкенштейна» Мэри Шелли до HAL 9000, Авы из «Из машины» и Клары из «Клары и Солнца». Такие истории редко кончаются хорошо, по крайней мере для людей. Сет подчёркивает: если ИИ движется к настоящему сознанию или хотя бы к системам, которые убедительно выглядят сознательными, на кону не только рынок труда.
Повод для разговора, не только фантазии. В 2022 году в интервью The Washington Post инженер Google Блейк Лемуан заявил, что чат-бот LaMDA, над которым он работал, сознателен, обладает чувствами и в важном смысле подобен реальному человеку. Его не восприняли всерьёз, а Google уволил его за нарушение политики конфиденциальности. Сет замечает: увольнение за нарушение конфиденциальности, не то же самое, что увольнение за ошибочность взглядов. Вопрос не исчез: Дэвид Чалмерс, по словам автора, один из ведущих мыслителей в этой области, допускает, что сознательные машины возможны в обозримом будущем; Джеффри Хинтон, пионер ИИ и недавний лауреат Нобелевской премии, считает, что они уже существуют; в конце 2024 года группа известных исследователей выпустила широко разошедшуюся статью о необходимости всерьёз отнестись к благополучию ИИ-систем. Для многих ведущих экспертов по ИИ и нейронауке, пишет Сет, появление машинного сознания, вопрос «когда», а не «если».
Почему это важно, по Сету: если ИИ сознателен, то вместе с сознанием появляются моральный статус, способность страдать и, возможно, права. Но и сами представления об этом уже влияют на нас: если мы чувствуем, что ИИ-компаньоны действительно что-то чувствуют, нашими психологическими уязвимостями можно воспользоваться, этические приоритеты искажаются, а относиться к кажущимся сознательными машинам как к существам без чувств, психологически нездоровая позиция. Если же наделить ИИ правами, мы можем потерять возможность его отключить, даже когда он действует против наших интересов. Наконец, если мы слишком легко отождествляем себя с машинами, мы не только переоцениваем их, но и недооцениваем себя.
В разделе «Соблазны сознательного ИИ» автор разводит понятия. Интеллект, это в основном делание: способность достигать сложных целей гибкими средствами, превращать входы в выходы. Сознание, это в основном бытие; Сет приводит определение Томаса Нагеля: у организма есть сознательные состояния тогда и только тогда, когда существует нечто, каково это, быть этим организмом. Сознание, это разница между обычным бодрствованием и небытием глубокого наркоза, переживание цвета, вкуса, эмоций. Про ИИ можно уверенно говорить об интеллекте в некоторой форме, но куда труднее сказать, есть ли что-то, каково это, быть ChatGPT.
Склонность связывать интеллект и сознание Сет объясняет тремя встроенными психологическими искажениями: антропоцентризмом (человеческий случай принимают за определение), человеческой исключительностью (привычка ставить вид человека на вершину любой иерархии) и антропоморфизмом (приписывание человекоподобных качеств нечеловеческим вещам по поверхностному сходству). Особенно сильно на людей действует язык, ведь он краеугольный камень человеческой исключительности. Поэтому вокруг больших языковых моделей вроде ChatGPT от OpenAI и Claude от Anthropic столько разговоров о сознании, тогда как, насколько известно автору, никто не утверждал, что сознателен AlphaFold от DeepMind, хотя «под капотом» он довольно похож на языковую модель: он предсказывает структуру белков, а не слова, и потому не задевает те же психологические струны.
Сет обращает внимание и на лексику: когда мы говорим, что модели «галлюцинируют», мы неявно приписываем им способность переживать. Если уж нужна человеческая аналогия, лучше сказать «конфабулируют»: у людей это придумывание без осознания, то есть в первую очередь действие, а не переживание. Нельзя просто предполагать, что сознание «приложится» по мере умнения ИИ, а заявления, что оно волшебным образом возникнет на произвольном пороге AGI (искусственного общего интеллекта), верный признак человеческой исключительности.
Есть и другие искажения. Экспоненциальный рост создаёт ощущение, что мы всегда на пороге великого перехода, но на экспоненте каждая точка, точка перегиба. Есть и «техно-восторг»: цитируя героя «Из машины» Калеба («Если ты создал сознательную машину, это не история людей, это история богов»), автор говорит о прометеевском соблазне и обещании бессмертия в кремниевом облаке. Возможно, поэтому о скором машинном сознании чаще говорят в технологической среде, чем вне её. В скобках Сет добавляет более циничное замечание: разговоры о почти магической природе ИИ могут помогать удерживать цены акций и оправдывать огромные зарплаты и инвестиции в Кремниевой долине. Адам Беккер в книге «More Everything Forever» называет склонность проецировать сознание на ИИ формой парейдолии (как лицо в тосте). Это точное описание, но, пишет Сет, лишь первый шаг: чтобы понять, возможно ли настоящее искусственное сознание, нужно копать глубже. Следующий раздел, «Сознание и вычисление», начинается с тезиса, что сама идея сознательного ИИ опирается на допущение, будто сознание, это вычисление; доступный текст обрывается на этом месте.
Ключевые факты
- Эссе Анила Сета «Мифология сознательного ИИ» победило в конкурсе эссе премии Берггрюна 2025 года; Сет, профессор нейронауки и директор Центра науки о сознании в Университете Сассекса.
- Главный тезис: интеллект (способность достигать сложных целей гибкими средствами) и сознание (наличие «каково это, быть»), разные вещи, и нельзя считать, что сознание «приложится» по мере умнения ИИ.
- Связку интеллекта и сознания Сет объясняет тремя искажениями: антропоцентризмом, человеческой исключительностью и антропоморфизмом; добавляет мышление об экспоненциальном росте и «техно-восторг».
- Сет предлагает говорить, что модели «конфабулируют», а не «галлюцинируют», и приводит в пример AlphaFold: похожая по устройству система, но о её сознании никто не говорит.
- Идея сознательного ИИ, по Сету, держится на допущении, что сознание, это вычисление; разбор этого допущения лежит в части эссе, которая в доступном тексте оборвана.
Почему это важно
Споры о том, может ли ИИ быть сознательным, перестали быть чисто философскими: в 2022 году инженер Google Блейк Лемуан публично объявил чат-бот LaMDA сознательным, а по словам Сета, Чалмерс допускает сознательные машины в обозримом будущем, Хинтон считает, что они уже есть, а в конце 2024 года группа известных исследователей призвала всерьёз отнестись к благополучию ИИ. Сет показывает, что вопрос важен независимо от ответа: если ИИ сознателен, у него появляются моральный статус и, возможно, права; если нет, то вера в обратное делает нас уязвимыми для манипуляций, искажает этические приоритеты и может лишить нас возможности отключить систему.
Кому это важно
Прежде всего тем, кто обсуждает этику и регулирование ИИ, и тем, кто делает ИИ-компаньонов и чат-ботов: по Сету, уже одно ощущение, что собеседник-ИИ чувствует, влияет на пользователей. Также эссе будет интересно исследователям сознания и когнитивных наук, журналистам, пишущим об ИИ, и обычным пользователям нейросетей, которые склонны очеловечивать собеседника.
Как это применить
Практический вывод эссе в основном языковой и мыслительный. Не путать способность модели хорошо справляться с задачами (интеллект) с наличием переживаний (сознание). Осторожнее с лексикой: Сет советует вместо «галлюцинации» говорить «конфабуляции», поскольку первое слово неявно приписывает модели опыт. Относиться критично к заявлениям, что сознание «само появится» при достижении AGI, и помнить о собственной склонности к антропоморфизму, особенно когда система хорошо владеет языком.
Можно ли доверять
Это авторское эссе-мнение, а не эмпирическое исследование: оно победило в конкурсе премии Берггрюна 2025 года, автор, профессор нейронауки и руководитель центра по изучению сознания, но все оценки и объяснения (три искажения, роль биржевых стимулов), его собственные интерпретации. Реплику про цены акций и зарплаты в Кремниевой долине сам автор подаёт как циничное замечание в скобках. Доступный текст обрывается в начале раздела «Сознание и вычисление», поэтому аргументы Сета о том, является ли сознание вычислением, и его итоговые выводы здесь не пересказаны. Из видимой части нельзя заключить, что он считает сознательный ИИ невозможным: он оспаривает допущение, что сознание сопутствует интеллекту, и говорит, что вопрос о возможности требует более глубокого разбора.
Риски и подводные камни
Пересказ охватывает лишь первую часть эссе, поэтому не стоит приписывать Сету окончательную позицию о возможности машинного сознания. Спорные места видимой части: утверждения о том, что убеждённость в скором машинном сознании связана с биржевыми интересами, автор подаёт как предположение, а не как доказанный факт. Другой подводный камень, упрощение: Сет разводит интеллект и сознание, но сам отмечает, что вопрос, возможно ли настоящее искусственное сознание, требует более глубокого анализа, чем разбор психологических искажений.
«Интеллект и сознание, разные вещи.»
— Анил Сет, «Мифология сознательного ИИ», Noema