Советник Ватикана по ИИ обвинил крупные лаборатории в картельном сговоре

Отец Паоло Бенанти, священник, богослов и специалист по технологиям, консультирующий Католическую церковь по вопросам ИИ, заявил изданию WIRED, что тревога вокруг возможного сверхразума отвлекает общество от куда более насущного вопроса: как ограничить власть компаний, создающих эту технологию. По его словам, выставляя проблему настолько сложной, что решить её способны только они сами, крупные лаборатории фактически исключают всех остальных из разговора. «Этика не может принадлежать совету директоров компании. Её нужно обсуждать и уравновешивать в публичных дебатах», говорит Бенанти., «Нам нужно демократическое регулирование».

Поводом для дискуссии стали недавние предупреждения исследователей внутри крупнейших ИИ-лабораторий о темпах развития технологии и рисках появления сверхразумных моделей, чьи возможности намного превзойдут человеческие, на фоне жёсткой конкуренции лабораторий и соперничества США и Китая. Вскоре после этих предупреждений глава Anthropic Дарио Амодей в своём эссе призвал сделать обязательной независимую проверку новых моделей перед их выпуском, а также как-то пресечь «дистилляцию», практику, при которой одни лаборатории обучают свои модели на выдаче чужих проприетарных систем. Другие эксперты (имена не названы) предлагали вовсе запретить рекурсивное самоулучшение ИИ, когда система с помощью развитых навыков программирования участвует в разработке следующих версий себя самой.

Бенанти относится к идее ограничивать сами методы разработки ИИ скептически, по его мнению, это может задушить инновации. Вместо этого он выступает за стандарты, которые не позволят моделям выйти из-под контроля человека, но разрабатывать эти стандарты, настаивает он, должны не сами лаборатории. «Нарратив передовых лабораторий продиктован собственным интересом, удержать или укрепить позиции на рынке», говорит он. Когда небольшая группа компаний диктует правила работы целой отрасли, «у этого есть чёткое название: картель».

Бенанти отмечает, что доверять громким заявлениям о возможностях нынешних и будущих моделей сложно из-за переплетения экономических, политических и личных интересов игроков: и OpenAI, и Anthropic поддерживают призывы к замедлению разработки ИИ, но при этом обе компании готовятся к выходу на биржу, а на кону, многие миллиарды долларов для того, кто захватит рынок. Anthropic отказалась комментировать материал WIRED, OpenAI и Google DeepMind на запрос не ответили.

Отдельно Бенанти критикует манеру некоторых в индустрии ИИ говорить о сверхразуме почти с религиозным трепетом, как о чём-то практически всемогущем и непостижимом (в этом контексте в статье приводят слова главы OpenAI Сэма Альтмана о стремлении построить «волшебный разум в небе»). По словам Бенанти, такая рамка искажает дискуссию: «Мы говорим о чём-то или о ком-то? В этом всё различие. Это вопрос не веры, а математики», говорит он., «Мы не создаём нового бога. Мы просто обманываем себя, будто здесь происходит нечто большее, чем статистические вычисления». Он считает, что появление ИИ, ставящее вопросы о границе между человеком и машиной, открывает «новую роль для религий в публичных дебатах»: «Жить вызовами своего времени, часть миссии Церкви».

Бенанти подчёркивает, что, будучи священником, формально не представляет Святой Престол, руководящий орган Католической церкви, а консультирует её как учёный, специалист по философии, теологии и технологиям. Он рассказал, что использует ИИ для создания учебных материалов для своих студентов, но отказался уточнить, пользуется ли технологией, и как именно, папа Лев XIV: его сотрудники заявили, что он связан «клятвой о неразглашении».

В мае папа Лев опубликовал свою первую энциклику, послание, применяющее религиозное учение к проблемам современности и обозначающее позицию Церкви, и посвятил её искусственному интеллекту. В письме понтифик предостерёг от «технократической логики», пронизывающей ИИ-индустрию, которая представляет «эффективность как высшую меру ценности» и низводит человека до «проекта, подлежащего оптимизации». Он также призвал соперничающие сверхдержавы и ИИ-компании к международному сотрудничеству, отказавшись от «стремления обеспечить геополитическое или коммерческое доминирование» ради того, чтобы технология служила общему благу, и предостерёг об «опасности того, что человечество станет жертвой собственных достижений».

По мнению Бенанти, ажиотаж вокруг сверхразума и экзистенциальных рисков грозит отвлечь внимание от задач, поставленных в энциклике, побуждая людей уступить право голоса по будущему технологии узкой группе математиков, специалистов по информатике и руководителей крупных лабораторий. «Первое, что нужно, это тормоза и руль», говорит он., «Это означает значительную степень контроля людей над машиной».

Ключевые факты

Отец Паоло Бенанти, консультирующий Католическую церковь по ИИ, заявил WIRED, что паника вокруг сверхразума отвлекает от нужды в открытом демократическом контроле над разработчиками ИИ
Он обвинил крупные лаборатории в картельном поведении: они сами диктуют правила отрасли, преследуя собственные рыночные интересы
Глава Anthropic Дарио Амодей в эссе призвал к обязательной независимой проверке моделей перед релизом и мерам против «дистилляции»; другие предлагали запретить рекурсивное самоулучшение ИИ
Anthropic отказалась от комментариев, OpenAI и Google DeepMind не ответили на запрос WIRED
В мае папа Лев XIV выпустил первую энциклику, посвящённую ИИ, где предостерёг от «технократической логики» и превращения человека в «проект для оптимизации», призвав к международному сотрудничеству ради общего блага

Почему это важно

Материал фиксирует редкий голос в дебатах об ИИ, не техно-оптимиста и не инженера безопасности, а богослова, критикующего саму рамку разговора: пока индустрия спорит о сверхразуме и экзистенциальных рисках, реальная власть над правилами игры остаётся у горстки лабораторий. Обвинение в «картельном» поведении, прямой вызов саморегулированию, на которое опираются OpenAI, Anthropic и другие фронтир-компании.

Кому это важно

Тем, кто следит за регуляторными дебатами вокруг ИИ, а также за тем, как разные институты, от корпораций до религиозных организаций, формируют публичную повестку о будущем технологии. Актуально и для тех, кто интересуется позицией Ватикана: материал раскрывает контекст майской энциклики папы Льва XIV об ИИ.

Как это применить

Прямых инструментов или продуктов в материале нет, это разбор мнений и позиций. Читателю стоит воспринимать его как срез аргументов «за демократическое регулирование ИИ снизу», которые можно сопоставлять с предложениями самих лабораторий (например, идеями Амодея об обязательных независимых проверках моделей).

Можно ли доверять

Материал WIRED, основан на интервью с Паоло Бенанти и цитатах из энциклики папы Льва XIV, а также на публичном эссе Дарио Амодея. Издание прямо указывает, что Бенанти формально не представляет Святой Престол, а Anthropic отказалась от комментария, OpenAI и Google DeepMind не ответили на запрос, то есть позиция лабораторий в тексте не представлена напрямую.

Риски и подводные камни

Точка зрения Бенанти, это мнение одного консультанта, не официальная позиция Ватикана и не программа конкретных регуляторных мер; сам он не раскрывает деталей того, как папа Лев XIV лично относится к ИИ, ссылаясь на «клятву о неразглашении» своих сотрудников. Аргумент о «картеле» звучит убедительно риторически, но материал не приводит юридического или экономического анализа, подтверждающего сговор лабораторий.

«Этика не может принадлежать совету директоров компании. Её нужно обсуждать и уравновешивать в публичных дебатах. Нам нужно демократическое регулирование.»

— Паоло Бенанти, советник Католической церкви по ИИ