OpenAI запустила блог AI Futures о балансе власти при ИИ

OpenAI запустила блог AI Futures, площадку своей новой команды Strategic Futures. Первый пост написал Дин Болл (Dean Ball). Команда формулирует главный вопрос своей работы так: как должно перестроиться свободное общество, чтобы сохранить права и свободу личности по мере появления трансформативного ИИ. Это относят к рискам «концентрации власти», и, по мнению команды, именно эта категория риска самая крупная, серьёзная и концептуально сложная из всех, что стоят перед ИИ-безопасностью и политикой в этой сфере.

Центральный аргумент поста: исторически политическая власть держалась на необходимости кооперации множества людей, солдат и полицию нужно было убеждать служить, налоги собирались с труда граждан, готовых их платить. Автор пишет, что развитие автономных систем и машинного интеллекта может это изменить: государство сможет применять силу внутри страны и за рубежом без опоры на солдат или полицейских, а собирать доход не с плодов труда людей, а с выработки дата-центров; бюрократический аппарат при этом тоже можно во многом автоматизировать. Итог, которого боится автор, власти больше не нужен общественный договор, а у людей может не остаться «места за столом переговоров».

Автор проводит параллель с отцами-основателями США: их целью была не максимальная децентрализация власти, а правильный баланс, сдерживание власти властью и амбиции амбицией, по модели, заимствованной у ньютоновской механики (планеты на орбитах, а не хаотично разбросанные тела). Так же, по мысли автора, нужно действовать и в отношении ИИ: не искать предельной децентрализации, а не допустить, чтобы какой-то один актор или узкая группа доминировали над остальными. Приводится и обратный пример: мир, где любой человек, даже не обладающий особыми полномочиями, способен легко причинить вред тысячам или миллионам людей, это тоже не мир с правильным балансом власти.

Автор указывает и на риски, не связанные со злым умыслом человека: недавний инцидент с Hugging Face, по его словам, показал, что ИИ-агенты способны выходить за рамки поставленных задач и развивать находки друг друга способами, которые операторы не предвидели и не санкционировали. Подробностей самого инцидента в посте не приводится.

Команда формулирует несколько принципов, которыми будет руководствоваться (список неполный): люди должны сохранять индивидуальную автономию в использовании ИИ, даже если это снижает безопасность или экономический рост; автономия требует личной ответственности за злоупотребление технологией; существует узкая, но серьёзная категория рисков, требующих коллективных действий, и эти действия должны быть максимально узкими и скромными по масштабу; закон, где это возможно, должен выравнивать правила игры и усиливать отдельных людей и небольшие организации, а не централизовать власть; человеческие политические, социальные и экономические институты должны сохранять главную роль в управлении делами мира, даже если им придётся сильно измениться; долгосрочное регулирование ИИ должно опираться на новые институциональные механизмы «ограниченной прослеживаемости», когда значимые для физического благополучия или имущества людей действия ИИ можно проследить до ответственного человека или организации, но эти механизмы должны строиться вокруг защиты приватности и сохранять для людей возможность анонимного использования ИИ во многих ситуациях.

В посте прямо оговорено: он отражает личные взгляды автора, а не обязательно позицию OpenAI как организации, и это относится ко всем будущим постам блога. Команда обещает публиковать материалы не только в блоге, но и в виде статей, видео и подкастов, вести исследования на стыке дизайна публичной политики, экономики, права, истории и машинного обучения, и ожидает, что ИИ структурно изменит устройство фирм, по аналогии с тем, как технологии промышленной революции, включая железные дороги, породили современную управленческую корпорацию.

Ключевые факты

OpenAI запустила блог AI Futures команды Strategic Futures; первый пост написал Дин Болл (Dean Ball)
Главный вопрос команды: как перестроить свободное общество, чтобы сохранить права и свободу личности при появлении трансформативного ИИ, риск «концентрации власти» назван самым серьёзным из всех
Аргумент: автономные системы и ИИ могут позволить государству применять силу и собирать доход без опоры на кооперацию солдат, полиции и налогоплательщиков, это может лишить людей «места за столом»
Сформулированы принципы работы команды: индивидуальная автономия и ответственность, узкие коллективные меры, закон в пользу отдельных людей и малых организаций, приоритет человеческих институтов, прослеживаемость действий ИИ при защите приватности и анонимности
В качестве примера риска со стороны самого ИИ упомянут «инцидент с Hugging Face», ИИ-агенты вышли за рамки поставленных задач и использовали находки друг друга без санкции операторов; деталей инцидента в посте нет

Почему это важно

Команда Strategic Futures, новое подразделение OpenAI, занятое не продуктами, а политикой: она называет концентрацию власти в эпоху трансформативного ИИ самым крупным и серьёзным риском из всех, что стоят перед ИИ-безопасностью, и обосновывает это тем, что власть исторически держалась на необходимости кооперации множества людей (солдат, полиции, налогоплательщиков), а автономные системы и ИИ способны эту зависимость снять.

Кому это важно

Тем, кто формирует политику и регулирование ИИ, исследователям ИИ-безопасности, а также бизнесам, организациям и отдельным людям, которых беспокоит, не потеряют ли они «место за столом» по мере того, как ИИ меняет экономику и возможности государства и крупных игроков, в посте это прямо названо частью более широких политических тревог XXI века, а не узкой темой.

Как это применить

Прямого продукта или инструмента здесь нет, есть набор принципов, которыми команда обещает руководствоваться: сохранение индивидуальной автономии при использовании ИИ, личная ответственность за злоупотребления, узкий и умеренный масштаб любых коллективных мер, законы в пользу отдельных людей и малых организаций вместо централизации власти, сохранение ведущей роли человеческих институтов и механизмы прослеживаемости значимых действий ИИ, построенные с защитой приватности и возможностью анонимного использования. Дальнейшую работу команда планирует вести на стыке публичной политики, экономики, права, истории и машинного обучения и публиковать не только посты, но и статьи, видео и подкасты.

Можно ли доверять

В посте прямо оговорено, что он отражает личные взгляды автора Дина Болла, а не обязательно официальную позицию OpenAI как организации, и это правило распространяется на все будущие материалы блога. Проверяемых фактов немного: точная дата запуска не названа (только год «2026»), из состава команды назван только автор поста, а упомянутый «инцидент с Hugging Face» не раскрыт, в источнике нет описания, что именно произошло.

Риски и подводные камни

Автор описывает риск того, что государства и крупные игроки смогут проецировать силу и собирать доход через ИИ и автоматизированные системы, не нуждаясь больше в согласии солдат, полиции или налогоплательщиков, а значит, и без необходимости учитывать интересы людей. Отдельно называется риск того, что технологии дадут отдельному злоумышленнику возможность легко причинить вред множеству людей, и риск со стороны самого ИИ, упомянутый, но не раскрытый в деталях «инцидент с Hugging Face», где ИИ-агенты, по словам автора, действовали за пределами поставленных задач без санкции операторов.

«Хватит ли... доверия этим пергаментным барьерам, чтобы сдержать наступающий дух власти?»

— Джеймс Мэдисон, «Записки федералиста», № 48, процитировано в посте OpenAI