OpenAI опубликовала эссе «Тихий консенсус»: против отказа от первенства людей

OpenAI опубликовала эссе «Тихий консенсус»: против отказа от первенства людей

OpenAI опубликовала эссе «The Silent Consensus» («Тихий консенсус»), адаптированное из лекции, которую автор недавно прочёл в рамках цикла Vik-Bailey Lecture в Гарварде. В примечании сказано, что текст отражает личные взгляды автора, а не обязательно позицию OpenAI или других её сотрудников. Имя автора в доступном тексте не указано.

Лекция начинается с текущих событий. По словам автора, прямо сейчас идёт один из самых значимых наборов событий в кибербезопасности: раскрытие критических уязвимостей, которое некоторые называют «Чёрным октябрём». Уязвимости в базовой инфраструктуре интернета нашли передовые ИИ-системы, а раскрытие, часть срочных усилий по укреплению безопасности ПО во всём мире. Поиск уязвимостей автор называет двойной по назначению (dual-use) возможностью ИИ; скоро появится следующая такая возможность, и значительная часть того, что сегодня зовут «политикой в области ИИ», вероятно, будет делаться посреди этой суматохи. Но говорить он хочет не о срочном, а о долгосрочных будущих исходах: без представления о том, каких будущих мы хотим и каких избегаем, можно прийти к нежелательному итогу, даже принимая мудрые решения на каждом шаге.

Автор не согласен, что у технологической отрасли нет позитивного видения: в Сан-Франциско и других центрах строят летающие машины, беспилотные автомобили, роботов, термоядерный синтез и сильный ИИ (AGI). Не хватает, по его мнению, позитивного видения институционального будущего: как всё это будет работать. Институциональное видение при этом есть, но чаще всего оно негативное и почти не произносится вслух. Это он и называет тихим консенсусом.

Суть показана на примере компании, которая почти всё делает без людей: её ИИ ведут исследования и разработку, делают открытия, заключают контракты, распределяют капитал, производят. Если она превосходит конкурентов-людей, даже вооружённых ИИ, то у управляющих и владельцев появляется стимул убрать руки с руля, а рыночная конкуренция толкает людей к отказу от первенства в мировой торговле. Что будет дальше, неизвестно: люди могут выиграть, если машины будут высоко ценить людей, или оказаться всё менее значимыми и неспособными влиять на мировые дела; власть и богатство могут достаться небольшой группе или все могут разделить судьбу лишённых влияния. Общее для всех сценариев, конец первенства человека в мире, каким мы его знаем. Для этого не нужен бунт ИИ против создателей и не нужно, чтобы владельцы желали людям бессилия: каждое решение делегировать может быть разумным само по себе. Даже при успехах в безопасности и согласовании ИИ мы можем оказаться подчинены новой машинной сущности. В «счастливой» версии это добрая машина «благодатной любви» (отсылка к стихотворению Бротигана): люди, пассажиры очень хорошего автомобиля, а работа остаётся чем-то вроде ритуала или игры.

Автор оговаривает, что консенсус не значит всеобщего согласия, будто это хорошо, и не тайный план тех, кто строит ИИ. Одни считают такое будущее действительно хорошим, другие смирились с его неизбежностью. Консенсус в том, что утрата людьми первенства неизбежна или, по крайней мере, трудно представить другой вариант, устойчивый к сверхразумным машинам. Молчаливость, признак. Возражение «мы и сейчас не контролируем мир» автор принимает частично: единого «мы» нет, мир децентрализован, но люди в совокупности всё же главный действующий игрок на Земле, и с нами за ресурсы не конкурирует ни один вид животных.

Позиция автора: «Я презираю тихий консенсус. Я отвергаю отказ от первенства людей». Он называет себя «человеческим шовинистом» без извинений и говорит, что не смог бы смотреть в глаза своему маленькому сыну, если бы согласился с консенсусом. Проблема в том, что консенсус возник не на пустом месте: большинство попыток объяснить, как люди сохранят руль рядом со сверхчеловеческим интеллектом, опираются на тезис «ИИ, лишь инструмент, он не способен к “подлинному пониманию”». Автор боится, что такие аргументы не выдержат реальности: о ИИ нельзя сказать, что ему недостаёт «подлинного понимания», когда он продвигается в задачах, не поддававшихся людям десятилетиями и веками.

Первенство людей, по его мысли, держится не на интеллекте, а на прошлом: это мы вышли из грязи, создали общество, задавались вопросом о звёздах, открыли мораль, этику и право, творили искусство и писали историю. Наследие, «пламя, которое мы поддерживали», и забота о нём включает участие в «беседе человечества» (выражение Майкла Оукшота). Права человека не зависят от того, кто умнее: он не теряет статус гражданина оттого, что у соседа суждение лучше. ИИ, прочитавший почти всё письменное наследие, станет участником беседы, сначала наблюдателем, затем всё активнее, но не должен господствовать в ней или лишать её смысла: человек, прочитавший все письма на вашем семейном чердаке, не становится членом семьи. Уступить первенство, значит предать и предков, и потомков.

Автор считает, что сторонники консенсуса ошибаются, смешивая интеллект с властью: опишите им возможности нынешних ИИ пять-десять лет назад, и они, вероятно, предсказали бы куда более высокую безработицу и более далёкое обессиливание людей, чем есть на деле. Он верит, что коллективный разум людей и устойчивость обществ выше, чем они думают. Но он признаёт: «я могу ошибаться», вполне возможно, что полностью автономные корпорации вытеснят человеческий бизнес, и логика экономики будет передавать машинам всё больше капитала. Тогда лишение влияния не потребует восстания машин, только продолжения капиталистической логики. Ближайшая аналогия, аграрная революция, про которую, по словам автора, есть существенные свидетельства, что она ухудшала благополучие людей на протяжении тысячелетий. Доступный текст обрывается на полуслове, поэтому выводы эссе и возможные предложения не видны.

Ключевые факты

  • Эссе «The Silent Consensus» на сайте OpenAI адаптировано из лекции в цикле Vik-Bailey Lecture в Гарварде; автор не назван в доступном тексте, а в примечании сказано, что это его личные взгляды, а не обязательно позиция OpenAI.
  • «Тихим консенсусом» автор называет молчаливое ожидание, что люди неизбежно уступят первенство в мировых делах машинам, а не тайный план создателей ИИ; для такого исхода, по его словам, не нужен бунт ИИ.
  • Автор отвергает этот консенсус («я презираю», «я отвергаю отказ от первенства людей»), называет себя «человеческим шовинистом» и обосновывает первенство людей не интеллектом, а общим прошлым, «беседой человечества» по Оукшоту.
  • Довод «ИИ, лишь инструмент без подлинного понимания» он считает неустойчивым; при этом признаёт, что может ошибаться: автономные корпорации способны вытеснить человеческий бизнес, а аналогом служит аграрная революция.
  • Лекция начинается с «Чёрного октября», раскрытия критических уязвимостей в базовой инфраструктуре интернета, найденных передовыми ИИ-системами; доступный текст эссе обрывается на полуслове.

Почему это важно

Эссе опубликовано на сайте OpenAI и формулирует вопрос, который обычно остаётся за кадром споров об ИИ: не «опасен ли ИИ», а «как будут устроены институты, если машины окажутся способнее людей». Автор подчёркивает, что даже без бунта ИИ и без злого умысла владельцев цепочка разумных решений о делегировании может привести к утрате людьми реального контроля. Это текст-размышление, а не анонс продукта или результат исследования, и его ценность в самой постановке проблемы.

Кому это важно

Тем, кто следит за дискуссиями о долгосрочных последствиях ИИ, политике в этой области и роли человека в экономике и управлении. Для практиков, ищущих конкретные инструменты или данные, материал почти ничего не даёт: цифр, измерений и технических деталей в нём нет, есть рассуждение и личная позиция автора.

Как это применить

Практических инструкций в доступном тексте нет. Эссе можно использовать как рамку для чтения новостей об автономных компаниях и делегировании решений ИИ: полезно спрашивать не только о безопасности и согласовании моделей, но и о том, сохраняют ли люди реальное первенство, когда каждое отдельное решение передать машине выгодно.

Можно ли доверять

Это авторское мнение, а не исследование: автор прямо пишет, что может ошибаться, а доводы строятся на рассуждении и аналогиях (аграрная революция, «письма на семейном чердаке»), а не на данных. Оценку о тысячелетнем ухудшении благополучия после аграрной революции он подаёт как опирающуюся на «существенные свидетельства», но сами свидетельства не приводит. Имя автора в доступном тексте не указано, а сам текст обрывается на полуслове, так что концовка и выводы оценить нельзя. Позиция выражена от первого лица и, по примечанию, не обязательно совпадает с позицией OpenAI.

Риски и подводные камни

Сам автор называет слабые места своей позиции: возможно, полностью автономные корпорации действительно выиграют конкуренцию у человеческого бизнеса, и тогда логика рынка сама будет передавать машинам капитал. Его довод о том, что сторонники консенсуса переоценивают связь интеллекта и власти, опирается на сравнение с прогнозами пяти- или десятилетней давности, а не на измеримые показатели. Кроме того, тезис о «первенстве, основанном на прошлом» остаётся философским и не превращается в конкретные меры в видимой части текста. Читать эссе стоит как позицию в споре, а не как установленный факт.

«Я презираю тихий консенсус. Я отвергаю отказ людей от первенства.»

— автор эссе «The Silent Consensus», OpenAI