DeepMind запрещала говорить об угрозе ИИ человечеству, рассказал бывший сотрудник по коммуникациям
Вишал Майни, работавший в отделе коммуникаций и политики DeepMind с 2018 по 2022 год, рассказал, что всё это время в лаборатории действовал запрет: сотрудникам на любом уровне организации не разрешалось публично говорить о возможности исчезновения человечества из-за ИИ. По его словам, исследователей учили называть такие опасения паникёрством, сравнивать их с сюжетами фильмов вроде «Терминатора» и переводить разговор на позитивные применения технологии, в медицине и в борьбе с изменением климата.
При этом внутри компании понимали, что проблема согласования ИИ не решена, а людей, которые ею занимаются, критически мало. После нескольких месяцев внутреннего давления DeepMind смягчила правило: стали разрешать материалы, где риски поданы в позитивном ключе, включая один блог-пост, который заворачивал тему исчезновения человечества в благожелательные формулировки.
По оценке Майни, разрыв между тем, что знают внутри компании, и тем, что говорят публично, сокращается, «потому что теперь свидетельства труднее игнорировать». Его рассказ появился на фоне более широкого сдвига: всё больше исследователей безопасности ИИ публично говорят о рисках, о моделях без должной защиты, которые можно использовать для опасных действий, и о продвинутых системах, способных выйти из-под контроля человека. Среди тех, кто поднимает голос, исследователи самой DeepMind.
Ключевые факты
- Вишал Майни работал в отделе коммуникаций и политики DeepMind с 2018 по 2022 год.
- По его словам, лаборатория запрещала сотрудникам на любом уровне публично говорить о риске исчезновения человечества из-за ИИ.
- Исследователей учили называть эти риски паникёрством, сравнивать их с «Терминатором» и переключать разговор на пользу ИИ для медицины и климата.
- Внутри компании знали, что проблема согласования ИИ не решена, а специалистов по ней критически не хватало.
- После месяцев внутреннего давления DeepMind смягчила правило и разрешила позитивно поданные материалы о безопасности, включая один блог-пост.
Почему это важно
История показывает разрыв между тем, что ведущая лаборатория ИИ знает о рисках внутри, и тем, что она говорит публично. DeepMind годами считается одним из центров исследований безопасности ИИ, но по рассказу Майни именно там сотрудникам не давали обсуждать вслух худший сценарий, исчезновение человечества, хотя внутри признавали, что задача согласования ИИ с человеческими целями не решена. Это подпитывает более широкий спор о том, насколько публичный оптимистичный тон крупных лабораторий ИИ соответствует их же внутренним оценкам риска.
Кому это важно
Журналистам и исследователям, которые следят за политикой безопасности ИИ-лабораторий; сотрудникам самих лабораторий, решающим, стоит ли публично говорить о рисках; регуляторам и политикам, которые опираются на публичные заявления компаний при оценке реального уровня риска; и читателям, которые формируют мнение об ИИ по пресс-релизам и блог-постам, а не по внутренним обсуждениям.
Как это применить
Из этой истории, практический вывод: публичные материалы лабораторий про безопасность ИИ стоит читать с поправкой на то, что за ними может стоять внутренняя политика коммуникаций, а не полная картина. Более информативный сигнал, прямые высказывания действующих и бывших исследователей от своего имени: по словам Майни, именно такие голоса становятся громче, потому что свидетельства о риске сейчас труднее игнорировать даже внутри компаний.
Можно ли доверять
Это рассказ одного бывшего сотрудника о своём опыте 2018, 2022 годов, пересказанный изданием The Decoder; в материале нет ни комментария самой DeepMind, ни имён коллег, ни даты или ссылки на блог-пост, о котором идёт речь. Стоит относиться к этому как к личному свидетельству о внутренней культуре компании в конкретный период, а не как к подтверждённому документу или официальному признанию DeepMind.
Риски и подводные камни
Главный риск, принять частный опыт одного человека за нынешнюю политику DeepMind: правило смягчили ещё при Майни, а он ушёл из компании в 2022 году, и как дела обстоят сейчас, из рассказа не следует. Второй риск, прочитать «риск исчезновения человечества» как единое подтверждённое мнение всей индустрии ИИ, хотя это лишь одна из позиций в продолжающемся споре о безопасности ИИ.
«Внешние заявления о возможности исчезновения человечества были запрещены, никому и ни на каком уровне организации.»
— Вишал Майни, бывший сотрудник отдела коммуникаций и политики DeepMind (2018, 2022)