Тимнит Гебру: разговоры о вымирании человечества от ИИ отвлекают от реальных угроз

На этой неделе в ИИ-индустрии произошли два события, которые издание WIRED пытается осмыслить в интервью, ставшем поводом для этого материала. Во-первых, спор о том, не использовала ли OpenAI тайно чужие наработки, чтобы первой решить открытую математическую задачу с призовым фондом $1 млн. Во-вторых, на следующий день после этого один из исследователей Anthropic, ранее работавший в OpenAI, публично уволился, сославшись на то, как обе компании относятся к безопасности ИИ. В ответ на это другой сотрудник Anthropic заявил, что люди в компании «искренне верят, что ИИ может убить всех людей», и лично оценил эту вероятность в ближайшее десятилетие выше 10%. В интернете развернулась дискуссия: насколько эти опасения обоснованы, не преувеличены ли они, не являются ли частью стратегии «регуляторного захвата» (regulatory capture) или самовозвеличивания самих ИИ-лабораторий, либо всё сразу.

На фоне этого особенно резко высказывается Тимнит Гебру, исследовательница технологий и ИИ, которая, по формулировке WIRED, была «особенно яростна», комментируя происходящее в X и Bluesky. Ранее Гебру была известна прежде всего громким уходом из Google: её наняли в 2018 году оценивать предвзятость в быстро развивающихся ИИ-инструментах компании, и вместе с соавторами она подготовила статью о потенциальных опасностях вероятностных больших языковых моделей (позже эта работа стала известна как статья про «стохастических попугаев», 2021). Google отклонила текст, и после этого Гебру проработала в компании совсем недолго. Сейчас она заканчивает книгу о своём опыте под названием Deep Unlearning: The Rise of AI and the Radicalization of a Tech Idealist (примерно, «Глубокое разучивание: расцвет ИИ и радикализация технологического идеалиста»), которая должна выйти в начале следующего года. Она отвергает формулировки вроде «безопасность и согласованность (alignment)» и считает, что те, кто предупреждает о неминуемой катастрофе, на самом деле отвлекают внимание от реального вреда, который может нанести технологическая индустрия.

Про спор вокруг математической задачи Гебру говорит: сначала стоит спросить, почему компании вообще так вкладываются именно в решение задач по математике, программированию и шахматам, по её мнению, эти дисциплины возвели в ранг мерила интеллекта, чтобы потом можно было заявить «мы это решили». История, которую, по её словам, хочет рассказать OpenAI, это история о том, что ИИ сделал нечто невероятное и «супер-умное», и именно поэтому компания выбрала для демонстрации открытый вопрос с призом $1 млн. Если бы решение прошло через обычный процесс, которым математическое сообщество проверяет значимость и новизну результата и то, кто на самом деле внёс вклад, и если бы все дождались, пока «уляжется пыль», у всех было бы больше ясности, насколько точно OpenAI описала свой прорыв. Гебру ссылается на документ, который называет «Лейденской декларацией» (Leiden Declaration) и оценивает положительно: по её словам, он предупреждает, что происходит, когда корпорации используют математику подобным образом, политики начинают ориентироваться на пресс-релизы и популярные медиа вместо того, чтобы говорить с самими математиками. Она в качестве примера скорости такой реакции упоминает Берни Сандерса, вносящего законопроект: время от заявления компании об ИИ-прорыве до такого шага, по её словам, стало очень коротким, и это плохо. Гебру противопоставляет этому свой опыт в Google, где исследователи открыто сотрудничали с коллегами из Microsoft и Amazon; сейчас, говорит она, исследователи лихорадочно спешат из-за предстоящих IPO (первичных размещений акций) своих компаний.

На вопрос о том, как она совмещает мнение, что компании ведут себя безответственно, с убеждением, что дискуссия «ИИ уничтожит цивилизацию» бессмысленна, Гебру отвечает, что всю карьеру говорит по сути одно и то же с разных сторон. Она напоминает про статью про «стохастических попугаев» 2021 года: тогда OpenAI заявляла, что GPT-2 «слишком опасен», чтобы его выпускать, и это, по мнению Гебру, было раздуто, а сами вопросы были поставлены неправильно. В своей книге она пишет: «Может ли мост сам решить рухнуть?» Когда мост рушится, поясняет она, никто не разбирается, был ли он «этичен» или «сознателен» и почему он «решил» рухнуть, вместо этого спрашивают, кто построил его настолько непрочным, ведь для строительства нужны разрешения и испытания. По её логике, тот же вопрос нужно задавать про ИИ-системы, которые якобы «вышли из-под контроля»: не почему система так «решила», а кто её спроектировал и выпустил без нужных проверок.

Экзистенциальным Гебру называет совсем другое: применение ИИ в автономном оружии и «машинах-убийцах», которые уже используются в реальных боевых действиях; климатическую катастрофу, по её словам, реальную угрозу, которую может усугубить инфраструктура, строящаяся под ИИ-компании; и то, что работодатели используют ИИ как предлог, чтобы избавляться от «надоедливых» сотрудников. Нарратив о «боге-машине» (machine-god), по её словам, как раз и существует, чтобы отвлекать внимание от всего перечисленного. Индустрию она описывает как смесь культов и искренне верующих людей, сравнивает её с проповедником, предсказывающим конец света, и напоминает, что «сингулярность», о которой без конца твердят, «наступает» уже десятилетиями.

Когда её просят по шагам объяснить, как могло бы выглядеть «вымирание от ИИ», вопрос отсылает к посту, где кто-то спросил, придёт ли к нему домой «рассерженный GPU», Гебру признаётся, что не может это толком представить. По её впечатлению, большинство таких сценариев сводится к тому, что машину попросили оптимизировать какую-то другую задачу, и она «решила», что путь к цели лежит через убийство всех людей; загипнотизирует ли ИИ человека, чтобы тот не отключил систему, она не знает, а на довод, что ИИ может «заразить» технику, отвечает: вредоносные программы (malware) существуют и без этого. Вместо гипотетики она называет предметные угрозы: наводнения и пожары, срыв мировых цепочек поставок продовольствия, а также то, что люди получают возможность создавать и применять химическое оружие. Отдельной ремаркой, вставленной уже самим WIRED, издание сообщает: вскоре после этого разговора Anthropic объявила, что заблокировала несколько попыток учёных со злым умыслом получить у её ИИ помощь в разработке биологического оружия, точное число попыток WIRED не приводит.

Отдельно Гебру формулирует тезис о привилегии: тот, кто не боится вещей, которые действительно могут его убить, полицейского насилия, наводнений, войны, может позволить себе одержимость «богом-машиной». Она задаётся вопросом, почему столько внимания уделяется идее, о которой говорят с 1940, 1950-х годов, и рассказывает про свою игру: она зачитывает людям собранные в ходе исследований цитаты об искусственном интеллекте и просит угадать, в каком десятилетии они прозвучали, люди часто ошибаются, потому что все подобные высказывания звучат одинаково.

Ключевые факты

Тимнит Гебру, исследовательница, получившая известность после ухода из Google, куда её наняли в 2018 году и где она готовила отклонённую компанией статью о рисках больших языковых моделей (позже известную как работа про «стохастических попугаев», 2021), в интервью WIRED говорит, что разговоры о вымирании человечества от ИИ, по её мнению, отвлекают от реальных проблем индустрии.
Реальными угрозами Гебру называет применение ИИ в автономном оружии и «машинах-убийцах», уже используемых в боевых действиях, климатическую нагрузку от инфраструктуры ИИ-компаний и увольнения работников под предлогом внедрения ИИ.
Поводом для интервью стали два события одной недели: спор о том, не использовала ли OpenAI тайно чужие наработки, чтобы первой решить открытую математическую задачу с призом $1 млн, и публичный уход исследователя Anthropic (ранее работавшего в OpenAI), не согласного с тем, как обе компании относятся к безопасности ИИ; другой сотрудник Anthropic говорит, что коллеги «искренне верят» в этот риск, и лично оценивает его вероятность в ближайшее десятилетие выше 10%.
По словам Гебру, если бы результат OpenAI проверило математическое сообщество (значимость, новизна, чей именно вклад) и все дождались, пока «уляжется пыль», было бы понятнее, насколько точно компания описала свой прорыв; она ссылается на документ, который называет «Лейденской декларацией», предупреждающий о рисках использования математики корпорациями в пиар-целях.
Сценарии «ИИ-вымирания» Гебру не берётся описать содержательно: по её словам, они обычно сводятся к тому, что машину попросили оптимизировать какую-то цель и она «решила» убивать ради этого; вместо вопроса «почему ИИ так решил» она предлагает спрашивать, кто спроектировал и выпустил систему без нужных проверок, по аналогии с рухнувшим мостом.

Почему это важно

Материал фиксирует конкретный момент публичного раскола в дискуссии об ИИ-рисках: на протяжении одной недели совпали спор о научной честности OpenAI при решении математической задачи с призом $1 млн и публичный уход исследователя Anthropic, обеспокоенного тем, как в обеих компаниях относятся к безопасности, а другой сотрудник Anthropic оценил вероятность того, что ИИ убьёт всех людей в течение десятилетия, выше 10%. Мнение Тимнит Гебру, не рядовой комментарий: она получила известность именно после конфликта с Google вокруг статьи о рисках больших языковых моделей и с тех пор системно выступает против рамки «ИИ может уничтожить человечество», предлагая взамен смотреть на текущий, уже происходящий вред, от автономного оружия до увольнений. Её позиция важна как контраргумент растущему потоку публичных заявлений сотрудников лабораторий о риске вымирания, потому что смещает вопрос с гипотетического будущего на проверяемые вещи, происходящие уже сейчас.

Кому это важно

В первую очередь, тем, кто формирует политику и регулирование ИИ: Гебру прямо говорит, что политики рискуют ориентироваться на пресс-релизы компаний, а не на профессиональную экспертизу, и приводит скорость реакции законодателей (для иллюстрации, на примере Берни Сандерса) как тревожный симптом. Важно это и журналистам, освещающим ИИ, сам материал является частью такого освещения и явно подан как мнение и интервью, а не как репортаж с проверенными фактами. Значимо это для сотрудников самих ИИ-лабораторий и для тех, кто следит за конкурентной гонкой ИИ-компаний перед их ожидаемыми IPO (первичными размещениями акций): Гебру связывает нынешнюю нехватку сотрудничества между исследователями именно с этой гонкой. Наконец, это касается работников за пределами ИИ-индустрии, которых, по словам Гебру, увольняют под предлогом внедрения ИИ, и людей, обеспокоенных применением автономного оружия и климатическими последствиями работы дата-центров.

Как это применить

У материала нет продукта или тарифа, но из него можно вынести два практических правила от Гебру для оценки будущих заявлений об ИИ. Первое, про «прорывы»: не принимать сообщение компании о выдающемся результате на веру, пока его по существу не проверило профессиональное сообщество (значимость, новизна, кто реально внёс вклад); именно отсутствие такой проверки, по её словам, и оставило открытым спор вокруг математической задачи с призом $1 млн. Второе, про случаи, когда ИИ-система делает что-то опасное или неожиданное: задавать вопрос не «почему ИИ так решил», а кто спроектировал и выпустил систему без нужных проверок, по аналогии с рухнувшим мостом, у которого расследуют не «мотивы», а строителя и соблюдение норм. Тем, кто хочет разобраться в первоисточниках спора вокруг математической задачи или в деталях ухода сотрудника Anthropic, стоит читать материалы об этих событиях отдельно: сама Гебру ссылается на них как на фон, не разбирая по существу.

Можно ли доверять

Сам материал, не новостная заметка, а Q&A-интервью Лорен Гуд с Тимнит Гебру, часть рассылки WIRED Backchannel (её ведут Стивен Леви и Лорен Гуд); большая часть текста, прямая речь и личные оценки Гебру, явно поданные как её точка зрения, а не как факты, установленные редакцией. Ключевые фоновые события сама WIRED описывает осторожно: связь OpenAI с чужими наработками при решении математической задачи подана как открытый вопрос («whether»), а не доказанный факт; оценка «более 10%» вероятности вымирания человечества, личное мнение одного неназванного технического сотрудника Anthropic, а не позиция компании; ни этот сотрудник, ни уволившийся исследователь по имени не названы. Число заблокированных Anthropic попыток создания биооружия WIRED тоже не приводит, только «несколько». Рассказ про Лейденскую декларацию и историю с Google, личный пересказ Гебру своего опыта, и издание не даёт независимого подтверждения деталей, включая точную причину, по которой она задержалась в Google «недолго» после отклонения статьи.

Риски и подводные камни

Главный риск, за пределами самого текста: обсуждение вымирания человечества от ИИ и обсуждение реального вреда (автономное оружие, климат, увольнения) конкурируют за одно и то же внимание регуляторов и медиа, и Гебру прямо говорит, что переток внимания в сторону гипотетического вымирания, не случайность, а, по её мнению, выгодная лабораториям подмена. Внутри самого сюжета она называет и содержательные риски: применение ИИ в автономном оружии и «машинах-убийцах», уже задействованных в боевых действиях; климатическую нагрузку от инфраструктуры, которую строят ИИ-компании; то, что люди получают возможность создавать и применять химическое оружие, а также, по отдельной ремарке WIRED, попытки учёных получить от ИИ помощь в разработке биологического оружия, которые, по словам Anthropic, компания заблокировала. Есть и обратный риск для читателя: сама Гебру признаёт, что не может убедительно описать механизм «ИИ-вымирания», и оценивает такие сценарии со скепсисом («не могу это представить»), то есть материал не закрывает дискуссию однозначно в чью-то пользу, а фиксирует открытый спор, обе стороны которого на момент публикации не располагают независимо проверенными доказательствами.

«Может ли мост сам решить рухнуть?»

— Тимнит Гебру, из своей книги, о том, почему не стоит искать «мотив» в сбое ИИ-системы