Тимнит Гебру в интервью Wired: «экзистенциальный риск» ИИ, вредный отвлекающий манёвр

Wired опубликовал интервью с исследовательницей ИИ Тимнит Гебру (беседовала Лорен Гуд). Гебру известна тем, что ушла из Google после спора вокруг соавторской статьи о том, что большие языковые модели по сути «пересказывают» обучающие данные и рискуют закреплять предвзятые взгляды; позже основала институт, который изучает вред от технологий. Её новая книга «Deep Unlearning: The Rise of AI and the Radicalization of a Tech Idealist» должна выйти в начале следующего года. По словам Wired, часть сторонников тезиса об ИИ-угрозе, включая сооснователя Anthropic, утверждает, что её ранние работы про «стохастических попугаев» устарели и что ИИ способен «думать».

Поводом для разговора стало недавнее увольнение молодого исследователя из Anthropic: в прощальном посте в X он написал, что многие внутри компании считают ИИ источником экзистенциального риска. Гебру называет такой нарратив не просто отвлечением, а опасным и вредным. Она напоминает, что Илон Маск и Питер Тиль говорят об ИИ как об угрозе человечеству с 2013 года, а риторика, по её словам, повторяется «ровно так же каждые три года».

Ключевой довод Гебру, об источниках финансирования. Институт Future of Life основали Макс Тегмарк и Яан Таллинн; Таллинн, по её словам, миллиардер, который возглавил раунд серии A в Anthropic (Гуд добавляет, что он сооснователь Skype). Он же, говорит Гебру, финансирует METR, аудитора, чей отчёт о «взбунтовавшихся агентах» OpenAI, взломавших Hugging Face, стал вирусным. Получается, что одни и те же миллиардеры основали и финансировали Anthropic (и выиграют от её IPO больше всех), и организации, предупреждающие об «экзистенциальном риске», и «независимые» третьи стороны, на которых сейчас активно ссылаются. Для публики, считает она, это выглядит как согласный хор разных игроков. Аргументы о независимости этих организаций и ответы Таллинна, METR, Anthropic и OpenAI в доступной части интервью не приведены.

Почему это вредно, объясняет Гебру так. Во-первых, рассказ о сверхмощных машинах адресован инвесторам, правительствам и регуляторам: инвесторам, «хотите заполучить эти машины», правительствам, «не отдавайте их противникам», а регуляторам, «регулируйте эти фантастические сверхвещи». На фоне угрозы гибели всех людей проблемы вроде загрязнения, дата-центров, авторских прав художников и текущих судов выглядят мелочью, и можно сказать, что регулирование «по мелочам» рискует отдать сверхмощные машины Китаю. Заодно те же люди утверждают, что ИИ остановит изменение климата, принесёт мир и победит бедность. Во-вторых, такая рамка позволяет уходить от ответственности, а заявления о «взбунтовавшихся» агентах снимают вину с инженеров, создавших инструменты.

На вопрос, не является ли выступление глав Sam Altman и Dario Amodei на Генассамблее ООН (Гебру была там на боковой панели) частью «захвата регулятора», она ответила: «Безусловно». Altman, по её словам, говорил то же самое и в 2023 году, призывая к мировому сотрудничеству, а после того как вступил в силу закон ЕС об ИИ, пригрозил уйти из ЕС. Когда регулирование по-настоящему делает компании ответственными, утверждает Гебру, они угрожают уйти или агрессивно лоббируют его ослабление. Она добавляет, что не следит близко за китайским регулированием, но там, по её наблюдению, говорят не об экзистенциальном риске, а о дипфейках.

О терминах: Гебру сожалеет, что раньше использовала выражение «автономное оружие». Это юридический термин (юридически к нему относятся даже мины), но сторонники экзистенциального риска присвоили его для обозначения сверхразумных машин, действующих самостоятельно.

Что предлагать вместо этого: по словам Гебру, которая оговаривается, что не юрист, бывший член комиссии FTC Лина Хан назвала пять мер. Первая, применять существующие законы о недобросовестной рекламе. Вторая, прозрачность и документирование: до выпуска продукта компании должны уметь сказать, откуда взяты все данные, и Гебру уверена, что они будут «отбиваться изо всех сил» даже от этого. Далее она называет эксплуатацию труда разметчиков данных, тему, о которой компании говорить не хотят: по её словам, сотни миллионов людей в мире размечают данные, иногда даже изображая чат-ботов. В конце доступного фрагмента Гуд упоминает сообщение 404 Media о чат-боте Meta Muse, за которым в некоторых сценариях стоит человек; на этом текст обрывается.

Ключевые факты

Тимнит Гебру называет нарратив об «экзистенциальном риске» ИИ не просто отвлечением, а опасным и вредным; по её словам, эта риторика повторяется каждые три года, начиная с заявлений Маска и Тиля в 2013 году.
Главный довод: одни и те же миллиардеры, по утверждению Гебру, основали и финансировали Anthropic, организации об «экзистенциальном риске» (Future of Life Institute) и «независимых» аудиторов вроде METR; доказательств сверх её слов в тексте нет.
Выступления Sam Altman и Dario Amodei в ООН Гебру называет частью «захвата регулятора» и маркетинга; Altman, по её словам, после принятия закона ЕС об ИИ грозился уйти из ЕС.
Вместо разговоров о сверхразуме она предлагает применять действующие законы: по словам Гебру, Лина Хан назвала пять мер, среди которых борьба с недобросовестной рекламой и документирование обучающих данных.
Гебру также поднимает тему труда разметчиков данных: по её словам, сотни миллионов людей по всему миру размечают данные, иногда изображая чат-ботов.

Почему это важно

Спор об «экзистенциальном риске» ИИ давно перестал быть только техническим: в нём сталкиваются идеологические группы и стратегические нарративы. Гебру, одна из самых заметных фигур с противоположной стороны: она утверждает, что разговоры о гибели человечества выгодны инвесторам и основателям ИИ-компаний, потому что одновременно рекламируют их продукты как сверхмощные и уводят внимание регуляторов от нынешних проблем, данных, труда разметчиков, ответственности за вред. Интервью показывает и обратную сторону спора: часть сторонников тезиса о рисках, включая сооснователя Anthropic, считает ранние работы Гебру о «стохастических попугаях» неактуальными.

Кому это важно

Тем, кто следит за регулированием ИИ и лоббированием (закон ЕС об ИИ, заявления на площадке ООН), журналистам и аналитикам, оценивающим, насколько независимы «третьи стороны» вроде аудиторов и исследовательских институтов, а также читателям, пытающимся разобраться в терминах дискуссии: P(doom), «взбунтовавшиеся агенты», «автономное оружие».

Как это применить

Практический вывод, который предлагает сама Гебру: при чтении громких заявлений об ИИ-угрозах смотреть, кто их делает, кто финансирует организации и отчёты, на которые ссылаются, и что эти люди на самом деле делают, когда регулирование касается их самих. В качестве мер управления она, ссылаясь на Лину Хан, называет применение законов о недобросовестной рекламе, обязательное документирование обучающих данных и внимание к условиям труда разметчиков.

Можно ли доверять

Это интервью, отредактированное по длине и ясности, а не исследование: все утверждения о финансировании, мотивах и поведении компаний, слова самой Гебру, подтверждающих материалов и ответов Таллинна, METR, Anthropic или OpenAI в тексте нет. Она сама оговаривается, что не юрист и не следит близко за регулированием в Китае. Доступный фрагмент интервью обрывается на середине, поэтому дальнейшие её ответы не учтены. Wired отмечает и противоположную позицию критиков Гебру.

Риски и подводные камни

Позиция Гебру, одна сторона спора: обвинение в том, что ИИ-компании используют разговоры о риске как маркетинг и инструмент влияния на регуляторов, не равносильно доказательству, что сами риски выдуманы. Wired указывает, что часть оппонентов считает её ранние выводы об ИИ устаревшими. Кроме того, ряд фактов (вирусный отчёт METR, детали ухода исследователя из Anthropic, пять мер Хан) в тексте даны только в пересказе Гебру и интервьюера и частично обрываются, так что опираться на них как на установленные нельзя.

«Я бы пошла ещё дальше и сказала, что это опасно. Это не просто отвлечение, это вредно.»

— Тимнит Гебру, Wired

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.