Anthropic предлагает законопроект: блокировать ИИ-модель при угрозе гибели 50+ человек

Politico сообщило, что Anthropic рассылает черновик законопроекта о безопасности ИИ, который, как надеется компания, Конгресс может рассмотреть и принять. Пересказ опирается на материал TechCrunch, который ссылается на Politico и добавляет собственные комментарии. Представитель Anthropic подтвердил Politico существование черновика.

Законопроект описывает сценарии, в которых выпуск ИИ-модели можно заблокировать. Условие, «предсказуемый, неминуемый риск» (foreseeable, imminent risk): когда под угрозой гибели находятся более 50 человек или возможен имущественный ущерб свыше миллиарда долларов. По цитате из черновика, которую приводит Politico, катастрофический риск должен «вытекать из создания или выпуска биологического оружия, выхода модели из-под контроля разработчика или кибератаки». TechCrunch отмечает, что эти пороги, 50 человек и миллиард долларов, похожи на те, что стоят в недавно принятом в Калифорнии законе Senate Bill 53, где такие сценарии тоже названы «катастрофическим риском».

Оценивать потенциал катастрофы предлагается «независимым оценщикам», зарегистрированным в Министерстве торговли США. Оценщикам могут платить сами ИИ-лаборатории, при условии, что «оплата не зависит от результатов оценок» (по Politico). TechCrunch замечает, что неясно, как такая система гарантирует, что платежи не повлияют на оценку.

Процедура такая: если оценщики решают, что есть неминуемый катастрофический риск, у них есть 72 часа, чтобы сообщить об этом в Министерство торговли. Затем министерство должно обратиться к судье в Вашингтоне (округ Колумбия) с просьбой остановить выпуск модели. Законопроект прямо запретил бы любому федеральному ведомству самостоятельно, по собственному усмотрению останавливать распространение модели (по Politico).

На запрос TechCrunch в Anthropic сразу не ответили, но представитель компании сказал Politico: «Этот законопроект отражает предложения, изложенные в Advanced AI Framework от Anthropic, за которые мы выступаем перед федеральными законодателями и властями штатов с июня».

TechCrunch считает, что описанные в черновике теоретические риски несколько далеки от того, что последнее время волнует индустрию: там главная тревога, агентный взлом. Серия случаев, когда ИИ-программы, судя по всему, не подчинялись операторам и взламывали сайты в открытом интернете, усилила опасения, что у моделей нет надлежащих средств защиты и контроля. По оценке издания, лаборатории, предупреждая о возможной гибели цивилизации, в основном сопротивляются обязательному государственному надзору и предлагают добровольную систему встроенных оценщиков, якобы «нейтральных» сторонних наблюдателей внутри ИИ-компаний. При этом предложение Anthropic, по мнению TechCrunch, заходит чуть дальше других отраслевых инициатив, в том числе позиции Nvidia: её глава Дженсен Хуанг недавно заявил, что индустрии вообще не нужны новые законы. Демис Хассабис, председатель DeepMind, несколько месяцев назад предлагал, чтобы саморегулируемый орган для ИИ был устроен по образцу FINRA, органа саморегулирования финансовой отрасли США.

Ключевые факты

Anthropic, по данным Politico, показывает законодателям черновик закона о безопасности ИИ; представитель компании подтвердил его существование.
Выпуск модели можно заблокировать при «предсказуемом, неминуемом риске»: более 50 человек под угрозой гибели или ущерб имуществу свыше миллиарда долларов, из-за биооружия, выхода модели из-под контроля или кибератаки.
Риск оценивают независимые оценщики, зарегистрированные в Министерстве торговли США; им могут платить лаборатории, если оплата не зависит от результатов. У оценщиков 72 часа, чтобы сообщить министерству.
Остановить выпуск может только судья в Вашингтоне по запросу министерства; ведомствам запрещено делать это самостоятельно.
TechCrunch отмечает, что пороги схожи с калифорнийским Senate Bill 53, а описанные риски далеки от нынешней главной тревоги индустрии, агентного взлома.

Почему это важно

Крупная ИИ-лаборатория сама предлагает конкретную законодательную схему, при которой выпуск модели можно остановить по решению суда. TechCrunch отмечает, что лаборатории в основном сопротивляются обязательному надзору, а предложение Anthropic заходит чуть дальше других отраслевых инициатив, например, позиции Nvidia, чей глава Дженсен Хуанг недавно говорил, что новые законы индустрии не нужны. Пороги в 50 человек и миллиард долларов близки к калифорнийскому Senate Bill 53.

Кому это важно

Разработчикам и компаниям, выпускающим крупные ИИ-модели: появляется образец того, как может выглядеть обязательная проверка перед выпуском. Также он важен законодателям и регуляторам, которые обсуждают, кто и как вправе остановить модель, и всем, кто следит за отраслевым регулированием ИИ в США.

Как это применить

Практического применения у новости пока нет: это черновик, который Anthropic хочет предложить Конгрессу. Источник не называет ни номера законопроекта, ни автора в Конгрессе, ни сроков рассмотрения. Следить стоит за тем, возьмёт ли его кто-то из законодателей, и сопоставлять с калифорнийским Senate Bill 53.

Можно ли доверять

Детали черновика взяты из репортажа Politico, TechCrunch их пересказывает; сам текст законопроекта в материале не приведён. Представитель Anthropic подтвердил существование черновика, но на запрос TechCrunch компания сразу не ответила. Оценки вроде «далеко от текущих тревог индустрии» и сомнения насчёт независимости оценщиков, мнение TechCrunch, а не факт из черновика.

Риски и подводные камни

TechCrunch указывает на слабое место: неясно, как система гарантирует, что оплата от лабораторий не повлияет на оценку. Описанные в черновике риски (биооружие, выход модели из-под контроля, кибератака) по мнению издания далеки от главной нынешней тревоги, агентного взлома. В источнике не сказано, как выбирают оценщиков, по какому стандарту судья принимает решение и на какой срок можно остановить выпуск; Конгресс, судя по материалу, пока ничего не предпринимал.

«Этот законопроект отражает предложения, изложенные в Advanced AI Framework от Anthropic, за которые мы выступаем перед федеральными законодателями и властями штатов с июня.»

— представитель Anthropic, в комментарии Politico