Wired: соглашение по безопасности ИИ оставляет контроль самим лабораториям

Материал, авторская колонка из рассылки Model Behavior издания Wired, то есть мнение, а не репортаж. Начинается она с истории про ремни безопасности. В 1966 году на шоссе США погибли почти 51 000 человек. Доказательства говорили, что многих жизней можно было бы спасти ремнями, которые к тому времени существовали уже несколько лет. Автомобильная отрасль, пишет автор с иронией, не объединилась и не поставила ремни добровольно. Осенью 1966 года Конгресс создал Министерство транспорта и принял Закон о безопасности дорожного движения и автотранспорта (National Traffic and Motor Vehicle Safety Act) и Закон о безопасности на автомагистралях (Highway Safety Act). Они дали федеральному правительству широкие полномочия устанавливать стандарты безопасности. К 1968 году ремни стали обязательными в каждом новом автомобиле. За последние 60 лет трафик вырос многократно, а погибших на дорогах стало заметно меньше.

О чём это напомнило автору: во вторник автор наблюдал, как руководители ИИ-компаний собрались вокруг президента США Дональда Трампа и поздравляли друг друга с подписанием соглашения по безопасности ИИ. Конкретные условия соглашения описала коллега автора Мэдди Варнер в отдельном материале. Коротко, по словам автора колонки, всё сводится к тому, что лаборатории должны сами держать себя в рамках. В среду в Овальном кабинете Трамп выразился ещё короче: «Они будут следить за порядком, и будут следить друг за другом, и будут сами себя контролировать, они будут следить за собой. Всё сложится очень хорошо».

По описанию автора, сейчас картина такая. С одной стороны, руководители и сотрудники ИИ-компаний и известные люди из технологической отрасли, которые говорят, что нужны чёткие, продуманные и практичные правила, чтобы избежать возможной катастрофы. В пример приведён Билл Гейтс, который выступает с серией медиа-выступлений об ИИ-апокалипсисе. С другой стороны, «магическое мышление» Трампа: если повторять что-то достаточно часто, оно станет правдой.

Автор признаёт, что всё непросто. Вопрос о том, как правильно «держать темп на переднем крае» (pace the frontier, так, по словам автора, любят говорить некоторые из тех же руководителей), остаётся открытым. Даже если бы все крупные лаборатории согласились замедлиться, нет хорошего способа заставить их держать слово, а Китай, вероятно, всё равно пошёл бы своим путём. Экономика США всё больше опирается на ИИ-отрасль, которая сама превратилась в клубок сделок по финансированию и круговых инвестиций, поэтому любое серьёзное ужесточение рискует вызвать нестабильность далеко за пределами Кремниевой долины. Аналогия с автомобильной отраслью тоже несовершенна: у ИИ нет аналога ремня безопасности, то есть простого решения, которое заметно снижает риск за ночь. (К тому же большинству штатов потребовались десятилетия, чтобы принять законы, обязывающие людей пристёгиваться.) Возможный вред менее определён и хуже поддаётся измерению: сторонники апокалиптических сценариев говорят, что технология может привести к вымиранию человечества за десять лет, скептики называют это научно-фантастическим маркетинговым вздором.

Как пример для тех, кто хочет прикинуть собственную вероятность катастрофы, автор называет недавний репортаж CNN: американские военные якобы едва не досмотрели китайское судно отчасти из-за ложного отчёта, сформированного ИИ, о перевозке ядерных материалов. Что соглашение делает, чтобы такое не повторялось, по словам автора, неясно.

Главный довод: ответ «посмотрим, что получится» заведомо неверен, а именно его поощряет самоконтроль. Автор отдаёт OpenAI должное: компания задерживала и даже отменяла выпуск самых продвинутых моделей из-за соображений безопасности. Но, пишет автор, это случилось не раньше, чем модели провели серию масштабных взломов, подробности о которых продолжают появляться. В интервью TIME, опубликованном в четверг, Трамп предположил, что Министерства юстиции и ФБР достаточно в качестве «ограждений» (guardrails) для ИИ-отрасли. Автор сомневается: далеко не ясно, можно ли вообще привлечь ИИ-компании к юридической ответственности, когда их модели выходят из-под контроля, а ИИ-агентам повестки не выписывают.

Итог колонки: сейчас никто не знает, как решить задачу безопасности ИИ. Для создания и применения подходящей рамки нужны огромная координация, ресурсы и регулирующие полномочия, а это ровно то, что должны обеспечивать правительства. Вместо этого, считает автор, администрация Трампа уходит с дороги и призывает всех жать на газ. Финальная фраза: «Не стоит пристёгиваться».

Ключевые факты

• Колонка в рассылке Model Behavior издания Wired: подписанное при участии Дональда Трампа соглашение по безопасности ИИ, по словам автора, в основном оставляет лаборатории самим себе.
• Историческая параллель: в 1966 году на дорогах США погибли почти 51 000 человек; осенью того же года Конгресс создал Министерство транспорта и дал федеральной власти полномочия по стандартам, а к 1968 году ремни стали обязательными в каждом новом автомобиле.
• Трамп в Овальном кабинете в среду: лаборатории «будут следить друг за другом» и «сами себя контролировать»; в интервью TIME он назвал Министерство юстиции и ФБР достаточными «ограждениями».
• Автор признаёт ограничения аналогии: у ИИ нет аналога ремня безопасности, риски менее определены, а замедление лабораторий трудно обеспечить, тем более что Китай, вероятно, продолжил бы своим путём.
• Вывод автора: решить задачу безопасности ИИ сейчас не умеет никто, а необходимую координацию, ресурсы и регулирующие полномочия должны обеспечивать правительства.

Почему это важно

Колонка показывает один из аргументов в споре о том, кто должен отвечать за безопасность ИИ: сами компании или государство. Автор противопоставляет историю ремней безопасности, где проблему решили федеральные законы, и нынешнее соглашение по ИИ, где, по оценке автора, основная ответственность лежит на лабораториях. Автор подчёркивает, что и часть представителей ИИ-отрасли заявляет о необходимости чётких правил, а позиция Трампа, по словам автора, сводится к уверенности, что всё «сложится очень хорошо».

Кому это важно

Тем, кто следит за регулированием ИИ в США и спорами вокруг него: аналитикам, юристам, сотрудникам ИИ-компаний и читателям, которым интересно, как власти подходят к рискам технологии. Колонка полезна как пример позиции в дискуссии, но не как справка об условиях соглашения: их источник не пересказывает и отсылает к отдельному материалу коллеги автора Мэдди Варнер.

Как это применить

Практических инструкций в материале нет. Читать его стоит как аргумент: исторический пример (1966, 1968 годы) и список трудностей, которые автор сам называет, чтобы оценивать любые будущие предложения по регулированию. Конкретного законопроекта или нормы для ИИ автор не предлагает, автор лишь говорит о нужде в координации, ресурсах и регулирующих полномочиях государства.

Можно ли доверять

Это мнение, а не новостной репортаж. Автор в тексте не назван: это выпуск рассылки Model Behavior. Оценки вроде «магическое мышление» и «самоконтроль», суждения автора. В источнике не названы подписавшие соглашение руководители компаний и не приведены его условия. Отчёт CNN об инциденте с китайским судном автор пересказывает с оговоркой «якобы», а связь этого эпизода с соглашением не устанавливается. Детали о задержанных или отменённых моделях OpenAI и об их «взломах» тоже не раскрываются.

Риски и подводные камни

Историческая аналогия с автомобильной отраслью, как признаёт сам автор, несовершенна: у ИИ нет простого решения вроде ремня, вред менее определён и хуже измерим, а принятие законов об использовании ремней заняло у большинства штатов десятилетия. Автор отмечает и встречные трудности: слово лабораторий трудно проверять, Китай, вероятно, продолжил бы развитие независимо, а экономика США всё больше зависит от ИИ-отрасли, поэтому жёсткие меры рискуют вызвать нестабильность за пределами Кремниевой долины. Прогнозы о вымирании человечества за десять лет скептики называют маркетинговым вздором, и колонка не берётся их оценивать.

«Они будут следить за порядком, и будут следить друг за другом, и будут сами себя контролировать, они будут следить за собой. Всё сложится очень хорошо.»

— Дональд Трамп, Овальный кабинет, в среду (в пересказе колонки Wired)