Калифорния решила ввести «аварийный выключатель» для ИИ-моделей
Губернатор Калифорнии Гэвин Ньюсом (демократ) в пятницу подписал указ, направленный на то, чтобы штат взял на себя лидерство в надзоре за искусственным интеллектом, пока федеральный уровень бездействует. Указ поручает властям штата в течение двух месяцев созвать группу экспертов, которая подготовит рекомендации по ужесточению норм безопасности ИИ в законодательстве Калифорнии.
Ньюсом хочет, чтобы группа рассмотрела несколько конкретных мер: обязать ИИ-компании размещать у себя независимые группы верификации для регулярных проверок; подчинить их отчёты о прозрачности и оценки рисков стандартам независимых аудиторов; создать «аварийный выключатель» («kill switch»), эффективность которого регулярно бы проверялась; и обязать компании сообщать об «инцидентах потери контроля», таких, как названная в указе атака OpenAI на Hugging Face, как о критических инцидентах безопасности. Отдельно указ поручает профильному агентству штата ускорить внедрение двух уже подписанных Ньюсомом законов: один создаёт систему независимых верификаторов для оценки безопасности ИИ, другой, государственный реестр таких аудиторов.
Поводом для активности на уровне штатов стала волна обсуждений законопроектов в Конгрессе после того, как бывший исследователь Anthropic Джейкоб Коксон опубликовал пост с предупреждением: по его оценке, вероятность того, что ИИ «сможет убить всё человечество» в течение ближайшего десятилетия, превышает 10%. Однако шансов на закон в Вашингтоне в обозримом будущем немного: Палата представителей на каникулах до ноября, а приближающиеся промежуточные выборы делают заметное движение по этой теме в Сенате маловероятным. На этом фоне президент Дональд Трамп заявил, что единственный контроль или «ограничители», нужные ИИ, это «сильный и умный (с высоким IQ!) президент», который у США уже есть.
Ньюсом дал понять, что подписанным указом дело не ограничится: в среду, в интервью Politico, он допустил созыв специальной законодательной сессии Калифорнии по ИИ в дополнение к уже принятым исполнительным мерам. Он прямо предлагает калифорнийский подход как модель для федерального регулирования, призывая Конгресс и Трампа «изучить и принять систему штата, или использовать его передовое регулирование как пол, а не потолок, ради блага и безопасности всех американцев». «Явный провал федерального правительства в создании хоть какого-то значимого надзора за ИИ или подотчётности должен тревожить каждого американца, тем более когда сами руководители ИИ-компаний просят о регулировании, заявил Ньюсом., Мы не ждём, мы ускоряем работу над содержательным и ответственным надзором за ИИ, пока не стало слишком поздно. Мы делаем это вдумчиво, но с безотлагательной скоростью: ставки слишком высоки, чтобы медлить».
Ключевые факты
- Ньюсом подписал указ: власти Калифорнии за два месяца должны созвать группу экспертов и подготовить рекомендации по ужесточению закона штата об ИИ-безопасности
- Среди мер, которые должна рассмотреть группа: обязательные независимые аудиторы на площадках ИИ-компаний, проверяемый «аварийный выключатель» для передовых моделей и обязательная отчётность об «инцидентах потери контроля» вроде атаки OpenAI на Hugging Face
- Указ также ускоряет запуск двух уже подписанных законов Калифорнии, о независимых верификаторах безопасности ИИ и о государственном реестре ИИ-аудиторов
- Поводом стал пост экс-исследователя Anthropic Джейкоба Коксона: по его оценке, вероятность того, что ИИ убьёт всё человечество в ближайшее десятилетие, превышает 10%; в Конгрессе от этого оживились споры о законопроектах, но принять что-либо до промежуточных выборов маловероятно
- Ньюсом прямо предлагает Конгрессу и Трампу принять калифорнийский подход как минимальный федеральный стандарт, а не как потолок регулирования
Почему это важно
Пока Конгресс не может сдвинуться с места, Палата на каникулах до ноября, а промежуточные выборы блокируют движение в Сенате, Калифорния через указ губернатора пытается де-факто установить национальную повестку по безопасности ИИ. Ньюсом прямо называет свой указ образцом для федерального закона и предлагает Вашингтону принять калифорнийскую систему как минимум, а не потолок регулирования. Толчком послужил резонансный пост бывшего исследователя Anthropic Джейкоба Коксона о риске существования человечества от ИИ, который заново оживил разговор о регулировании в Конгрессе, но не привёл к реальному законодательному движению.
Кому это важно
В первую очередь, компаниям, которые разрабатывают передовые ИИ-модели и рискуют попасть под требования об онсайт-аудитах, проверяемом «аварийном выключателе» и обязательной отчётности об инцидентах потери контроля. Также это важно федеральным законодателям и другим штатам: Калифорния демонстрирует альтернативный путь регулирования ИИ, пока Вашингтон бездействует, и её нормы традиционно становятся ориентиром для остальных штатов. Наконец, это касается сторонников и исследователей ИИ-безопасности, чьи требования (независимая верификация, реестр аудиторов) указ прямо закладывает в повестку штата.
Как это применить
Пока указ не вводит новых обязательных норм напрямую, он запускает процесс: созданная в течение двух месяцев экспертная группа должна выдать рекомендации, которые лягут в основу будущих законопроектов штата. Одновременно указ поручает профильному агентству Калифорнии ускорить запуск двух уже подписанных законов, о независимых верификаторах безопасности ИИ и о государственном реестре таких аудиторов; для компаний, работающих с передовыми моделями в Калифорнии, это сигнал заранее готовиться к возможным требованиям об онсайт-проверках, верифицируемом «аварийном выключателе» и обязательной отчётности о критических инцидентах.
Можно ли доверять
Указ подписан реально действующим губернатором штата и цитируется по официальному заявлению Ньюсома, так что сам факт инициативы сомнений не вызывает. Но это пока стадия поручения и сбора рекомендаций, а не принятый закон: конкретные требования (состав аудиторов, формат «аварийного выключателя», критерии «инцидента потери контроля») группе экспертов только предстоит сформулировать за два месяца, и удастся ли перевести их в законодательство штата, открытый вопрос.
Риски и подводные камни
Главный риск, политический: администрация Трампа открыто не считает федеральное регулирование ИИ нужным («guardrails» ИИ не требуются, если у страны есть «сильный и умный президент»), а значит калифорнийская инициатива рискует остаться региональной, без перехода на федеральный уровень. Есть и риск фрагментации: если каждый штат пойдёт своим путём регулирования ИИ, компании столкнутся с разным набором требований по стране. Наконец, сами формулировки указа пока рамочные, что именно будет считаться «инцидентом потери контроля» или насколько строгим станет «аварийный выключатель», зависит от рекомендаций экспертной группы, которых ещё нет.
«Явный провал федерального правительства в создании хоть какого-то значимого надзора за ИИ или подотчётности должен тревожить каждого американца, тем более когда сами руководители ИИ-компаний просят о регулировании.»
— Гэвин Ньюсом, губернатор Калифорнии