OpenAI: США должны возглавить разработку мировых стандартов безопасности ИИ

OpenAI выпустила программный блог-пост о том, как компания видит следующий этап развития ИИ. Отправная точка, три цели миссии, которые недавно обозначили Сэм Альтман и Якуб Пахоцкий: провести отрасль через нынешний период прогресса, построив автоматизированного ИИ-исследователя и одновременно работая над проблемой согласования (alignment) так, чтобы люди оставались частью цикла самоулучшения; довести до людей выгоды научного и экономического роста, которые дают мощные ИИ-системы; и дать каждому человеку личный доступ к возможностям AGI. По утверждению OpenAI, ИИ уже ускоряет собственные исследования компании, в частности, ИИ-исследования привели к продвижению в математике, включая проблему тысячелетия Навье, Стокса.

Центральная тема поста, рекурсивное самоулучшение (RSI): по мере того как ИИ-системы берут на себя всё больше работы по разработке следующих поколений ИИ, процесс может становиться всё более автоматизированным даже при сохранении участия людей. OpenAI прямо заявляет, что полностью автономного RSI сегодня не происходит и к нему не следует стремиться, пока не будет доказано, что это можно делать безопасно: без должной осторожности RSI может привести к тому, что люди практически потеряют контроль над разработкой ИИ и не смогут наблюдать за процессами, которые сами перестанут понимать. В качестве предупреждающего примера компания напоминает про уже раскрытый ею ранее "инцидент с Hugging Face", по формулировке OpenAI, он не был прямым результатом RSI, но показал, к каким рискам может привести ослабление защитных мер (в чём именно состоял инцидент, в тексте не раскрывается).

OpenAI формулирует три проблемы, которые, по её мнению, решаются только на международном уровне: фрагментация (разные страны по-разному определяют оценки, требования к отчётности и инциденты, из-за чего сложнее сравнивать данные и реагировать на трансграничные риски); проблема коллективного действия (каждая страна, действуя в одиночку, может прийти к результату, которого не хочет никто, а RSI способно ускорить ИИ-исследования быстрее, чем мир успеет их осмыслить); и неравномерность экспертизы (передовые разработки и связанные с ними компетенции распределены по миру неравномерно). При этом OpenAI подчёркивает: предлагаемые технические стандарты не станут ни лицензиями, ни обязательным предварительным ревью, ни требованием получать разрешение на выпуск моделей, решать, включать ли их в национальное законодательство и как именно, будут сами правительства.

Конкретный механизм, который предлагает OpenAI, опереться на уже существующую сеть национальных институтов ИИ-безопасности (такие уже созданы в Австралии, Канаде, Германии, Франции, Кении, Японии, Корее, Сингапуре, Индии и Великобритании) и вести выработку стандартов через Центр стандартов и инноваций в ИИ (CAISI) и национальные отраслевые органы. США, по мысли OpenAI, могут опереться на созданную CAISI в 2024 году Международную сеть по измерению, оценке и науке о передовом ИИ. Компания перечисляет области будущих стандартов: оценка того, какая доля исследований внутри ИИ-компании выполняется автономно и насколько это приближает RSI (здесь OpenAI ссылается на собственный отчёт об ускорении исследований как на первый вклад); человеческий надзор, какие именно автоматизированные процессы должны обязательно запускать проверку человеком; и единая классификация, отслеживание и порядок реагирования на инциденты, связанные с согласованием и автоматизированными ИИ-исследованиями (здесь компания ссылается на собственную систему отчётности о случаях рассогласования как на ранний вклад в такой стандарт).

Отдельно OpenAI призывает операторов критической инфраструктуры и правительства по всему миру создать защищённые каналы связи для обмена сведениями о рисках нацбезопасности, новых уязвимостях и практиках в сфере ИИ-безопасности. Диалог между США и Китаем по этим темам компания называет позитивным шагом и утверждает, что предстоящие переговоры проходят в подходящий момент, при этом ни дата, ни формат переговоров в тексте не уточняются.

Ключевые факты

OpenAI призывает США возглавить создание международных технических стандартов для передового ИИ, включая правила для рекурсивного самоулучшения (RSI)
Компания заявляет: полностью автономного RSI сегодня не происходит, и к нему не стоит стремиться, пока это нельзя делать безопасно
Предлагаемые стандарты, не лицензии и не обязательное разрешение на выпуск моделей; решение об их встраивании в закон остаётся за национальными правительствами
Механизм опирается на существующую сеть национальных институтов ИИ-безопасности (в т.ч. Австралия, Канада, Германия, Франция, Кения, Япония, Корея, Сингапур, Индия, Великобритания) и Центр стандартов и инноваций в ИИ (CAISI)
OpenAI называет позитивным шагом предстоящий диалог между США и Китаем по этим вопросам, не раскрывая деталей

Почему это важно

OpenAI описывает рекурсивное самоулучшение (RSI), процесс, в котором ИИ-системы всё активнее участвуют в разработке своих следующих поколений, как фактор, способный резко ускорить темп прогресса ИИ. Компания прямо признаёт: без согласованных правил и опережающих исследований по alignment это может закончиться тем, что люди утратят практический контроль над разработкой ИИ. Пост подаёт международные стандарты как способ не столько замедлить прогресс, сколько не дать ему обогнать возможность людей его понимать и направлять.

Кому это важно

В первую очередь, правительствам и национальным институтам ИИ-безопасности стран, которые OpenAI перечисляет как потенциальных участников будущей сети стандартов (Австралия, Канада, Германия, Франция, Кения, Япония, Корея, Сингапур, Индия, Великобритания), а также CAISI в США. Во вторую, другим ИИ-лабораториям, включая разработчиков открытых моделей, операторам критической инфраструктуры и таким организациям, как ISO, Frontier Model Forum, Agentic AI Foundation и Open Secure AI Alliance, которых OpenAI называет естественными партнёрами по выработке общих правил.

Как это применить

OpenAI описывает это не как продукт, а как политическую инициативу: она предлагает конкретные области для будущих стандартов, измерение доли автономных ИИ-исследований и близости к RSI, критерии, при которых автоматизированный процесс должен обязательно проходить проверку человеком, и единую классификацию инцидентов, связанных с согласованием ИИ. В качестве заготовок компания называет свои собственные документы: отчёт об ускорении исследований и систему отчётности о случаях рассогласования, по её словам, это ранние наработки, на которые может опереться будущий международный стандарт.

Можно ли доверять

Это собственный программный пост OpenAI, а не независимое исследование или решение регулятора, компания формулирует свою позицию и интерес в дискуссии о правилах для передового ИИ, в том числе оговаривая, что стандарты не должны создавать преимущества для конкретных компаний. Источник не раскрывает, в чём состоял упомянутый "инцидент с Hugging Face", и не называет ни даты, ни формата предстоящих переговоров США и Китая, эти детали в тексте отсутствуют, а не были опущены при пересказе.

Риски и подводные камни

Сама OpenAI называет главный риск: рекурсивное самоулучшение без должной осторожности и надзора может привести к тому, что люди перестанут понимать и контролировать процессы разработки ИИ. Отдельная оговорка в самом посте, стандарты должны разрабатываться прозрачно и так, чтобы не создавать преимуществ для конкретных компаний, стран или бизнес-моделей и не затруднять конкуренцию новым участникам и разработчикам открытых моделей; иными словами, риск регуляторного захвата (regulatory capture) осознаётся и заявляется самой компанией, а не сторонним критиком.

«Полностью автономное рекурсивное самоулучшение сегодня не происходит, и нам не стоит к нему стремиться, пока не будет доказано, что это можно делать безопасно.»

— OpenAI, из блога компании