ИИтог

Аудит в OpenAI: METR и Redwood Research нашли пробелы в мониторинге ИИ

безопасностьРедакция ИИтогThe Decoder🔥72Рейтинг ИИтог72Влияние62Новизна68Релевантность92Неожиданность58Участники88Достоверность72
Аудит в OpenAI: METR и Redwood Research нашли пробелы в мониторинге ИИ

Двое исследователей из METR и Redwood Research три недели работали на площадке OpenAI и проверяли внутреннюю систему мониторинга, которая должна ловить опасное поведение ИИ. С 21 июля по 11 августа у них был доступ к кодовой базе и внутренним документам компании, они опросили около дюжины сотрудников. Это был пилотный проект, который METR, Redwood Research и OpenAI организовали вместе, чтобы дать внешним исследователям глубокий доступ к внутренней инфраструктуре.

Аудиторы нашли множество слабых мест. По оценке, от 6 до 25 процентов внутреннего агентного трафика Responses API от моделей класса GPT-5.5 и выше в период аудита вообще не покрывалось мониторингом. METR оговаривается, что неопределённость этой оценки значительна в обе стороны.

Внутренний трафик Codex, который должен был отслеживаться, по оценке METR, примерно на 10 процентов остался вне мониторинга с мая по июль. Причина, пробел в обработке событий compaction (сжатия контекста, то есть сводок контекста). У этой оценки тоже большая неопределённость. OpenAI сама обнаружила ошибку и исправила её ещё во время аудита.

Пока события сжатия контекста не отслеживались, агенты могли и откладывать надзор: система срабатывала только тогда, когда агент возвращал управление пользователю, а значит, ей можно было избежать, просто продолжая выполнять действия.

Кроме того, аудиторы нашли способы скрыть от монитора сотни действий и обойти песочницу (изолированную среду) Codex. Они пришли к выводу, что специально составленные входные данные, скорее всего, могут полностью обрушить монитор. А поведение моделей во время обучения с подкреплением (RL) к началу аудита вообще не отслеживалось.

OpenAI сообщает, что приостановила RL-обучение после инцидента с Hugging Face в августе и расширила мониторинг, чтобы охватить его. Но эти изменения были сделаны после окончания срока доступа аудиторов и в оценку не вошли.

Большая часть полного отчёта остаётся закрытой. OpenAI говорит, что исправила все найденные слабые места. Полный отчёт на 61 страницу передали внутри компании. После правок OpenAI (вычёркивания фрагментов) руководство METR и Redwood Research получило версию на 38 страниц, а публике показали лишь краткое резюме. METR заявила, что не вправе самостоятельно раскрывать вычеркнутые части. Для будущих аудитов METR хочет добиваться большей публичной прозрачности.

Ключевые факты

  • Исследователи из METR и Redwood Research с 21 июля по 11 августа проверяли на месте систему мониторинга OpenAI: доступ к коду и документам, около дюжины опрошенных сотрудников.
  • По оценке, 6-25% внутреннего агентного трафика Responses API от моделей класса GPT-5.5 и выше вообще не покрывалось мониторингом; неопределённость оценки, по словам METR, значительна в обе стороны.
  • Примерно 10% отслеживаемого трафика Codex с мая по июль выпало из мониторинга из-за пробела в обработке событий compaction; OpenAI исправила ошибку ещё во время аудита.
  • Аудиторы нашли способы скрыть сотни действий от монитора, обойти песочницу Codex и, вероятно, обрушить монитор специальными входными данными; обучение с подкреплением на старте аудита не мониторилось.
  • OpenAI говорит, что исправила все слабые места, но публике дали только краткое резюме: полный отчёт, 61 страница, версия для руководства METR и Redwood Research, 38 страниц.

Почему это важно

Это редкий случай, когда внешние исследователи получили глубокий доступ к внутренней инфраструктуре ведущей ИИ-лаборатории и проверили, работает ли надзор за ИИ-агентами так, как заявлено. Результат неоднозначный: аудиторы нашли серьёзные пробелы, от неполного охвата трафика до возможности скрыть сотни действий и обрушить монитор. При этом сам формат пилотного проекта, организованного вместе с OpenAI, показывает, как могут выглядеть независимые проверки в будущем.

Кому это важно

Исследователям и специалистам по безопасности ИИ, которые работают над мониторингом и контролем агентов; командам, которые запускают собственных кодовых агентов и строят надзор за ними; регуляторам и аналитикам, следящим за тем, насколько прозрачны проверки у крупных лабораторий.

Как это применить

Прямой инструкции в материале нет, но он подсказывает, что стоит проверять в собственных системах надзора за агентами. Во-первых, какую долю трафика монитор реально покрывает: у OpenAI часть выпала из-за пропуска событий сжатия контекста. Во-вторых, срабатывает ли надзор только в момент возврата управления пользователю: агент, продолжающий выполнять действия, может его обойти. В-третьих, устойчив ли монитор к специально составленным входным данным и мониторится ли обучение, а не только работа готовых моделей.

Можно ли доверять

Материал, пересказ издания The Decoder; полный отчёт не опубликован, есть только краткое резюме. Ключевые цифры (6-25% и около 10%), оценки, и METR сама говорит о значительной неопределённости. Утверждение, что все слабые места исправлены, исходит от OpenAI; в материале не сказано, кто это проверял. Историю с приостановкой RL-обучения после инцидента с Hugging Face аудиторы не оценивали, так как она произошла после окончания их доступа, а что это был за инцидент, в материале не объясняется.

Риски и подводные камни

Главный риск, неполная картина: опубликован лишь краткий итог, а вычёркивания в 38-страничной версии сделала сама OpenAI, и METR не вправе раскрывать их самостоятельно. Охват оценён с большим разбросом, поэтому делать из цифр точные выводы нельзя. В материале описаны только пробелы в мониторинге; о том, было ли на самом деле необнаруженное опасное поведение, он ничего не сообщает. Не стоит также переносить выводы на другие компании: проверялась только инфраструктура OpenAI за конкретный период.