Anthropic дала шести исследователям METR доступ уровня сотрудников для независимой оценки рисков
Anthropic сообщила в блоге в четверг, что даёт доступ уровня сотрудников шести исследователям из METR, некоммерческой организации, которая тестирует передовые модели ИИ. Их задача, независимо оценить модели Anthropic, практики безопасности и управление рисками.
У команды METR выданные Anthropic корпоративные ноутбуки, офисное пространство и доступ к внутренним инструментам примерно на уровне тех, которыми пользуются собственные команды Anthropic по оценке рисков. Сотрудников компании, по её словам, поощряют делиться с ними информацией так же, как с коллегой, работающим над рисками рассогласования (alignment). Сама Anthropic сравнила схему с банковской сферой, где регуляторы размещают постоянных проверяющих внутри крупнейших банков.
METR будет публиковать собственные оценки рисков, инцидентов и практик Anthropic, а компания отказалась от права блокировать эти публикации. Исключение, узкие заранее определённые категории: Anthropic вправе потребовать убрать информацию, например данные клиентов, материалы, защищённые адвокатской тайной, или сведения об архитектурах своих моделей. METR при этом вправе публично описывать такие изъятия и говорить, считает ли она их оправданными, если не раскрывает скрытую информацию.
METR пока единственный оценщик на верхнем уровне трёхуровневой системы, которую выстраивает Anthropic. Оценщики нижнего уровня, например некоммерческая организация SecureBio, занимающаяся биобезопасностью, проводят узкие проверки и должны получать одобрение Anthropic на публикацию. Средний уровень получает больше информации и может публиковаться без одобрения, а верхний добавляет доступ уровня сотрудников, как у METR.
Издание связывает шаг с тем, что с конца августа каждую неделю-две раскрываются инциденты, когда ИИ-агенты действовали вне своих инструкций, и это усилило призывы к независимым проверкам ИИ-компаний. Объявление также выполняет обещание гендиректора Anthropic Дарио Амодеи из сентябрьского эссе, где он предлагал встраивать внешних оценщиков в ИИ-лаборатории как первый шаг к замедлению развития технологии. OpenAI быстро дала такое же обещание, а обе компании вместе с Google, Meta, Nvidia и xAI с тех пор подписали соглашение с Белым домом об обязательстве проходить независимую проверку.
Ключевые факты
- Anthropic даёт доступ уровня сотрудников шести исследователям METR, некоммерческой организации, тестирующей передовые модели ИИ.
- У команды METR корпоративные ноутбуки, офис и внутренние инструменты примерно на уровне собственных команд Anthropic по оценке рисков.
- METR публикует свои оценки сама: Anthropic не может запретить публикацию, но вправе требовать изъять данные из узких заранее определённых категорий (данные клиентов, адвокатская тайна, архитектуры моделей).
- METR пока единственный оценщик на верхнем уровне трёхуровневой системы; на нижнем уровне, например у SecureBio, публикация требует одобрения Anthropic.
- Шаг выполняет обещание Дарио Амодеи из сентябрьского эссе; OpenAI дала такое же обещание, а Anthropic, OpenAI, Google, Meta, Nvidia и xAI подписали соглашение с Белым домом о независимой проверке.
Почему это важно
Обычно внешние оценщики видят лишь то, что компания решила показать. Здесь Anthropic впускает независимую организацию внутрь на условиях, близких к положению сотрудника, и заявляет, что хочет закрыть разрыв между тем, что понимают оценщики, и тем, что понимает сама компания. Ключевое условие, право METR публиковать выводы без разрешения Anthropic. Контекст, который приводит издание: с конца августа об инцидентах, когда ИИ-агенты действовали вне инструкций, сообщают каждую неделю-две, что усилило спрос на независимые проверки.
Кому это важно
Исследователям безопасности и оценщикам моделей: описана трёхуровневая схема, где уровень доступа определяет и право публикации. Другим ИИ-лабораториям и регуляторам: OpenAI уже дала такое же обещание, а шесть компаний подписали соглашение с Белым домом о независимой проверке. Корпоративным пользователям моделей Anthropic: среди категорий, которые компания вправе скрыть, названы данные клиентов.
Как это применить
Практического инструмента для внедрения здесь нет: это решение о процессе контроля. Полезно следить за публикациями METR об Anthropic, именно они покажут, как схема работает на деле и будет ли METR комментировать изъятия информации. Тем, кто выстраивает собственные процессы внешней оценки, может пригодиться сама модель: уровни доступа, привязанные к праву публикации, и узкий закрытый перечень оснований для изъятия данных.
Можно ли доверять
Основа материала, собственная публикация Anthropic в блоге, пересказанная изданием, поэтому условия схемы описаны со слов компании. Реакция METR в тексте не приводится, имена шести исследователей не названы, срок действия соглашения не указан. Независимость на практике, права вето нет, но изъятие допускается, стоит проверять по тому, что METR реально опубликует. Что именно обещала OpenAI, кроме встраивания внешних оценщиков, в источнике не раскрыто.
Риски и подводные камни
Anthropic сохраняет право требовать изъятия информации в заранее определённых категориях, одна из которых, сведения об архитектурах моделей; это может сужать то, что увидит публика. Смягчающее условие: METR вправе публично описывать изъятия и оценивать их обоснованность, не раскрывая сами данные. Кроме того, пока на верхнем уровне единственный оценщик, а на нижнем уровне публикация зависит от одобрения Anthropic. Состав среднего уровня и число оценщиков в нём в источнике не указаны.
«Мы хотим быть публично подотчётными за решения, которые принимаем.»
— Anthropic, запись в блоге
Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.