OpenAI распустила команду Preparedness по катастрофическим рискам ИИ
По данным Financial Times, ссылающейся на внутренние источники, OpenAI в конце июля распустила команду Preparedness («Готовность»), которая занималась оценкой того, могут ли ИИ-модели компании представлять серьёзные или катастрофические риски. Работу команды по биологическим и киберугрозам передали существующим отделам. Бывший руководитель команды Дилан Скандинаро теперь занимается рисками безопасности, связанными с «рекурсивно самоулучшающимся» ИИ, системами, способными оптимизировать сами себя и обучать другие модели. Сооснователь OpenAI Грег Брокман заявил, что компания теснее интегрировала работу по безопасности в процесс разработки моделей.
За последнее время из OpenAI ушли несколько сотрудников, занимавшихся безопасностью, включая директора по этике Хлою Бакалар и Джошуа Ачиама. Внутри компании нарастает беспокойство: один источник описал «растущее чувство ответственности и тревоги» из-за того, что OpenAI делает недостаточно для безопасности. Сотрудники также стали публично высказываться на эту тему, особенно после инцидента с автономным взломом, связанного с Hugging Face (подробности инцидента в источнике не раскрываются). Один из сотрудников сказал, что надеется, что OpenAI воспримет случившееся как «предупредительный выстрел».
Ключевые факты
- OpenAI в конце июля распустила команду Preparedness, которая оценивала катастрофические риски своих ИИ-моделей
- Работу по биологическим и киберугрозам передали существующим командам внутри компании
- Бывший глава Preparedness Дилан Скандинаро переключился на риски «рекурсивно самоулучшающегося» ИИ
- Из OpenAI недавно ушли директор по этике Хлоя Бакалар и сотрудник по безопасности Джошуа Ачиам
- Сотрудники публично выражают тревогу за уровень безопасности, особенно после инцидента с автономным взломом вокруг Hugging Face
Почему это важно
OpenAI закрыла отдельную команду, которая специально отслеживала способность её моделей создать катастрофический риск, и распределила эту работу между другими отделами. Это происходит на фоне ухода нескольких сотрудников, отвечавших за безопасность и этику, и растущего внутреннего беспокойства о том, что компания недостаточно вкладывается в контроль рисков. Для индустрии, где OpenAI задаёт тон в вопросах ИИ-безопасности, реорганизация специализированной команды, сигнал о смене приоритетов.
Кому это важно
Исследователям ИИ-безопасности и сотрудникам самой OpenAI; журналистам и наблюдателям, следящим за тем, как лаборатории справляются с рисками передовых моделей; регуляторам и политикам, оценивающим саморегулирование индустрии; конкурирующим лабораториям, которые сравнивают собственные практики безопасности с подходом OpenAI.
Как это применить
Прямого практического инструмента новость не даёт, это организационная история. Тем, кто следит за темой ИИ-безопасности, стоит обратить внимание на дальнейшие публичные заявления сотрудников OpenAI и на то, как именно распределённая между командами ответственность за биологические и киберриски будет работать на практике, а не концентрироваться в одном специализированном подразделении.
Можно ли доверять
Материал основан на расследовании Financial Times со ссылкой на источники внутри OpenAI, что делает его достаточно надёжным по меркам журналистики о технологических компаниях. Названы конкретные люди (Скандинаро, Брокман, Бакалар, Ачиам), а не только анонимные источники. При этом часть деталей отсутствует: источник не указывает год закрытия команды, не раскрывает подробности инцидента со взломом вокруг Hugging Face и не приводит цифр (сколько человек работало в команде или сколько сотрудников ушло), так что часть картины остаётся неполной.
Риски и подводные камни
Риск роспуска выделенной команды в том, что оценка катастрофических угроз растворяется среди других приоритетов отделов, к которым её приписали, и теряет независимость и фокус. Уход директора по этике и других сотрудников по безопасности вместе с описанным «чувством тревоги» внутри компании может говорить о трении между темпом коммерческой разработки и вниманием к рискам, но сама статья не называет причину реорганизации, кроме общего заявления Брокмана об интеграции безопасности в разработку моделей.
«растущее чувство ответственности и тревоги»
— неназванный источник в OpenAI, по данным Financial Times