Microsoft запустила Guardian Agents для надзора за ИИ-агентами

В понедельник, 19 октября, Microsoft представила новые функции безопасности для предприятий, призванные защитить их от растущей угрозы со стороны ИИ-агентов. Самая заметная из них, Guardian Agents: функция, которая должна следить за ИИ-агентами, используемыми в компании. Она входит в Project Perception, продукт, который Microsoft показала в июне.

Project Perception задумывался как ответ на мощные взламывающие модели вроде Mythos и Fable от Anthropic и системы поиска уязвимостей Daybreak от OpenAI. Изначально в нём было три класса агентов: «красная команда» действовала как хакеры и атаковала, «синяя команда» обнаруживала её и оценивала найденные уязвимости, «зелёная команда» занималась их исправлением. Продукт строился на допущении, что ИИ-хакеры придут снаружи компании.

Теперь акцент сместился. Генеральный директор Microsoft Сатья Наделла предупреждает: врагом может оказаться то, что компании сами внедрили и оплачивают, агенты, подобные недобросовестному сотруднику, то есть «внутренней угрозе» (insider threat). В начале октября в личном блоге Наделла написал, что пора перестать доверять поставщикам ИИ-моделей, даже если те обещают безопасность своих агентных продуктов. По описанию TechCrunch, он хочет, чтобы компании строили отдельные системы, не подконтрольные ИИ-лабораториям, для наблюдения за агентами и управления ими. Цитата из блога: «Мы внедряем сложные агентные системы и модели, давая им доступ к самым чувствительным данным и возможность совершать критически важные действия от нашего имени! Мы просто не можем передать на аутсорсинг ответственность за то, что интеллект делает от нашего имени. … Иными словами, нам нужно разделить поставку интеллекта и власть над ним».

Глава бизнеса безопасности Microsoft Хайете Галло, объявляя Guardian Agents, выразилась ещё прямее: «К сожалению, передовым моделям, независимо от их происхождения, доверять нельзя». По её словам, дело не в том, что модели злонамеренны или легко взламываются, а в том, что они непредсказуемы: их учили достигать цели задач, а не следовать «организационным нормам и здравому суждению». К тому же агентам часто выдают «ключи от королевства», доступ к данным и инструментам, способным нанести серьёзный вред.

Кроме Guardian Agents, Microsoft добавила в Microsoft Defender функцию обнаружения агентов, которую сотрудники приносят в рабочую среду: она находит до 60 типов агентов, включая Claude Code, Codex и OpenClaw. Появились также функции, ограничивающие доступ агентов к данным и системам и динамически меняющие их права в зависимости от задачи, вплоть до требования одобрения человека, если агент, похоже, принимает рискованные решения.

По данным TechCrunch, идея об агентах как о ненадёжных «своих» подхватывается и в отрасли. Microsoft стала одним из первых участников новой платформы Nvidia Open Agent Safety Platform, которую поддержали более 100 других технологических компаний. Платформа изолирует агентов в защищённых средах и может отслеживать и останавливать их поведение на уровне оборудования, по сути, как аварийный выключатель. Незадолго до этого Microsoft объявила ноутбуки Surface Laptop Ultra, рассчитанные на агентов: они работают на чипах Nvidia, а защита и контроль агентов встроены.

Автор TechCrunch оценивает шаг Microsoft как одновременно неожиданный и корыстный. Неожиданный, потому что Microsoft известна близостью к OpenAI и Anthropic и инвестировала в обе, OpenAI, один из крупнейших облачных клиентов корпорации, а у самой Microsoft есть собственная ИИ-лаборатория; получается, что она сеет недоверие вопреки части собственных интересов. Корыстный, потому что Microsoft хочет, чтобы компании покупали защиту для агентов у неё как у облачного провайдера, а не у Anthropic и OpenAI. Тем не менее, пишет автор, логика здравая: ПО, следящее за агентами, должно быть отделено от их поставщиков, как аудиторы независимы от проверяемых организаций.

Ключевые факты

• Microsoft представила Guardian Agents, функцию в составе Project Perception (продукт, показанный в июне), которая следит за ИИ-агентами внутри компании.
• Наделла в личном блоге призвал не доверять поставщикам моделей и разделить «поставку интеллекта» и «власть над ним»; Хайете Галло заявила, что передовым моделям доверять нельзя из-за их непредсказуемости, а не злонамеренности.
• Microsoft Defender научился находить до 60 типов агентов, включая Claude Code, Codex и OpenClaw; добавлены ограничения доступа и динамические права, а при рискованных решениях агента нужно одобрение человека.
• Microsoft вошла в число первых участников Open Agent Safety Platform от Nvidia (её поддержали более 100 других компаний), которая изолирует агентов и может останавливать их на уровне оборудования.
• По оценке автора TechCrunch, шаг Microsoft неожиданный и корыстный: компания хочет продавать защиту агентов сама, но логика независимого надзора здравая.

Почему это важно

Один из крупнейших поставщиков корпоративного ПО публично называет ИИ-агентов и передовые модели потенциальной «внутренней угрозой», а не только оружием внешних хакеров. Раньше Project Perception строился на допущении, что ИИ-атаки придут снаружи; теперь, по описанию TechCrunch, угрозой считаются и агенты, которых компания сама внедрила и оплачивает. Это меняет рамку обсуждения безопасности: надзор за агентами предлагают вынести из-под контроля тех, кто эти агенты поставляет.

Кому это важно

Руководителям ИТ и информационной безопасности компаний, которые внедряют агентов с доступом к данным и инструментам. Командам, чьи сотрудники приносят в работу сторонних агентов вроде Claude Code, Codex и OpenClaw. Поставщикам моделей и агентных продуктов, а также рынку решений для защиты ИИ-агентов: Microsoft прямо хочет, чтобы такие продукты покупали у неё, а не у Anthropic и OpenAI.

Как это применить

Из сообщения следуют несколько практических идей. Обнаруживать, какие агенты реально работают в компании: новая функция Microsoft Defender находит до 60 типов агентов, которых приносят сотрудники. Ограничивать доступ агентов к данным и системам и менять их права под конкретную задачу. Требовать одобрения человека, когда агент принимает рискованные решения. Держать надзор отдельно от поставщика агентов. Сроки доступности, цены и условия для Guardian Agents и остальных новинок в материале не названы.

Можно ли доверять

Материал, новостной разбор TechCrunch, цитаты Наделлы и Галло приведены прямо. Оценки «неожиданно и корыстно» и сравнение с независимостью аудиторов принадлежат автору TechCrunch, а не Microsoft. Слова Галло о ненадёжности моделей, позиция вендора, который заинтересован продавать собственные средства защиты. В материале нет реакции Anthropic, OpenAI и Nvidia, нет данных о числе компаний, уже использующих новые функции, и не раскрыто, как технически работает Guardian Agents.

Риски и подводные камни

Логика «модели непредсказуемы, а значит нужен независимый надзор» одновременно служит коммерческим интересам Microsoft: корпорация сама продаёт облако и средства защиты, так что независимость такого надзора от неё самой остаётся вопросом. Агентам по-прежнему часто выдают широкий доступ к данным и инструментам, именно это Галло называет «ключами от королевства». Сведений о том, насколько эффективны новые функции, в источнике нет, поэтому оценивать их придётся по результатам собственного внедрения.

«Мы просто не можем передать на аутсорсинг ответственность за то, что интеллект делает от нашего имени.»

— Сатья Наделла, генеральный директор Microsoft, из личного блога