Google Research опубликовала отчёт о приватности и безопасности ИИ-агентов

5 октября 2026 года Google Research опубликовала в блоге отчёт «Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle» (открытые и новые проблемы приватности и безопасности агентного ИИ: контекстный подход). Он стал итогом воркшопа Google Contextual Agent Privacy and Security (CAPS), прошедшего в конце 2025 года в Нью-Йорке. В работе над отчётом участвовали более 50 исследователей из академической среды и индустрии. Автор поста, Eugene Bagdasarian (Research Scientist) вместе с Marco Gruteser (Principal Scientist), оба из Google Research.

Исходная проблема: чтобы быть полезным, агент может нуждаться в доступе к персональным данным и в возможности совершать значимые действия в самых разных контекстах. Вместе с гибкостью поведения агентов это требует иных подходов, чем для традиционного детерминированного ПО. Авторы пишут, что агенты отличаются от него по трём ключевым измерениям, но в тексте поста эти измерения не перечислены.

Отчёт опирается на теорию контекстной целостности (Contextual Integrity, CI). Она определяет приватность не только как секретность или контроль, а как «уместный поток информации» в соответствии с устоявшимися и обоснованными социальными нормами. Контекстная норма задаётся тремя составляющими: участниками (кто и о ком передаёт и получает информацию), типами информации (например, медицинские или финансовые данные) и принципами передачи (правила потока, такие как конфиденциальность или взаимность). Пример из поста: вы можете поделиться списком подарков с виртуальным помощником по покупкам, но не с семьёй и друзьями. Авторы расширяют CI с обмена информацией на «контекстную безопасность», то есть уместность действий агента.

По мнению авторов, впервые с момента появления теории CI большие языковые модели дают шанс создать машиночитаемую политику, по-настоящему зависящую от контекста. Раньше между высокоуровневыми нормами и низкоуровневыми разрешениями системы был семантический разрыв: просьба «защити мои данные, пока ты организуешь мою поездку на конференцию» требует конкретных указаний, какие сведения уместно раскрывать при бронировании билетов, оформлении визы и общении с организаторами. Ручные разрешения и политики, написанные экспертами, не масштабируются на будущее, где агенты самостоятельно выполняют много сложных долгих задач. Когда языковые модели начнут понимать CI, этот разрыв, как утверждают авторы, можно преодолеть.

Главное предложение отчёта, дополнить прогресс на уровне моделей и взаимодействия с пользователем контекстным движком политик (contextual policy engine) в составе надзорного слоя (supervisor layer), который следит за уместностью действий и обеспечивает её соблюдение. Движок включает цикл динамической генерации политик, работающий в реальном времени: он подстраивает политики под запрос пользователя и открытые, меняющиеся контексты, в том числе под новые инструменты, обнаруженные уже во время работы. Система должна оценивать, уместен ли запрошенный поток данных, до того как информация покинет рабочее пространство пользователя. Отчёт описывает возможности для инноваций по всему стеку, но в тексте поста их перечня нет.

Отдельно авторы предлагают новые подходы к оценке безопасности высокоавтономных мультиагентных систем: стандартизированные бенчмарки в виде динамических сред «Agent Gym», где можно безопасно моделировать сложные каскадные взаимодействия в течение длительного времени. Открытые песочницы, по их словам, помогут задать общую базовую планку приватности, безопасности и защищённости для академической среды и индустрии. Отчёт заканчивается призывом к действию для научного сообщества, госструктур, гражданского общества и индустрии.

Ключевые факты

• Google Research опубликовала отчёт по итогам воркшопа CAPS (конец 2025 года, Нью-Йорк); в работе участвовали более 50 исследователей из академической среды и индустрии.
• Основа отчёта, теория контекстной целостности: приватность понимается как «уместный поток информации» по общепринятым социальным нормам; авторы расширяют её до «контекстной безопасности», то есть уместности действий агента.
• Предложение: контекстный движок политик в надзорном слое, который в реальном времени генерирует политики и проверяет уместность потока данных до того, как информация покинет рабочее пространство пользователя.
• Для оценки безопасности мультиагентных систем авторы предлагают стандартизированные бенчмарки, динамические среды «Agent Gym» с открытыми песочницами.
• Это программа исследований и призыв к сообществу: внедрение подходов в продуктах Google в тексте не описано.

Почему это важно

Агенты на базе больших языковых моделей планируют шаги и вызывают внешние инструменты, а для пользы им может требоваться доступ к личным данным и право на значимые действия. Отчёт Google Research предлагает рамку, в которой приватность и безопасность агента определяются не секретностью данных, а уместностью потока информации и действий в конкретном контексте. Это попытка описать, какие задачи придётся решать сообществу, прежде чем автономным агентам можно будет доверять.

Кому это важно

Исследователям приватности и безопасности ИИ, разработчикам агентных систем и инструментов для них, а также командам, которые проектируют разрешения и политики доступа для агентов. Сами авторы адресуют отчёт широкому сообществу: науке, государственным структурам, гражданскому обществу и индустрии.

Как это применить

Готового продукта или инструмента пост не описывает: это повестка исследований. Практически полезны сама схема описания нормы через участников, типы информации и принципы передачи, а также идея проверять уместность запрошенного потока данных в надзорном слое до отправки информации за пределы рабочего пространства пользователя. Для подробностей авторы отсылают к техническому отчёту.

Можно ли доверять

Это блог-пост самих организаторов воркшопа Google Research, в нём нет экспериментов, измерений и оценочных цифр. Тезис о том, что языковые модели позволяют закрыть разрыв между контекстными нормами и системными разрешениями, авторы формулируют как свою позицию («мы утверждаем»), а не как доказанный результат. Три измерения отличия агентов от обычного ПО и перечень возможностей для инноваций в тексте поста не раскрыты.

Риски и подводные камни

Контекстный движок политик в посте, предлагаемое направление исследований, а не реализованная система; сроков появления Agent Gym и открытых песочниц не названо. Подход опирается на способность языковых моделей понимать контекстные нормы, и авторы сами говорят лишь о том, что модели начинают понимать CI. Нет данных о том, что Google уже применяет эти подходы в своих продуктах.

«Чтобы быть полезными, ИИ-агенты должны понимать контекстные нормы поведения и быть ими ограничены, чтобы действовать уместно.»

— Eugene Bagdasarian и Marco Gruteser, Google Research