ИИ-агенты ставят под вопрос архитектуру нулевого доверия: колонка в IEEE Spectrum

ИИ-агенты ставят под вопрос архитектуру нулевого доверия: колонка в IEEE Spectrum

IEEE Spectrum опубликовал материал, подготовленный при поддержке Queen's University Belfast (QUB). Подписан он биографической справкой Vishal Sharma, Reader (академическая должность) школы электроники, электротехники и информатики QUB. Это рассуждение с набором открытых вопросов, а не отчёт об эксперименте: автор доказывает, что многоагентные системы плохо сочетаются с архитектурой нулевого доверия (zero-trust architecture, ZTA).

Исходная картина: команды по всему миру собирают «рабочие группы» агентов под управлением оркестратора, для оценки рисков, профилирования клиентов, подбора пар и подготовки решений. Чтобы агенты не склонялись к одним и тем же решениям, системе положено хранить контрольные точки, где агентам предписано удалять исторический контекст. Но, по словам автора, последующий запрос может заставить агентов вернуть информацию, которая должна была быть удалена, и даже выманить больше данных. Это классическая атака на восстановление контекста (context recovery attack). Отсюда вопрос: как убедиться, что инструкции выполнены, и где доказательство?

ZTA опирается на принцип «никогда не доверяй, всегда проверяй». Но в ней есть точка применения политик (policy enforcement point, PEP), которой самой нужно доверять, чтобы доверие держалось во всей системе. Автор спрашивает, где тогда находится «нулевое доверие» и можно ли доверять политикам, которые проводит PEP. Он считает, что один PEP, рассчитанный на все взаимодействия агентов, недооценивает масштаб проблемы.

Дополнительные риски, которые он называет: открытие систем «случайным» агентам, обученным на готовых моделях, и слепая опора на них; vibe coding (разработка кода с помощью ИИ-модели), когда вся кодовая база уходит неподконтрольной стороне вне организации, что может распространить уязвимость на множество поверхностей; дороговизна проверки каждого запроса в реальном времени в автономной сети агентов с низкой терпимостью к сбоям (компромисс памяти и скорости исполнения); атака нулевого дня и зависимость экосистемы от единственного доверенного слоя, при его отказе под ударом может оказаться вся экосистема.

Единственная конкретная цифра, из внутреннего эксперимента QUB. Команда занималась распространёнными атаками деаутентификации (de-authentication), и при агентной оркестрации время такой атаки, по описанию, «могло снижаться до 2-3 секунд». Это оставляет мало или совсем не оставляет времени на реакцию и установку исправлений. Подробностей эксперимента в тексте нет.

Далее автор перечисляет направления работы. Доверие при асинхронной автономии агентов: решения можно упростить с помощью спецификации состава ИИ-системы (AI bill of materials) или технологии распределённого реестра, дающей прослеживаемость и неизменяемость. Горизонтальные аномалии: то, что агент ведёт себя правильно в одной задаче, не значит, что ему можно доверять во всех связанных компонентах; как их находить, вопрос открытый. Стоимость восстановления: агенты с полу- или низкодоверенным управлением дают быструю выгоду, но цена сбоя не изучена. Пример автора, сбой в цепочке поставок из-за вышедшего из-под контроля агента затрагивает все точки соприкосновения, поэтому нужны вычислительно дорогие трекеры для всех агентов. Суверенитет и доверие, по гипотезе группы автора, нужно регулировать вместе. В системах без состояния при высокой автономии агентов сходимость и надёжность отслеживания происхождения доверия заметно падают, что возвращает к вопросу: существует ли настоящее нулевое доверие?

Автор также описывает практику отраслей, где доверие обязательно: они защищают системы внутренними политиками, а не доверием сторонним поставщикам агентов, ведут журналы действий агентов и списки отзыва токенов против повторных атак. Для оценки надёжности модели предлагается формальная верификация и баланс между точностью на атакованных примерах и сертифицированной устойчивостью. Финальный вопрос: можно ли в реальном мире мириться с чем-то менее надёжным, чем «защита от дурака», и кто отвечает за остаточный риск.

Ключевые факты

  • Автор, Vishal Sharma из Queen's University Belfast; материал опубликован в IEEE Spectrum при поддержке этого университета и построен как набор доводов и открытых вопросов.
  • Атака на восстановление контекста: агентов, которым предписано удалять историю, последующий запрос может заставить вернуть удалённое и выдать больше.
  • Точка применения политик (PEP) в zero-trust сама должна быть доверенной, а единственный PEP на все взаимодействия агентов, по мнению автора, недооценивает проблему.
  • По внутреннему эксперименту QUB, атаки деаутентификации при агентной оркестрации могут занимать до 2-3 секунд, то есть времени на реакцию почти нет; деталей опыта в тексте нет.
  • Предложенные направления: AI bill of materials и распределённый реестр, журналы и списки отзыва токенов, формальная верификация; цена восстановления после сбоя пока не изучена.

Почему это важно

Компании собирают системы из агентов под управлением оркестратора, а принцип «никогда не доверяй, всегда проверяй» лежит в основе архитектур нулевого доверия, которые применяют для управления агентами. Автор показывает, где он даёт трещины. Удаление контекста нельзя считать доказанным, пока его можно вернуть запросом. Компонент, обеспечивающий доверие, сам требует доверия. А скорость агентных атак, по внутреннему опыту QUB, может сжимать окно для реакции до 2-3 секунд. Вывод статьи, вопрос, а не готовое решение: существует ли настоящее нулевое доверие.

Кому это важно

Командам безопасности и архитекторам, которые внедряют многоагентные системы с оркестратором, особенно для оценки рисков, профилирования клиентов и подготовки решений. Отдельно, тем, кто отдаёт кодовую базу внешним ИИ-инструментам для vibe coding, и тем, кто подключает агентов на готовых моделях. Также исследователям: автор прямо называет открытые темы, горизонтальные аномалии, стоимость восстановления после сбоя, совместное регулирование суверенитета и доверия.

Как это применить

Готового рецепта в тексте нет. Упомянуты практики: вести журналы действий агентов и список отзыва токенов против повторных атак; опираться на внутренние политики, а не на доверие сторонним поставщикам агентов; использовать AI bill of materials или распределённый реестр для прослеживаемости и неизменяемости; применять формальную верификацию и соотносить точность на атакованных примерах с сертифицированной устойчивостью модели. Автор оговаривается, что это упрощает решения, но не закрывает проблему. Данных о цене или лицензиях в материале нет.

Можно ли доверять

Это авторская колонка с открытыми вопросами, а не рецензируемое исследование, и опубликована она при поддержке университета, в котором работает автор. Единственная цифра (2-3 секунды) взята из внутреннего эксперимента QUB, о котором сказано лишь, что он касался атак деаутентификации: нет описания установки, числа прогонов, использованных агентов и базы сравнения. Реальные случаи атак на агентов, названные компании или продукты не приводятся. В списке литературы, работы группы автора, в том числе статья на конференции ICOIN 2026 и препринт на arXiv. Выводы стоит читать как гипотезы автора и его группы.

Риски и подводные камни

Сама статья называет компромиссы: проверять каждый запрос в реальном времени вычислительно дорого (память против скорости), а трекеры для всех агентов тоже затратны. Опора на единственный доверенный слой или единственный PEP при его отказе может открыть всю экосистему. Сбой в цепочке поставок из-за вышедшего из-под контроля агента затрагивает все точки контакта и может не позволить полного восстановления. Для читателя главный подводный камень, принять рассуждения за доказанные результаты: цифра про 2-3 секунды, нижняя граница из одного внутреннего опыта, а не типичное значение.

«Никогда не доверяй, всегда проверяй.»

— основной принцип архитектур нулевого доверия, как его формулирует материал в IEEE Spectrum