CEO Gravitee: главный риск корпоративного ИИ, не автономные агенты, а сложность связей между ними

Колонка на VentureBeat помечена как «Presented by Gravitee», спонсорский материал; её автор, Рори Бланделл, CEO компании Gravitee. Центральный тезис: главная опасность корпоративного ИИ не в том, что агент действует автономно, а в том, что сложность связей между множеством одновременно работающих агентов растёт быстрее их числа, и предприятия теряют возможность объяснить, что именно делает их система прямо сейчас и кто за это отвечает.

Логика такая: добавление второго агента добавляет одну связь между агентами. Но добавление десятого агента добавляет не десять связей, а потенциально десятки, потому что теперь любой агент может обратиться к любому другому, а каждый такой вызов способен запустить ещё один, уже в другой системе. Сложность растёт не с числом агентов, а с числом путей между ними, и, по наблюдению автора, начертить такой граф связей сегодня не входит ни в чью должностную обязанность. В качестве примера автор описывает тикет поддержки, который раньше касался одной системы, а теперь может пройти через четыре агента, прежде чем его увидит человек, и каждая такая передача между агентами является решением, которое никто отдельно не одобрял.

Автор возражает против инстинктивного подхода «одобрить агента, занести его в лог, двигаться дальше»: чек-лист фиксирует состояние в одной точке времени, а сложность накапливается вдоль всей цепочки вызовов, и разовыми проверками её не удержать, так же, как нельзя признать диету успешной только потому, что вы однажды съели овощ. Дальше идут два гипотетических примера (иллюстрации, а не задокументированные случаи из практики): агент, изначально созданный, чтобы резюмировать тикеты поддержки, получает широкий доступ к API, потому что аккуратно ограничить права «заняло бы ещё один спринт», а полгода спустя оказывается, что у него есть путь в платёжную систему компании, хотя этого решения никто не помнит и никто не принимал. Второй пример: пять агентов последовательно участвуют в одном рабочем процессе, на четвёртом шаге что-то ломается, и выясняется, что за это конкретное звено цепочки формально никто не отвечает, потому что организационная структура компании заканчивается на «развернуть агента» и не доходит до «назначить человека, который за него отвечает».

Решение автор видит в трёх уровнях, которые должны работать вместе. Первый, идентичность: у каждого агента должно быть собственное имя в реестре, права, ограниченные ровно необходимым, и назначенный человек-спонсор, отвечающий за его действия; это, по признанию самого автора, необходимо, но «далеко не достаточно». Второй, сквозной надзор за всей цепочкой: видимость того, что агент сделал и что это запустило дальше, в реальном времени, а не в отчёте, который кто-то собирает раз в квартал; но и надзор сам по себе лишь фиксирует то, что уже произошло, а не управляет процессом. Третий уровень, который, по словам автора, пропускает большинство компаний, правоприменение: способность заблокировать выходящий за рамки политики вызов до того, как он выполнится, а не просто зафиксировать его в логе для разбора через три недели. По утверждению автора, панель, которая показывает, что агент превысил свои полномочия пять минут назад, это инструмент мониторинга; система, которая не даёт этому произойти, это и есть управление. Серьёзно относящиеся к подотчётности агентов компании нуждаются в обоих уровнях, но, по оценке автора, у большинства построен только надзор.

Вывод колонки: сложность, не повод притормаживать внедрение агентов. Компании, у которых это получается, по формулировке автора, двигаются к состоянию «Human-Agent Harmony» (дословно «гармония человека и агента», сама колонка нигде не объясняет, авторская ли это метафора или название продукта или фреймворка Gravitee), при котором масштаб и подотчётность растут вместе, а не за счёт друг друга. Итоговый тезис автора: настоящий риск никогда не был в одном агенте, который делает ровно то, для чего его создали, риск в сотне таких агентов, работающих одновременно и вступающих в комбинации, которые никто не проектировал.

Ключевые факты

Автор колонки, Рори Бланделл, CEO компании Gravitee; материал выходит как спонсорская колонка VentureBeat с пометкой «Presented by Gravitee».
Главный тезис: риск не в отдельном автономном агенте, а в том, что сложность связей между агентами растёт быстрее их числа, десятый агент способен добавить не десять, а потенциально десятки новых связей, потому что любой агент может вызвать любой другой.
Иллюстрация (гипотетический пример, не задокументированный случай): агент, изначально созданный для резюмирования тикетов поддержки, из-за нехватки времени на настройку прав получает широкий доступ к API, и полгода спустя незаметно получает путь к платёжной системе компании, хотя этого решения никто не помнит и не принимал.
Предлагаемое решение, три уровня: собственная идентичность у каждого агента (имя в реестре, ограниченные права, назначенный человек-ответственный), необходимо, но недостаточно; сквозной надзор за всей цепочкой действий агента в реальном времени; и правоприменение, возможность блокировать нарушающий политику вызов до его выполнения, а не просто фиксировать это в логе для разбора спустя три недели.
Колонка подчёркивает: сложность, не повод притормаживать масштабирование агентов; компании, которые справляются, по её формулировке движутся к «Human-Agent Harmony» (термин нигде не поясняется, неясно, авторская это метафора или название продукта либо фреймворка Gravitee), балансу роста и подотчётности.

Почему это важно

Автор формулирует тезис, который смещает привычный фокус: опасность не в том, что агент действует сам по себе, а в том, что сложность связей между агентами растёт быстрее их числа. Второй агент в системе добавляет одну связь; десятый, потенциально не десять, а десятки, потому что любой агент способен вызвать любой другой, и один вызов может запустить цепочку дальше. По наблюдению автора, тикет поддержки, который раньше касался одной системы, теперь может пройти через четыре агента, прежде чем его увидит человек, и каждая такая передача, решение, которое никто отдельно не одобрял. Колонка возражает против инстинктивного подхода «одобрить агента, занести в лог, двигаться дальше»: чек-лист фиксирует состояние в одной точке времени, а сложность накапливается вдоль всей цепочки, и разовыми проверками её не удержать, так же, как нельзя признать диету успешной только потому, что вы однажды съели овощ.

Кому это важно

В первую очередь, командам платформенной инженерии и ИТ-безопасности, а также руководителям, отвечающим за ИИ в компаниях, которые уже развернули не одного, а множество агентов и теряют видимость того, кто из них к чему имеет доступ. Важно архитекторам, проектирующим модели прав и разрешений между агентами и корпоративными системами (включая платёжные), и топ-менеджменту, который должен обеспечить, чтобы у каждого работающего в компании агента был назначенный человек-владелец. Поскольку автор колонки, CEO Gravitee, материал стоит читать и как позиционирование этой компании на рынке решений для управления ИИ-агентами, хотя сама колонка ни разу не называет конкретный продукт.

Как это применить

Конкретного продукта, цены или дорожной карты в колонке нет, материал остаётся на уровне принципов. Первый уровень, идентичность: у каждого агента должно быть собственное имя в реестре, права, ограниченные ровно необходимым, и назначенный человек-спонсор, отвечающий за его действия; по признанию самого автора, это необходимо, но «далеко не достаточно». Второй, сквозной надзор за всей цепочкой: видимость того, что агент сделал и что это запустило дальше, в реальном времени, а не в отчёте раз в квартал; но и надзор сам по себе лишь фиксирует то, что уже произошло, а не управляет процессом. Третий уровень, который, по словам автора, пропускает большинство компаний, правоприменение: способность заблокировать выходящий за рамки политики вызов до того, как он выполнится, а не просто зафиксировать его в логе для разбора через три недели. Практический вывод для компании, разворачивающей много агентов: проверить, есть ли у неё все три уровня одновременно, или, как утверждает колонка о большинстве компаний, построен только надзор, мониторинг без блокировки нарушений.

Можно ли доверять

Материал выходит на VentureBeat с пометкой «Presented by Gravitee», это оплаченная спонсорская колонка, а не независимая журналистская работа, и её автор, CEO самой компании-спонсора, Рори Бланделл. Это не значит, что диагноз ошибочен, но означает, что аргумент одновременно служит обоснованием того, зачем компаниям в принципе нужен инструмент такого рода, какой предположительно предлагает сама Gravitee, хотя ни продукт, ни его название в тексте ни разу не упомянуты. В тексте нет ни статистики, ни ссылки на исследование, ни названной реальной компании, кроме Gravitee и самого VentureBeat: оба ключевых примера, агент с чрезмерными правами доступа и разваливающийся на четвёртом шаге процесс с пятью агентами, явно поданы как иллюстрации, а не как задокументированные случаи. В колонке не указана дата публикации, никто, кроме автора, не процитирован, а термин «Human-Agent Harmony», к которому колонка призывает стремиться, нигде не раскрыт, неясно, авторская ли это метафора или название продукта либо фреймворка самой Gravitee.

Риски и подводные камни

Логика самой колонки указывает на конкретный риск: расползание прав доступа, когда агент, изначально созданный для узкой задачи, со временем получает широкие полномочия, потому что аккуратно ограничить их «заняло бы ещё один спринт», и размывание ответственности, когда в одной цепочке участвует несколько агентов и непонятно, кто отвечает за конкретное звено. Если компания опирается только на разовые проверки и фиксацию событий постфактум, то есть на второй из трёх описанных уровней, она узнаёт о нарушении политики агентом уже после того, как оно произошло, а не предотвращает его; этот разрыв между мониторингом и правоприменением, и есть центральный риск, который описывает сама колонка. Обратная сторона самого материала в том, что трёхуровневый фреймворк подан как готовый и универсально верный вывод, хотя проверить его на практике нечем: ни одного реального внедрения, метрики или отраслевого сравнения в тексте не приведено, а весь тезис держится на убедительности изложения, а не на данных.

«Настоящий риск никогда не был в одном агенте, делающем ровно то, для чего его создали. Риск, в сотне таких агентов, работающих одновременно и вступающих в комбинации, которые никто не проектировал.»

— Рори Бланделл, CEO Gravitee