Gartner: ИИ и его поставщики ещё не доросли до корпоративного уровня
На ежегодном ИТ-симпозиуме компании Gartner, первой проходит австралийская сессия, затем европейская и американская, аналитики Gartner в ранге вице-президента Дэрил Пламмер и Кристин Мойер заявили, что искусственный интеллект и его ведущие поставщики остаются незрелыми и не готовы к корпоративному использованию. По формулировке Gartner, чем больше компания использует ИИ, тем труднее его контролировать и тем труднее получить от него отдачу на вложенные средства.
Отвечая на вопрос о работе с ведущими ИИ-лабораториями, Пламмер сказал: «Доверие к этим поставщикам пока не оправдано. Они не дотягивают до корпоративного уровня. Они не понимают корпоративных условий использования. Они не понимают корпоративной ответственности. Они не понимают, что такое корпоративная последовательность и непрерывность». Он указал на привычку ИИ-компаний часто менять свои модели, не задумываясь о том, сломает ли обновление приложения, которые от этих моделей зависят. «Это неконтролируемый темп инноваций, и печально то, что вы не можете позволить себе за ним не поспевать», сказал Пламмер, отметив, что типичный срок жизни модели у этих компаний, около полугода, а поддерживать устаревшие версии они пока не готовы. «Если вы решите остаться на первой версии модели, вам будут уделять уже гораздо меньше внимания. Одно это говорит о том, что они не готовы к корпоративному использованию», добавил он.
Мойер сослалась на исследование Gartner: 86% ИТ-директоров считают, что риски от ИИ растут быстрее, чем создаваемая им польза, отчасти потому что первые успехи ИИ порождают спрос на технологию, который ИТ-отделы не в состоянии безопасно удовлетворить. Часть этого спроса Мойер назвала «беспечным потреблением», использованием ИИ сотрудниками без нужды или неуместно. По её данным, 40% работников сталкивались с ИИ-мусором, низкокачественным контентом, сгенерированным ИИ, а на то, чтобы разобраться в одном таком случае, уходит в среднем два часа; в пересчёте на организацию из 1000 человек это $9 млн рабочего времени в год. «Сложно даже понять, сколько у вас агентов. ИИ проникает в вашу организацию изнутри, через продукты, которыми вы уже пользуетесь», сказала Мойер. По её мнению, у бизнеса уже есть подходящий опыт: примерно так же компании потратили десятилетие, отучая разработчиков от привычки брать самые мощные и дорогие облачные конфигурации, какие только доступны.
Пламмер привёл и собственный пример того, как сдерживать использование ИИ проверенными средствами: строить ИИ-агента для обращения к базе данных бессмысленно, потому что с этой задачей прекрасно справляется обычный вызов функции. Часть беспечного использования ИИ он списал на самих поставщиков, которые «отчаянно» пытаются монетизировать ИИ, продавая продукты, куда он уже встроен, или просто убеждая покупать больше токенов. «Поставщики хотят, чтобы агенты использовались повсюду», сказал Пламмер. На вопрос The Register об эффективности AIOps (автоматизации ИТ-операций с помощью ИИ, когда агенты сами находят источник проблемы и предлагают решение в один клик) Пламмер ответил, что такие предложения нечестны: «Они движутся в верном направлении, но руководствуются неверными мотивами. Их цель, продать вам свой продукт и заставить его купить, а не помочь внедрить правильное решение, потому что их продукт, скорее всего, и есть неправильное решение». По его словам, рынок инструментов управления ИИ, «одна из самых раздробленных вещей», какие аналитики вообще видели.
Аналитики Gartner порекомендовали компаниям три меры. Первая, завести «центральный банк по ИИ»: орган, отвечающий за использование ИИ во всей организации и за её системное здоровье с учётом влияния технологии на компанию в целом. Его ключевая роль, обеспечивать подотчётность, которую легко наладить в обычных ERP- или CRM-системах: они оставляют след о том, кто и когда совершил или разрешил то или иное действие. У ИИ такого следа может не быть, отметила Мойер: «Не так-то просто понять, кто в итоге сядет в тюрьму. Если у вас нет системы сбора цифровых доказательств для ИИ, подумайте об этом!» Вторая мера, «агенты-стражи»: ИИ, единственная задача которого, следить за другими агентами и не давать им выйти за рамки допустимого поведения; по словам Пламмера, у таких агентов должна быть возможность «убивать» агентов, вышедших из-под контроля. Третья мера, создать отдельную команду аварийного восстановления для ИИ, которая будет заниматься именно ликвидацией последствий сбоев, вызванных этой технологией.
«Если вас призовут к ответу, а ваш ответ, „это сделал ИИ", у вас проблемы», подытожил Пламмер., «ИТ-директоров будут привлекать к ответственности за сбои, вызванные ИИ».
Ключевые факты
- На ежегодном ИТ-симпозиуме Gartner аналитики Дэрил Пламмер и Кристин Мойер заявили, что ИИ и его ведущие поставщики не готовы к корпоративному использованию: модели у этих компаний живут около полугода, а поставщики не отвечают за то, что обновления ломают завязанные на них приложения.
- По данным исследования Gartner, которое привела Мойер: 86% ИТ-директоров считают, что риски от ИИ растут быстрее пользы. По её словам, 40% работников сталкивались с ИИ-мусором, на разбор одного такого случая уходит около двух часов, что в организации из 1000 человек оборачивается $9 млн рабочего времени в год.
- Пламмер возложил часть вины на самих поставщиков: они «отчаянно» пытаются монетизировать ИИ и продвигают агентов повсюду, а автоматизацию вроде AIOps с исправлением проблем в один клик прямо назвал нечестной.
- Gartner порекомендовал три меры: «центральный банк по ИИ» для контроля и подотчётности, «агентов-стражей» с правом отключать вышедшие из-под контроля ИИ-агенты и отдельную команду аварийного восстановления на случай катастроф, вызванных ИИ.
- Оба аналитика подчеркнули личную ответственность руководителей: по словам Пламмера, ИТ-директоров будут привлекать к ответу за сбои ИИ, а ссылка на «это сделал ИИ» оправданием не станет.
Почему это важно
Gartner, аналитическая компания, и когда два её ведущих аналитика открытым текстом говорят, что ИИ и его крупнейшие поставщики «не дотягивают до корпоративного уровня», это не мнение блогера, а сигнал для всей отрасли: внедрение ИИ в компаниях обгоняет их способность им управлять. Материал фиксирует конкретный парадокс, в котором сейчас живут корпорации: по словам Пламмера, «печально то, что вы не можете позволить себе не поспевать» за этим неконтролируемым темпом, хотя сам срок жизни модели у поставщиков, около полугода, и о том, что ломается у клиентов при обновлении, они не заботятся. У проблемы есть и денежное измерение: по цифрам, которые привела Мойер, только разбор низкокачественного ИИ-контента обходится условной компании на 1000 человек в $9 млн рабочего времени в год.
Кому это важно
ИТ-директорам и другим руководителям, которые подписывают контракты с ИИ-поставщиками и должны отвечать за последствия, если обновление модели сломает продакшен. Самим ИИ-лабораториям и поставщикам, чья практика продаж и частой смены моделей названа в материале одной из причин проблемы, хотя ни один конкретный поставщик по имени не назван. И рядовым сотрудникам, чьё «беспечное потребление» ИИ Gartner предлагает контролировать так же, как на протяжении десятилетия компании отучали разработчиков от избыточно мощных и дорогих облачных конфигураций.
Как это применить
Материал даёт три конкретные рекомендации Gartner. Первая, создать «центральный банк по ИИ»: единый орган, который отвечает за использование ИИ во всей организации и оценивает системные последствия для бизнеса, а не только отдельные внедрения. Вторая, завести «агентов-стражей», единственная задача которых, наблюдать за остальными ИИ-агентами и иметь полномочие «убивать» тех, кто вышел за рамки допустимого поведения. Третья, сформировать отдельную команду аварийного восстановления для ИИ, которая будет заниматься именно ликвидацией последствий сбоев, вызванных этой технологией, а не общими ИТ-инцидентами. Дополнительный практический совет Пламмера: не строить ИИ-агента там, где задачу и так решает обычный вызов функции, это случай, когда ИИ добавляет сложность без выигрыша.
Можно ли доверять
Материал написан APAC-редактором The Register Саймоном Шарвудом по итогам реальной сессии на мероприятии, ежегодном ИТ-симпозиуме Gartner, чья австралийская сессия в этом цикле идёт первой, перед европейской и американской, а не по пресс-релизу; все цитаты в тексте закреплены за названными по именам аналитиками Gartner. При этом цифра 86% ИТ-директоров приведена со ссылкой на «исследование Gartner» без указания выборки, даты опроса или методологии, а 40% работников и два часа на разбор одного случая ИИ-мусора Мойер привела со ссылкой на исследование, чей автор в материале не назван; оценка в $9 млн в год, это пересчёт тех же двух часов на организацию из 1000 человек. Ни один конкретный ИИ-вендор или лаборатория в тексте не назван: критика адресована рынку ИИ-вендоров в целом, а не конкретному игроку. Столь же общими остаются и рекомендации, «центральный банк по ИИ», «агенты-стражи» и команда аварийного восстановления поданы как концепции, которые Gartner советует внедрить, а не как готовые продукты, которые уже применяет какая-то конкретная компания.
Риски и подводные камни
Материал не проверяет собственные рекомендации на прочность: как именно «агент-страж» технически отследит или «убьёт» другого агента, не описано, источник называет это задачей, а не готовым решением. Есть и внутреннее напряжение в самой логике доклада: Мойер признаёт, что «трудно даже понять, сколько у вас агентов», а Пламмер, что рынок инструментов управления ИИ «один из самых раздробленных», какие аналитики вообще видели; в такой обстановке ещё один слой автоматизации, агенты, которые следят за агентами, сам становится тем, за чем тоже нужен надзор, а кто должен присматривать уже за агентами-стражами, материал не поясняет. Наконец, совет держаться настороже с поставщиками соседствует с признанием, что «вы не можете позволить себе не поспевать» за их темпом, как совместить осторожность с гонкой за скоростью внедрения, аналитики не показывают.
«Доверие к этим поставщикам пока не оправдано. Они не дотягивают до корпоративного уровня. Они не понимают корпоративных условий использования. Они не понимают корпоративной ответственности. Они не понимают, что такое корпоративная последовательность и непрерывность.»
— Дэрил Пламмер, аналитик Gartner в ранге вице-президента