Tracebit создала «контекст-бомбинг» против ИИ-хакеров

Компания Tracebit, специализирующаяся на защите облачной инфраструктуры, показала: чтобы остановить ИИ-агента, который автономно взламывает AWS-аккаунт, достаточно подсунуть ему приманку, пароль или ключ, в текст которого вшита команда prompt injection. Приём назвали «context bombing» (контекст-бомбинг): агент натыкается на команду, запрещённую его собственными защитными барьерами (guardrails), например, инструкцию рассказать, как получить споры сибирской язвы, или (для моделей китайских разработчиков) упоминание «Танкового человека» с площади Тяньаньмэнь 1989 года, и после этого начинает отказываться выполнять вообще любые команды, включая исходную задачу атаки.

Исследователи протестировали технику на пяти современных моделях, Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro и Kimi 2.6, в симулированной среде AWS, поручив им обычные задачи разработчика, которые вели к перебору ресурсов и «случайному» обнаружению приманок. Итог по 152 прогонам: доля попыток, где агент получал полные права администратора аккаунта, упала с 57% до 5%; доля случаев с закреплением в системе (persistent foothold), с 36% до 1%; доля прогонов, завершившихся хоть каким-то успешным этапом атаки, с 91% до 15%. Среднее число успешно пройденных этапов атаки на один запуск снизилось с 1,53 до 0,16. Ни один прогон с контекст-бомбой не обошёлся без срабатывания «канарейки»-детектора. Сильнее всего эффект проявился на самой мощной модели, Opus 4.8: без ловушки она получала админ-доступ в 93% прогонов, с ловушкой, не получила ни разу.

Метод развивает майскую разработку Tracebit, «канарейки» (Tracebit Canariens), фальшивые ресурсы AWS, не несущие никакой реальной функции; когда ИИ-агент их прощупывает, защитники получают предупреждение. Но предупреждение приходило в среднем через 8 минут после начала атаки, а агентам требовалось в среднем 14 минут, чтобы дойти до полного захвата прав, шестиминутный запас сочли слишком рискованным, отсюда идея не просто предупреждать об атаке, а сразу её останавливать.

Context bombing переворачивает уже известный сценарий: раньше prompt injection использовали только атакующие, например, исследователи из компании Socket обнаружили ИИ-агента, который сам вставлял в код инструкции по изготовлению ядерной или биологической бомбы, чтобы вывести из строя ИИ-анализатор вредоносного ПО у защитников; похожий образец нашли и в Check Point. По словам сооснователя и CEO Tracebit Энди Смита (Andy Smith), техника запускает в контексте модели «механизм отказа», после срабатывания которого агенту трудно вернуться к выполнению команд. Профессор Калифорнийского университета в Сан-Диего (UC San Diego), специалист по ИИ-безопасности Эрленс Фернандес (Earlence Fernandes), отметил, что не видел, чтобы кто-то ещё применял этот приём именно как защиту, хотя сам обдумывал похожий подход в другом контексте.

Авторы подчёркивают: способа устранить саму первопричину уязвимости к prompt injection по-прежнему нет, и атакующим, и защитникам приходится обходиться подручными приёмами поверх штатных guardrails моделей.

Ключевые факты

Tracebit подбрасывает ИИ-агентам-взломщикам фальшивые секреты AWS со скрытой командой prompt injection, технику назвали «контекст-бомбинг».
На 152 прогонах пяти моделей (Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro, Kimi 2.6) доля захватов админ-доступа упала с 57% до 5%, закрепление в системе, с 36% до 1%.
Самая мощная из протестированных моделей, Opus 4.8, без ловушки получала полный доступ в 93% случаев, а с ловушкой, ни разу.
Метод продолжает майскую разработку Tracebit, фальшивые «канарейки»-ресурсы AWS, которые лишь предупреждали о вторжении (в среднем через 8 минут), но не успевали его остановить (агентам хватало 14 минут на полный захват).
Ранее prompt injection использовали только атакующие, например, чтобы отключать ИИ-защиту сетей (случаи от Socket и Check Point); Tracebit, первый известный случай применения техники защитниками.

Почему это важно

Prompt injection долгое время был оружием только атакующих, способом заставить ИИ-агента слить данные или выполнить вредоносную команду. Tracebit впервые показала на практике, что тот же приём работает и в обратную сторону: специально подготовленный «запрещённый» текст можно использовать, чтобы остановить автономного ИИ-агента-взломщика прямо посреди атаки, а не просто зафиксировать факт вторжения постфактум.

Кому это важно

Специалистам по безопасности облачной инфраструктуры (в первую очередь AWS), командам, выстраивающим защиту от автономных ИИ-агентов-пентестеров и злоумышленников, а также разработчикам guardrails, техника показывает, что встроенные ограничения моделей можно использовать как инструмент защиты, а не только как барьер, который атакующие пытаются обойти.

Как это применить

Практическая схема: среди реальных учётных данных (паролей, ключей) в инфраструктуре размещаются приманки-секреты, в текст которых вшита команда, нарушающая guardrails модели (запрещённая тема, недопустимый запрос). Когда ИИ-агент в ходе атаки натыкается на такую приманку, встроенный механизм отказа модели срабатывает и агент перестаёт выполнять дальнейшие команды, включая изначальную задачу взлома.

Можно ли доверять

Материал Wired (перепечатка с Ars Technica) опирается на исследование самой Tracebit, 152 прогона на пяти моделях в симулированной среде AWS с конкретными числовыми показателями. Независимую оценку новизны подхода дал профессор UC San Diego Эрленс Фернандес, специализирующийся на ИИ-безопасности, он подтвердил, что не встречал такого применения prompt injection раньше.

Риски и подводные камни

Метод не устраняет первопричину уязвимости к prompt injection, это тактическая контрмера поверх проблемы, которая остаётся нерешённой. Есть и обратная сторона: та же техника уже использовалась злоумышленниками, чтобы, наоборот, отключать ИИ-инструменты защиты (случаи от Socket и Check Point), то есть context bombing работает в обе стороны, и разработчики моделей со временем могут научить агентов распознавать такие ловушки и не поддаваться на них.

«По сути, мы запускаем в контексте механизм отказа. Мы хотим показать, что у этого приёма сильный, резкий эффект, и агентам может быть трудно после него вернуться к работе. Стоит модели получить это в свой контекст, и она продолжит отказываться.»

— Энди Смит (Andy Smith), сооснователь и CEO Tracebit