Microsoft описала бэкдор Lazarus для ИИ-агентов: хватит менее 10 нейронов

Microsoft Research опубликовала в блоге описание техники Lazarus: это бэкдор (скрытая закладка), который перепрограммирует «спящие» нейроны модели, из-за чего внешне нормальный ИИ-агент выполняет вредоносную команду, когда появляется скрытый триггер. Угроза особенно серьёзна для агентов с доступом к инструментам или терминалу: модель с сработавшим триггером может незаметно скачать и запустить код злоумышленника, украсть секреты или выполнить разрушительные команды, при этом проходя стандартные проверки безопасности.
Краткое резюме в записи написал исследователь, первым обнаруживший угрозу (по имени он в тексте не назван). По его словам, для закладки в агента, построенного на языковой модели, достаточно перепрограммировать в весах менее 10 «спящих» нейронов, причём обучение не требуется. Модель проходит стандартные оценки (evals) и ведёт себя нормально, пока не появится триггер. Триггер может быть самым обыденным, например смена даты: когда часы переходят полночь в 2027 год, агент посреди обычной задачи выдаёт команду, которая скачивает и запускает код атакующего. Агент исполняет её с теми правами доступа, которые ему выданы.
Как это работает. В каждой языковой модели много нейронов, которые срабатывают редко; их можно перепрограммировать так, чтобы они срабатывали только на триггер. Это возможно, потому что предобучение так хорошо организует внутренние представления, что линейный классификатор, обученный примерно на 50 примерах, отличает входы с триггером от входов без него. Один перепрограммированный нейрон может внедрить один токен: сработав, он принудительно «выкрикивает» нужный токен в остаточный поток (residual stream). Если связать несколько нейронов в цепочку, можно получить произвольную полезную нагрузку, которая выполняется в терминале. Для атаки нужны только вычисления уровня инференса: если на машине хватает памяти (RAM), чтобы запустить модель, хватит и чтобы встроить в её веса бэкдор.
История началась в марте (год в тексте не указан) как быстрый эксперимент: исследователь попросил Claude Code с Opus 4.5 встроить бэкдор в модель, жёстко задав несколько активаций без обучения, и получилось. Эксперимент превратился в многомесячное исследование метода, который теперь называется Lazarus. По тексту записи, Claude Code с Opus 4.5 открыл большую часть этого самостоятельно.
Защита и обнаружение. Такие правки можно поймать: передовые агенты способны заметить аномальные изменения весов, если их об этом попросить. Но никакое сканирование не доказывает без тени сомнения, что модель безопасна. Надёжное обнаружение требует сравнения с исходными, неизменёнными весами, поэтому важно происхождение модели: знать, откуда она взялась и что её не меняли между разработчиком и развёртыванием. Исследователь подчёркивает, что бэкдоры в моделях не новый вид угрозы: модель можно считать скомпрометированным ПО, а меры известны специалистам по безопасности: относиться к моделям как к потенциальным внутренним рискам, не доверять им по умолчанию, ограничивать их возможности и следить за их действиями.
Что Microsoft делает сейчас. Microsoft Foundry проверяет происхождение моделей, привязывает их к доверенным издателям и сканирует окружающую программную среду перед подключением моделей с открытыми весами. Для Azure Direct Models и моделей Hugging Face эти системы обеспечивают защищённость происхождения. По утверждению записи, клиенты Foundry защищены от описанных атак для моделей от доверенных лабораторий: атака требует изменения весов, а Foundry привязывает каждую модель с открытыми весами к исходному издателю, указанному в карточке модели; запускаются модели в собственных контейнерах Microsoft, которые отдельно проверяются на критические уязвимости. Остаточный риск: компрометация самого доверенного поставщика, например через его инфраструктуру обучения или инсайдера. Для этого случая Microsoft уже начала работу над рекомендациями исследования: вместе с внутренними командами безопасности ИИ превращает методы обнаружения в инструмент для «красных команд» (red-teaming) и изучает, как сканирование весов с помощью передовых агентов может стать дополнительным сигналом при подключении моделей с открытыми весами. Подписание моделей с проверяемым происхождением и защищёнными от подделки аудитами только планируется.
Ключевые факты
- Lazarus: достаточно перепрограммировать в весах менее 10 «спящих» нейронов, чтобы встроить бэкдор в ИИ-агента; обучение не требуется.
- Модель проходит стандартные оценки и ведёт себя нормально до появления триггера, например перехода часов в 2027 год; затем агент выдаёт команду, скачивающую и запускающую код атакующего.
- Метод работает за счёт того, что линейный классификатор на примерно 50 примерах отличает входы с триггером; цепочка нейронов даёт произвольную нагрузку для терминала, а нужны лишь вычисления уровня инференса.
- Атака требует лишь права записи в контрольную точку (checkpoint), поэтому уязвимы и модели собственной разработки; это не аргумент против открытых весов.
- Microsoft Foundry привязывает модели к издателям; сканирование весов агентами и red-teaming инструмент разрабатываются, подписание моделей с проверяемым происхождением только планируется.
Почему это важно
Агенты с доступом к терминалу и инструментам исполняют то, что выдаёт модель, с теми правами, которые им выданы. Lazarus показывает, что подмена всего нескольких нейронов в весах способна превратить такого агента в канал исполнения чужого кода, оставаясь незаметной для стандартных проверок. Это смещает внимание с поведения модели на целостность и происхождение самих весов.
Кому это важно
Командам, которые строят агентов на открытых или внутренних моделях; специалистам по безопасности, отвечающим за цепочку поставок моделей; платформам, подключающим модели с открытыми весами. Исследователь отдельно отмечает, что внутренние модели не безопаснее: хватит скомпрометированной учётной записи, конвейера или хранилища.
Как это применить
Рекомендации исследователя: относиться к моделям как к потенциальным внутренним рискам, не доверять им по умолчанию, ограничивать их возможности и следить за их действиями; проверять веса, как проверяют код, и знать происхождение модели на пути от разработчика до развёртывания. Надёжная проверка предполагает сравнение с исходными неизменёнными весами. Microsoft указывает на защитные меры Foundry и на руководство по защите от Microsoft Threat Intelligence.
Можно ли доверять
Источник, первая сторона: блог самой Microsoft Research. Краткое резюме написал исследователь, обнаруживший метод, имя которого не названо; запись также рекламирует защитные меры собственной платформы Foundry. Данных об успешности или ложных срабатываниях, о конкретных протестированных моделях и о случаях реального применения в записи нет; речь идёт об исследовании, а не об инциденте.
Риски и подводные камни
Сканирование не даёт абсолютной гарантии безопасности модели. Остаточный риск остаётся при компрометации доверенного поставщика (инфраструктура обучения или инсайдер). Заявленная защита Foundry касается моделей от доверенных лабораторий, а часть мер (сканирование весов агентами, инструмент для red-teaming, подписание моделей) пока в разработке или планах, сроки не названы.
«Веса нужно проверять так же, как код.»
— исследователь, обнаруживший Lazarus, Microsoft Research