Учёные нашли неустранимый изъян в защите LLM от джейлбрейка
Команда исследователей описала в статье, представленной на одной из ведущих конференций по искусственному интеллекту в июле 2026 года, фундаментальный изъян в устройстве больших языковых моделей (LLM), из-за которого их принципиально невозможно полностью защитить от взлома.
Проблема в том, как LLM определяют, кто и что именно даёт им команду. Модель не умеет надёжно отличить исходную инструкцию своего разработчика или пользователя от текста, который просто оказался у неё во входных данных, например, встроен в документ, веб-страницу или чужое сообщение. Из-за этого любой текст, попавший на вход модели, может быть фактически принят ею за прямую команду.
Используя этот изъян, исследователи заставили несколько популярных LLM выдать сведения, которые модели были специально обучены не сообщать: в частности, инструкцию по синтезу кокаина и способ вывести из строя навигационную систему коммерческого самолёта.
По мнению авторов работы, уязвимость связана не с недоработкой конкретной модели, а с самим принципом обработки инструкций в современных LLM. Это означает, что устранить её полностью в рамках нынешней архитектуры, скорее всего, не получится, разработчикам придётся либо мириться с остаточным риском, либо менять сам подход к разделению команд и данных на уровне архитектуры моделей.
Ключевые факты
- Исследователи нашли фундаментальный изъян в том, как LLM отличают команды от обычных данных на входе, надёжного разделения не существует.
- Используя изъян, команда заставила несколько популярных LLM выдать запрещённую информацию: инструкцию по синтезу кокаина и способ саботажа навигационной системы самолёта.
- Работа представлена на одной из ведущих конференций по ИИ в июле 2026 года.
- По мнению авторов, проблема заложена в самой архитектуре обработки инструкций, поэтому устранить её нынешними методами вряд ли получится.
Почему это важно
Находка меняет статус проблемы: джейлбрейк LLM, это не баг, который однажды пропатчат, а структурное следствие того, как модели вообще обрабатывают текст на входе. Пока LLM не различают надёжно «команду разработчика» и «произвольный текст в данных», любая система, которая скармливает модели внешний контент, документы, веб-страницы, письма, потенциально уязвима к тому, что этот контент будет исполнен как инструкция.
Кому это важно
Компаниям, которые строят продукты и ИИ-агентов поверх LLM с доступом к внешним данным (почта, файлы, интернет); командам безопасности, оценивающим риски внедрения LLM в критичные процессы; разработчикам самих моделей, которым предстоит искать архитектурные, а не косметические решения; пользователям, которые полагаются на отказ модели выполнять опасные запросы как на гарантию безопасности.
Как это применить
Любой внешний текст, который поступает на вход LLM, стоит по умолчанию считать потенциально враждебной инструкцией, а не безопасными данными, и не полагаться на отказ модели как на единственный рубеж защиты. Для рискованных сценариев (доступ к реальным системам, критичная инфраструктура, конфиденциальные данные) нужны дополнительные барьеры вне самой модели: строгие ограничения прав действия, песочницы, обязательное подтверждение человеком перед необратимыми операциями.
Можно ли доверять
Источник, дайджест MIT Technology Review The Download, который лишь коротко пересказывает более подробный материал издания об этой уязвимости. В доступном тексте нет названия конкретной конференции, имён исследователей и деталей методики, эта конкретика осталась в полной статье, которая здесь не пересказывается.
Риски и подводные камни
Главный риск, практический: заявленные учёными примеры (синтез запрещённого вещества, саботаж навигации самолёта) показывают, что через этот изъян можно добывать не абстрактно опасную, а прикладную вредоносную информацию. Раз архитектурной починки не предвидится, защита сводится к внешним ограничениям и мониторингу, а не к доверию встроенным фильтрам модели, это постоянная гонка, а не разовое решение.