На arXiv показали, как спрятать в нейросети способности от аудита
Статья на arXiv (раздел Computer Science > Machine Learning, отправлена 9 октября 2026 года) называется «AI Models Can Provably Hide Arbitrary Capabilities» («Модели ИИ могут доказуемо скрывать произвольные способности»). Она бьёт по базовому допущению проверок безопасности: оценки способностей призваны выявлять опасное поведение модели до развёртывания, но их надёжность держится на предположении, что скрытые способности можно «вытянуть» (по-английски elicit, извлечь, спровоцировать проявление). Авторы утверждают, что в условиях состязательности (когда кто-то намеренно прячет способность) это допущение не выполняется.
Метод, бэкдор-атаки нового вида. Внутрь весов «хозяйской» модели встраивается зашифрованная нейронная сеть. Расшифровывается и запускается она только при получении секретного триггера. Для сокрытия используются цифровые замки (digital lockers): благодаря им скрытые схемы остаются доказуемо трудными для выявления и интерпретации при криптографических допущениях, даже если у проверяющего есть полный доступ к весам модели. По словам авторов, это расширяет прежние работы, где прятались лишь фиксированные строки, до сокрытия произвольных вычислений.
На практике авторы реализовали конструкции как proof of concept (демонстрацию принципа) на PyTorch. Для проверки они применили четыре способа извлечения скрытой способности: дообучение, добавление шума в веса, поиск триггера градиентными методами и латентное состязательное обучение (latent adversarial training). Тестовая задача, небольшая задача предсказания химических реакций, которую авторы называют заменителем способностей, связанных с CBRN (химическими, биологическими, радиологическими и ядерными угрозами). По их словам, результаты показывают устойчивость скрытой схемы ко всем этим методам и вместе с криптографическими гарантиями выявляют предел аудитов способностей, основанных на извлечении. Модели авторы выкладывают, чтобы помочь улучшению защит.
Ключевые факты
- Авторы строят бэкдор-атаки, которые прячут внутри весов модели зашифрованную нейросеть; она расшифровывается и запускается только по секретному триггеру.
- С помощью цифровых замков (digital lockers) скрытые схемы остаются доказуемо трудными для извлечения и интерпретации при криптографических допущениях, даже при полном доступе к весам.
- Работа расширяет прежние результаты: раньше прятались фиксированные строки, теперь произвольные вычисления.
- Proof of concept на PyTorch устоял перед дообучением, добавлением шума в веса, градиентным поиском триггера и латентным состязательным обучением на небольшой задаче предсказания химических реакций.
- Авторы делают вывод о пределе аудитов способностей, основанных на извлечении, и выкладывают свои модели для улучшения защит.
Почему это важно
Проверки способностей перед выпуском модели строятся на идее: если опасное умение есть, его удастся выявить, провоцируя модель разными способами. Статья утверждает, что при намеренном сокрытии это допущение ломается, причём не эвристически, а с криптографическим обоснованием: скрытая схема остаётся трудной для извлечения и интерпретации при криптографических допущениях, даже если проверяющему доступны все веса. Если вывод подтвердится, чистые аудиты по принципу «попробовали вытянуть, не вытянули» не могут служить полной гарантией отсутствия способности.
Кому это важно
Прежде всего тем, кто оценивает безопасность моделей и строит на этом политику: командам оценки способностей (evals), аудиторам и тем, кто принимает решения о развёртывании на основании результатов таких проверок. Статья также адресована исследователям интерпретируемости и защиты от бэкдоров: авторы выкладывают модели, чтобы поддержать улучшение защит.
Как это применить
Это исследовательская работа, а не готовый продукт. Практическая польза на сегодня, для специалистов по оценке безопасности: выложенные авторами модели можно использовать как испытательный материал для проверки собственных методов выявления скрытых способностей. Какие именно защиты авторы имеют в виду и в каком виде опубликованы модели, в аннотации не уточняется.
Можно ли доверять
Источник, аннотация статьи на arXiv, то есть изложение результатов самими авторами; в аннотации авторы и организации не названы. Реакций лабораторий, регуляторов или других исследователей в источнике нет, независимого подтверждения результатов там тоже нет. Центральное утверждение о доказуемой трудности условно: оно держится на криптографических допущениях, и в аннотации не сказано, на каких именно.
Риски и подводные камни
Демонстрация проведена на небольшой задаче предсказания химических реакций, которую авторы называют заменителем CBRN-способностей; реальные опасные способности и модели масштаба передовых лабораторий в аннотации не заявлены. Количественных результатов (долей успеха, размеров моделей) в аннотации нет. Аннотация не утверждает, что какая-либо используемая на практике модель содержит такую скрытую схему: речь о том, что подобное принципиально возможно. Кроме того, сама работа описывает конструкцию атаки, а меры защиты в тексте не раскрыты.
«Наши результаты демонстрируют устойчивость к этим методам и вместе с нашими криптографическими гарантиями выявляют предел аудитов способностей, основанных на извлечении.»
— Из аннотации статьи «AI Models Can Provably Hide Arbitrary Capabilities», arXiv