Подпись не гарантирует векторы: в офлайн-RAG нашли брешь между текстом и эмбеддингами

Офлайн-RAG (генерация с поиском по базе знаний) на периферийных устройствах обновляется через подписанные пакеты знаний, в которых лежат текст и заранее посчитанные векторы-эмбеддинги. Авторы статьи указывают на разрыв: подпись доказывает, кто опубликовал пакет, но не то, что векторы действительно кодируют его текст. Этот разрыв они называют text-vector integrity gap (разрыв целостности между текстом и векторами).
Если проверяющая сторона пересчитывает векторы и принимает их с допуском по косинусной близости, она неизбежно уступает часть запросов атакующему, контролирующему векторы. По утверждению авторов, доля перехваченных запросов равна распределению угловых запасов (margins) поиска при заданном допуске, это «закон запаса» (margin law). В пяти корпусах и на двух моделях эмбеддингов эти запасы оказались малы. Поэтому даже идеализированный допуск на уровне шума чисел с плавающей точкой оставляет под угрозой до 5,5% запросов (не более 1,2% в любом корпусе, если исключить полные дубликаты документов). Если же порог откалиброван по собственному сравнению авторов CPU INT8 и FP32 для небольшой модели эмбеддингов (по эмпирическому квантилю 0,1% честных косинусных значений), под угрозой оказывается 98-100% запросов. На Raspberry Pi 5 с локальной языковой моделью такая атака снижает показатель правильных ответов с 0,75 до 0,39 (единица измерения в аннотации не уточняется).
Аудит сжатых векторных хранилищ работает не лучше. На индексе FAISS с продуктовым квантованием по 57 638 документам подделанные векторы, которые все проходят аудит, ставят документ атакующего на первое место для 25% целевых запросов.
Как выход авторы предлагают проверять не сами векторы, а коды квантования. Неоднозначность при этом решает проверяющая сторона, используются калиброванный защитный зазор (guard band) и канонизация. Такая проверка приняла все честные векторы из выборок авторов на трёх платформах и не оставила издателю выбора. Кроме того, авторы показывают, что распространённые конвейеры инференса с плавающей точкой и динамическим INT8 не воспроизводятся побитово при разных размерах батча и на разных архитектурах. Они также сообщают о заранее зарегистрированных отрицательных результатах по отказу от ответа (abstention), обрезке контекста и семантической фильтрации. Код и данные авторы опубликовали.
Ключевые факты
- Подпись пакета знаний подтверждает издателя, но не то, что векторы соответствуют тексту: атакующий, контролирующий векторы, может подменять результаты поиска.
- При проверке с пересчётом векторов и допуском по косинусной близости под угрозой до 5,5% запросов (до 1,2% без полных дубликатов); при пороге, откалиброванном по сравнению CPU INT8 и FP32, 98-100%.
- На Raspberry Pi 5 с локальной языковой моделью такая атака снижает правильные ответы с 0,75 до 0,39.
- На индексе FAISS с продуктовым квантованием по 57 638 документам подделанные векторы проходят аудит и ставят документ атакующего первым для 25% целей.
- Проверка кодов квантования с защитным зазором и канонизацией приняла все честные векторы из выборок на трёх платформах; код и данные опубликованы.
Почему это важно
Офлайн-RAG на периферийных устройствах получает обновления в виде подписанных пакетов, и подпись обычно считают достаточной защитой. Работа показывает, что она не связывает векторы с текстом: пакет может быть подписан легитимным издателем, а векторы в нём при этом будут направлять поиск не к тому документу. Масштаб измерен: от единиц процентов запросов при идеальном допуске до 98-100% при практически откалиброванном пороге.
Кому это важно
Разработчикам и операторам офлайн-RAG на периферийных и встраиваемых устройствах, тем, кто распространяет обновления баз знаний с готовыми эмбеддингами, а также специалистам по безопасности цепочек поставки данных. Тем, кто использует сжатые векторные хранилища вроде FAISS с продуктовым квантованием, стоит учесть результаты аудита этих индексов.
Как это применить
Согласно статье, вместо пересчёта векторов с допуском по косинусной близости стоит проверять коды квантования: неоднозначность решает проверяющая сторона, применяются калиброванный защитный зазор и канонизация. В выборках авторов такая проверка принимала все честные векторы на трёх платформах. Авторы сообщают, что код и данные опубликованы; конкретная ссылка в аннотации не приведена.
Можно ли доверять
Это препринт, в доступном тексте, только аннотация. Все цифры получены самими авторами в экспериментах на пяти корпусах и двух моделях эмбеддингов; названия корпусов, моделей, конфигурации FAISS и локальной языковой модели на Raspberry Pi 5 в аннотации не указаны. Реальных случаев атак не описано: речь об измерениях в лабораторных условиях. Единица измерения для значений 0,75 и 0,39 не уточнена. Код и данные заявлены как открытые, что позволяет проверить результаты.
Риски и подводные камни
Оценки зависят от выбора допуска и порога: при идеализированном допуске угроза достигает 5,5% запросов, при откалиброванном по реальному сравнению CPU INT8 и FP32, 98-100%. Авторы отмечают, что распространённые конвейеры инференса не воспроизводятся побитово при разных размерах батча и на разных архитектурах, поэтому простая проверка совпадения пересчитанных векторов ненадёжна. Предложенная проверка кодов квантования проверена на выборках на трёх платформах; применимость за их пределами в аннотации не обсуждается. Авторы также сообщают об отрицательных результатах для отказа от ответа, обрезки контекста и семантической фильтрации.