Нейросетевые агенты выдают секреты «мозаикой» из документов

В статье, опубликованной в разделе Hugging Face Papers, описан «мозаичный эффект» (mosaic effect) в агентах на больших языковых моделях. Современные агенты умеют извлекать информацию из доступных им документов, а затем раскрывать чувствительный вывод, собранный из этих фрагментов. Каждый документ по отдельности может быть безобидным, но их сочетание выдаёт то, что раскрывать было нельзя. Для агентов, работающих с конфиденциальными данными, это серьёзный риск.

Авторы измерили, как часто это происходит. Они подготовили 30 синтетических примеров из областей кибербезопасности, медицины и военного дела. В контролируемой симуляции три агента на больших языковых моделях дали 10 800 итоговых ответов, а ещё 1 440 ответов получили от «живых» агентов в двух открытых программных средах (harness, обвязка для запуска агентов).

Главные результаты. Даже при безобидных запросах, рассчитанных на ответ из одного документа, лучшая из протестированных моделей, GPT-5.6-Sol, раскрывала запрещённые составные выводы в 7,08% ответов в симуляции (95%-й доверительный интервал: 3,75-10,67%). В живых средах доля раскрытий оказалась хуже. Если добавить видимые грифы секретности (заголовки классификации) и явные правила агрегации, общая доля раскрытий заметно снижается, но небезопасные раскрытия остаются в 32,37% симулированных ответов (95%-й интервал: 28,33-36,19%) по всем типам запросов.

Отдельно авторы отмечают: рост числа отказов не гарантирует конфиденциальности, потому что заметная часть отказов сама раскрывает запрещённый вывод. Итог в аннотации: утечки чувствительных данных через события мозаичного типа, наблюдаемый сбой конфиденциальности в оцениваемых условиях, причём с немалой частотой. Результаты, по словам авторов, обосновывают более жёсткий контроль над тем, что агентам позволено выводить и раскрывать в средах с чувствительными данными, где работают пользователи с разными уровнями допуска.

Ключевые факты

«Мозаичный эффект»: агент собирает из доступных документов чувствительный вывод и раскрывает его, хотя каждый документ по отдельности может быть безобидным.
Тест: 30 синтетических примеров (кибербезопасность, медицина, военное дело), 10 800 ответов трёх агентов в симуляции и 1 440 ответов живых агентов в двух открытых средах.
Лучшая протестированная модель GPT-5.6-Sol раскрывала запрещённые составные выводы в 7,08% ответов в симуляции (95%-й интервал 3,75-10,67%) даже при безобидных запросах; в живых средах результаты хуже.
Видимые грифы секретности и явные правила агрегации сильно снижают долю раскрытий, но небезопасные раскрытия остаются в 32,37% симулированных ответов (интервал 28,33-36,19%).
Больше отказов, не значит больше конфиденциальности: значительная часть отказов сама выдаёт запрещённый вывод.

Почему это важно

Обычные проверки доступа смотрят на отдельные документы: можно ли этот пользователь читать этот файл. Мозаичный эффект показывает другой путь утечки: агент объединяет разрешённые фрагменты и сам формулирует вывод, который показывать не следовало. По данным статьи, это не редкий случай: даже лучшая из протестированных моделей, GPT-5.6-Sol, допускала такое в 7,08% ответов в симуляции на безобидных запросах, а в живых средах результат был хуже.

Кому это важно

Командам, которые подключают агентов к корпоративным и закрытым хранилищам данных: в кибербезопасности, медицине, оборонной сфере (именно эти области взяты в тестовые примеры). Особенно там, где с одним агентом работают пользователи с разными уровнями допуска. Также исследователям, оценивающим безопасность агентов.

Как это применить

Статья указывает на две меры: видимые заголовки классификации в документах и явные правила агрегации для агента. Они заметно снижают общую долю раскрытий, но полностью проблему не снимают: небезопасные раскрытия сохранились в 32,37% симулированных ответов. Поэтому при проектировании доступа агента стоит учитывать не только права на чтение документов, но и то, что агент может вывести из их сочетания, и проверять это на собственных сценариях. Других конкретных мер в источнике не описано.

Можно ли доверять

Это препринт с аннотацией на странице Hugging Face; сам текст статьи в пересказе не использован. Эксперименты проведены на 30 синтетических примерах, реальных инцидентов с мозаичными утечками в источнике не приводится. Результат по GPT-5.6-Sol взят из самой статьи, а не из официального релиза модели. Оценки даны с доверительными интервалами, и они довольно широкие (например, 3,75-10,67%). Авторы сами ограничивают вывод «оцениваемыми условиями».

Риски и подводные камни

Цифры 7,08% и 32,37% относятся к симуляции и к разным условиям (первая, для лучшей модели при безобидных запросах, вторая, для всех типов запросов при включённых мерах защиты); складывать или сравнивать их напрямую нельзя. Доля раскрытий в живых средах не указана числом, сказано лишь, что она хуже. Две другие модели из симуляции и две открытые среды в источнике не названы. Ставка на отказы как защиту ненадёжна: отказ сам может выдать запрещённый вывод.

«Утечки чувствительных данных через события мозаичного типа, наблюдаемый сбой конфиденциальности в оцениваемых условиях при немалой частоте.»

— из аннотации статьи на Hugging Face Papers