EndoUT: универсальные триггеры в среднем на 40,2 п.п. снижают качество нейросетей

Препринт на arXiv предлагает метод EndoUT для поиска универсальных состязательных триггеров, короткого фиксированного фрагмента текста, который при добавлении в контекст ухудшает работу языковой модели на безобидных задачах. Исходный вопрос авторов: можно ли обнаружить такую уязвимость контекста, если неизвестна форма самой задачи и нет обратной связи по результатам? Обычные методы состязательных промптов и red-teaming (проверки модели на устойчивость) определяют сбои через метки задач, вредоносные цели, оценки судьи или показатели полезности. Здесь ничего из этого не используется.

Как это устроено. EndoUT использует сиамскую схему: одну и ту же замороженную атакуемую модель запускают на «чистой» версии каждой инструкции без разметки и на версии с вставленным фрагментом. Чистый прогон даёт эталон, предпочитаемый моделью токен начала ответа при данной инструкции. Метрика Endogenous Preference Disruption (EPD, «разрушение внутреннего предпочтения») измеряет, насколько вставка ослабляет это предпочтение. Вспомогательный генератор предлагает фрагменты ограниченной длины; EPD направляет его обновление и ранжирует пул кандидатов без доступа к информации о downstream-задачах (итоговых задачах). Фрагмент с наивысшим баллом для конкретной модели фиксируют до оценки и без изменений применяют ко всем отложенным входам.

Результаты, о которых сообщают авторы. На четырёх instruction-tuned моделях (дообученных на инструкциях) и девяти бенчмарках фиксированные триггеры снижают полезность на безобидных задачах в среднем на 40,2 процентного пункта. Среднее изменение отрицательно на каждом бенчмарке, а средняя деградация больше, чем у каждого из оценённых базовых методов в заявленных протоколах. Парные абляции (сравнения с отключением отдельных частей протокола) показывают: отбор на стороне источника с последующим фиксированным повторным использованием переносится лучше, чем повторное использование триггера, найденного при пустом контексте, или генерация под каждый вход. Перенос воспроизводится у разных генераторов предложений, но его сила зависит от генератора. Анализ выходов выявляет связи между семействами триггеров и типами сбоев, причём эти связи специфичны для конкретной модели.

Вывод авторов: «чистое» поведение модели может выявлять уязвимости контекста, которые переносятся между входами, но проявляются через структурированные, специфичные для модели паттерны потери полезности. Код и данные обещают опубликовать после принятия работы.

Ключевые факты

  • EndoUT ищет универсальный триггер, фиксированный фрагмент текста, без меток задач, вредоносных целей и обратной связи по итоговым задачам, опираясь на поведение замороженной модели на «чистых» инструкциях.
  • Метрика EPD измеряет, насколько вставка ослабляет предпочитаемый моделью токен начала ответа; ею же направляется генератор кандидатов и ранжируется пул.
  • По данным авторов, на четырёх моделях и девяти бенчмарках фиксированные триггеры снижают полезность в среднем на 40,2 процентного пункта, с отрицательным средним изменением на каждом бенчмарке.
  • Заявлено, что средняя деградация больше, чем у каждого из оценённых базовых методов в заявленных протоколах.
  • Код и данные обещаны только после принятия работы.

Почему это важно

Развёрнутые языковые модели должны оставаться полезными, когда в контекст попадает недоверенный текст. Новизна работы, в том, что уязвимость ищется без разметки задач и без обратной связи: достаточно сравнить поведение одной и той же замороженной модели на чистом и изменённом входе. Если заявленные результаты подтвердятся, это означает, что для поиска таких слабых мест не нужны ни целевые ответы, ни оценки судьи. Авторы приводят средний провал полезности в 40,2 процентного пункта по четырём моделям и девяти бенчмаркам.

Кому это важно

Исследователям безопасности и устойчивости языковых моделей, командам, проводящим red-teaming, и тем, кто встраивает модели в продукты, где в промпт может попасть чужой текст. Для остальных читателей это пока научный результат, а не готовая угроза.

Как это применить

Напрямую, пока никак: код и данные обещаны только после принятия работы, то есть не опубликованы. Идея, которую можно взять на заметку: оценивать устойчивость модели по сдвигу её собственного предпочтения (токен начала ответа на чистой инструкции), а не по внешним меткам. Какие именно четыре модели и девять бенчмарков использованы, в аннотации не названо.

Можно ли доверять

Это препринт на arXiv; в аннотации не сказано, прошла ли работа рецензирование и принята ли она (код и данные обещаны после принятия). Все цифры, самооценка авторов. Названы только среднее значение 40,2 п.п. и общие формулировки; значений по отдельным моделям и бенчмаркам, а также величины деградации у базовых методов в аннотации нет. Само превосходство над базовыми методами заявлено «в заявленных протоколах».

Риски и подводные камни

Среднее в 40,2 п.п. скрывает разброс по моделям и задачам: данных по ним нет. Длина и содержание найденных фрагментов в аннотации не указаны. Авторы подчёркивают, что проявления деградации специфичны для конкретной модели, а сила переноса зависит от генератора кандидатов. Заявлений о реальных атаках или о затронутых промышленных продуктах в аннотации нет, как нет и описания защитных мер. Метод может быть полезен и для проверки устойчивости, и для построения атак; пока код не опубликован, воспроизвести результат нельзя.