Оценки безопасности защитных фильтров ИИ зависят от определения «небезопасного» в обучении
Авторы препринта (страница на Hugging Face Papers) утверждают, что защитный классификатор (guardrail) принято описывать так, будто «небезопасность», свойство текста. По их мнению, это не так: это свойство политики, а политика попадает в модель через разметку.
Основа исследования, случайность в одном промышленном внедрении: одни и те же примерно 53 тысячи запросов были размечены дважды, по двум рабочим определениям «небезопасного»: «это запрос на вредоносный контент?» и «заблокировал бы это модератор?». На этих двух разметках обучили десять вариантов (arms) защитного фильтра с общей архитектурой, кодовой базой и семейством оптимизаторов, в двух размерах моделей.
Первый результат, загрязнение данных. Обучающий корпус самого фильтра уже содержал бенчмарки: JailbreakBench-benign присутствует в обучающих выборках на 88%, OR-Bench-hard, на 82%. Это два бенчмарка на избыточные отказы, те, что защитный фильтр приводит, чтобы доказать, что он не блокирует лишнего. Все остальные результаты в работе получены на очищенных от пересечений данных.
Второй результат, бенчмарки резко различаются по тому, какую часть балла определяет определение в разметке, а не сама модель. При фиксированных архитектуре и оптимизаторе разброс между десятью вариантами составляет 0,99 на HarmBench-copyright и 0,043 на WildGuard-benign, разница в 23 раза.
Третий результат, оценку на бенчмарке можно сдвинуть по всему диапазону, изменив лишь 0,03% параметров. У этих вариантов балл HarmBench-copyright охватывает диапазон 0-100, а доля избыточных отказов на OR-Bench-hard, 3,4-56,4%. Четыре варианта, у которых последний сигнал обучения несёт определённую политику, занимают крайнее положение на обоих бенчмарках (точный ранговый тест: p=0,005, в худшем случае 0,04-0,14), причём способность обнаруживать вредное не меняется. Для дистиллированной модели-ученика то же делают мягкие метки учителя, даже когда все жёсткие метки несут другую политику. Поэтому происхождение учителя, незафиксированный искажающий фактор в любой опубликованной контрольной точке.
Четвёртый результат, точность на валидации по единственной выборке, которая оценивает все двадцать вариантов, коррелирует со согласием с политикой разметчика (rho=+0,74), а не со способностью обнаруживать вредное (rho=+0,34).
Вывод авторов: в оценках защитных фильтров загрязнение, seed floor и определение, по которому ставились оценки, нужно указывать как полноценные переменные.
Ключевые факты
- Одни и те же ~53 тысячи запросов размечены дважды, по определениям «запрос на вредоносный контент?» и «заблокировал бы модератор?»; на них обучены десять вариантов фильтра в двух размерах моделей.
- Обучающий корпус исследованного фильтра уже содержал бенчмарки: JailbreakBench-benign на 88%, OR-Bench-hard на 82%.
- При фиксированных архитектуре и оптимизаторе разброс между вариантами, 0,99 на HarmBench-copyright и 0,043 на WildGuard-benign (в 23 раза).
- Балл на бенчмарке можно сдвинуть по всему диапазону, изменив 0,03% параметров; точность на валидации лучше связана с согласием с политикой разметчика (rho=+0,74), чем со способностью обнаруживать вредное (rho=+0,34).
- Авторы предлагают указывать в оценках загрязнение, seed floor и определение «небезопасного» как полноценные переменные.
Почему это важно
Если баллы защитного фильтра во многом определяются тем, какое определение «небезопасного» заложено в разметку, то сравнение таких фильтров по бенчмаркам может отражать различие политик, а не различие в способности обнаруживать вредное. По данным авторов, на HarmBench-copyright оценки у вариантов занимают диапазон 0-100, а доля избыточных отказов на OR-Bench-hard, 3,4-56,4% при неизменной способности обнаруживать вредное.
Кому это важно
Командам, которые обучают или выбирают защитные классификаторы и сравнивают их по опубликованным таблицам бенчмарков. Исследователям безопасности и авторам бенчмарков, которым стоит учитывать зависимость баллов от определения в разметке. Тем, кто публикует контрольные точки дистиллированных моделей: по выводу авторов, происхождение учителя, незафиксированный искажающий фактор.
Как это применить
Практический вывод авторов: при оценке фильтра указывать уровень загрязнения обучающих данных бенчмарками, seed floor и определение «небезопасного», по которому ставились оценки, как полноценные переменные результата. При чтении чужих отчётов стоит проверять, пересекаются ли бенчмарки с обучающими данными и какая политика стоит за разметкой.
Можно ли доверять
Это препринт, представленный на странице Hugging Face Papers; в доступном тексте приведена только аннотация. Названия авторов, организаций и промышленного внедрения в ней нет, размеры моделей и архитектура не указаны, поэтому проверить результаты по этому тексту нельзя. Результаты получены на одном внедрении и разметке по двум определениям, поэтому переносить их на другие фильтры стоит осторожно. Авторы приводят статистику (например, p=0,005 для крайнего положения четырёх вариантов, в худшем случае 0,04-0,14).
Риски и подводные камни
В аннотации не раскрыто, как именно за счёт 0,03% параметров оценка сдвигается по всему диапазону, и какие именно варианты дают крайние значения. Упоминаются и десять вариантов, и двадцать оцениваемых на валидации, а как получается двадцать, не уточняется. Загрязнение обнаружено у исследованного в работе фильтра; из текста нельзя заключить, что то же верно для конкретных коммерческих продуктов.
«Это не так: это свойство политики, а политика попадает в модель через её метки.»
— Авторы препринта, аннотация на Hugging Face Papers, о том, что «небезопасность» не является свойством текста