PolicyShiftGuard: ИИ-модель научили применять разные политики модерации изображений
Системы модерации изображений (guardrails) обычно обучают и проверяют при одной фиксированной политике безопасности, как будто «опасность» это неизменное свойство самой картинки. На практике это не так: одно и то же изображение может быть разрешено в одном продукте, ограничено в другом и внезапно запрещено, когда правила меняются. Автор Mingyang Song с коллегами изучили задачу policy-adaptive guardrailing: модель должна не просто оценить картинку, а решить, нарушает ли она ИМЕННО ТУ политику, которую ей передали сейчас, и правильно применять даже незнакомые ей ранее формулировки правил.
Для проверки этого авторы собрали бенчмарк PolicyShiftBench: 2000 тестовых примеров на основе 265 изображений, где к каждой картинке в среднем привязано 7,55 разных формулировок политики. Так проверяется, реагирует ли модель на актуальную политику или просто выдаёт готовый вердикт по самой картинке, игнорируя правила.
Затем авторы предложили PolicyShiftGuard, компактную модель-guardrail, которая принимает на вход политику вместе с изображением. Обучение идёт в два этапа: Randomized Policy SFT (RP-SFT), дообучение на случайно перемешанных формулировках политик, и Boundary-Pair Policy Adaptation (BP-Adapt), дообучение на парах одинаковых изображений и категорий риска, где для одной и той же картинки сравниваются политика, которая её блокирует, и политика, которая её пропускает; модель учат различать эту границу через функцию потерь на сравнение пар.
Эксперименты показали, что существующие визуально-языковые модели (VLM) и специализированные guardrail-системы плохо справляются при смене политики, их точность заметно падает. PolicyShiftGuard в версии на 7 миллиардов параметров показала лучший результат среди всех проверенных моделей: 76,9 по метрике Avg. F1 и 72,1 по метрике Avg. PSS на PolicyShiftBench. Модель также хорошо перенеслась на два других бенчмарка, UnSafeBench и SafeEditBench, и за счёт компактного формата вывода дала лучшее соотношение задержки и качества (быстрее отвечает при сравнимой точности). Отдельные эксперименты (абляции) подтвердили: именно обучение на парах «блокирующая политика, пропускающая политика» для одной и той же картинки критично для устойчивой адаптации к смене правил.
Ключевые факты
- Обычные guardrail-модели модерации изображений обучены под одну фиксированную политику и плохо адаптируются, когда правила меняются
- Новый бенчмарк PolicyShiftBench: 2000 примеров на 265 изображениях, в среднем 7,55 формулировок политики на картинку
- Метод обучения PolicyShiftGuard совмещает Randomized Policy SFT и Boundary-Pair Policy Adaptation (BP-Adapt), обучение на парах "блокирует/пропускает" для одной картинки
- Модель на 7 млрд параметров показала лучший результат: 76,9 Avg. F1 и 72,1 Avg. PSS на PolicyShiftBench
- Модель хорошо перенеслась на бенчмарки UnSafeBench и SafeEditBench и дала лучшее соотношение скорости и качества за счёт компактного формата ответа
Почему это важно
Модерация контента в реальных продуктах не статична: правила того, что можно показывать, регулярно меняются, по юрисдикции, возрасту аудитории, политике конкретной платформы. Большинство существующих guardrail-моделей эту динамику игнорируют: они обучены под одну застывшую политику и трактуют «опасность» как свойство самого изображения, а не как результат применения конкретных правил. Работа впервые системно измеряет, насколько сильно это ломает точность модерации при смене политики, и предлагает архитектуру, которая учитывает политику как отдельный вход, а не игнорирует её.
Кому это важно
В первую очередь, командам, которые строят или встраивают системы модерации изображений: соцсети, маркетплейсы, генеративные ИИ-сервисы с загрузкой картинок, платформы с разными региональными и возрастными политиками. Также полезно исследователям в области безопасности ИИ и мультимодальных моделей, которые оценивают устойчивость guardrail-систем.
Как это применить
PolicyShiftGuard предлагается как компактная (7B) модель, которую можно дообучать под собственный набор политик модерации по описанному рецепту (RP-SFT + BP-Adapt) вместо того, чтобы переобучать модель заново под каждое изменение правил. Компактный формат вывода снижает задержку ответа, что важно для модерации в реальном времени. Бенчмарк PolicyShiftBench можно использовать как отдельный инструмент проверки, насколько чувствительна существующая система модерации к смене политики, до внедрения в продакшен.
Можно ли доверять
Результаты получены на собственном бенчмарке авторов (PolicyShiftBench), что типично для новых работ в этой узкой области, но важно учитывать при интерпретации метрик. Перенос модели на два независимых внешних бенчмарка (UnSafeBench и SafeEditBench) с сохранением хорошего качества, довод в пользу того, что результат не переобучен именно под собственный тестовый набор. Работа опубликована как препринт без указания рецензирования; независимого воспроизведения результатов пока нет.
Риски и подводные камни
Работа узкоспециализированная: она решает конкретную инженерную проблему модерации изображений под меняющиеся политики, а не общую задачу безопасности ИИ. Метрики (Avg. F1, Avg. PSS) сравнивают модели между собой на конкретных тестовых наборах и не гарантируют такого же качества на реальных, более разнообразных данных конкретного продукта. Как и любая guardrail-модель, PolicyShiftGuard может ошибаться в обе стороны, пропускать запрещённое или блокировать разрешённое, и смена формулировки политики, сильно отличающейся от обучающих примеров, всё ещё может снижать точность.