Mistral выпустила Shieldstral, 3B-модель для модерации контента
Mistral выпустила Shieldstral, модель-классификатор для модерации контента на 3 млрд параметров с открытыми весами под лицензией Apache 2.0. Модель стала одним из первых релизов Open Secure AI Alliance, альянса, который Mistral запустила вместе с NVIDIA и другими организациями (какие именно ещё вошли в альянс, в тексте не названо).
Проблема, которую решает Shieldstral: большинство моделей-«охранников» (guardrail models) зашивают фиксированный набор категорий вреда прямо в веса. Чтобы перенастроить такую модель под новый продукт или другую аудиторию, её приходится переобучать, а единого правильного набора категорий не существует, потому что один и тот же контент может быть нормальным для инструмента кибербезопасности и вредным для платформы о психическом здоровье.
Shieldstral решает это иначе: правило модерации формулируется как обычный вопрос на естественном языке прямо во время запроса (inference time), а не зашивается в модель заранее. Запрос к модели состоит из трёх частей: Instruct, контекст оценки и строгость правил, Query, один вопрос вида «да/нет» (например, «продвигает ли этот контент насилие против защищённой группы?»), и Document, сам проверяемый контент: промпт, ответ модели, пара промпт-ответ или изображение с текстом. Модель считывает логиты токенов «да» и «нет» и через softmax превращает их в непрерывную калиброванную оценку безопасности, а не в дискретную метку, это позволяет задавать порог отсечения или ранжировать результаты по уверенности.
По заявлению Mistral, Shieldstral сопоставима или превосходит открытые guard-модели в 7 раз большего размера по безопасности текста, детекции отказов, адаптивности к новым правилам и мультимодальным бенчмаркам, а на мультимодальной модерации показывает новый лучший результат среди открытых моделей. Конкретные числовые значения бенчмарков в исходном тексте не приведены, есть только это заявление о сравнении с моделями большего размера.
Модель работает на одном GPU с 16 ГБ памяти. При обучении Mistral унифицировала разнородные датасеты модерации (с разными таксономиями и форматами разметки) в единый формат Instruct-Query-Document, откалибровала строгость под каждый источник данных отдельно и с помощью LLM сгенерировала контрастные пары текста, где похожие правила нарушаются избирательно, это учит модель различать конкретные правила, а не запоминать фиксированный список категорий. Для визуальной безопасности, где данных мало (небезопасные изображения нельзя, в отличие от текста, синтезировать с помощью LLM), Mistral дополнила выборку общими датасетами изображений как «качественными негативными примерами» и отфильтровала пары изображение-вопрос через vision-language реранкер. Итоговая модель собрана слиянием через SLERP нескольких чекпоинтов, дообученных LoRA: одного, откалиброванного на публичных данных, второго, с точной различительной способностью по сгенерированным данным, и базовой инструктивной модели. Обучение проводилось на внутренней платформе Mistral под названием Forge.
В планах Mistral, расширить мультиязычную поддержку, повысить устойчивость к длинным документам и расширить мультимодальную безопасность.
Ключевые факты
- Shieldstral, открытая модель модерации контента на 3 млрд параметров, веса выпущены под Apache 2.0
- Правило модерации задаётся вопросом на естественном языке прямо во время запроса, без переобучения модели под новый набор категорий
- Одна модель проверяет и текст, и изображения; работает на одном GPU с 16 ГБ памяти
- По заявлению Mistral, модель сопоставима или превосходит открытые guard-модели в 7 раз большего размера, конкретные цифры бенчмарков в тексте не приведены
- Релиз приурочен к запуску Open Secure AI Alliance, альянса Mistral и NVIDIA (другие участники не названы)
Почему это важно
Большинство моделей-«охранников» жёстко зашивают набор категорий вреда в свои веса: чтобы адаптировать такую модель под новый продукт или другую аудиторию, её нужно переобучать заново. Mistral предлагает другой подход, правило модерации подаётся как вопрос на естественном языке прямо в момент запроса, и одна и та же модель без переобучения подстраивается под любую политику: строгую для исследований по кибербезопасности или мягкую для платформы о здоровье.
Кому это важно
В первую очередь, командам, которые встраивают модерацию в собственные продукты на базе языковых моделей: им больше не нужно переобучать guard-модель под каждый новый продукт или изменение политики контента. Также релиз интересен исследователям безопасности ИИ и участникам Open Secure AI Alliance, альянса, который Mistral запускает вместе с NVIDIA.
Как это применить
Веса Shieldstral доступны для скачивания под лицензией Apache 2.0, модель работает на одном GPU с 16 ГБ памяти. Запрос к модели строится из трёх частей: контекст и строгость оценки, один вопрос вида «да/нет» о содержимом и сам проверяемый контент, текст, изображение или их комбинация. Модель возвращает калиброванную числовую оценку безопасности, а не просто метку, что позволяет задавать собственный порог отсечения.
Можно ли доверять
Источник, официальный блог Mistral, компании-разработчика, то есть текст описывает собственный продукт компании. Заявления о превосходстве над guard-моделями в 7 раз большего размера принадлежат самой Mistral; конкретные числовые результаты бенчмарков в доступном тексте не приведены, есть только графики и общая формулировка сравнения. Независимой проверки этих цифр в источнике нет.
Риски и подводные камни
В тексте не названы ни точная дата релиза, ни конкретные числовые значения бенчмарков, ни остальные участники Open Secure AI Alliance помимо Mistral и NVIDIA. Мультиязычная поддержка заявлена лишь как направление будущей работы, а не как готовая возможность. Автор поста в источнике не персонализирован, компания говорит от первого лица множественного числа.