Mistral Shieldstral 1.0: 3-миллиардный классификатор безопасности с открытым весом, который превосходит модели в 7 раз больше

Как работает архитектура модерации «вопрос-ответ»

Shieldstral оценивает контент на соответствие политике, сформулированной в виде вопроса на естественном языке, требующего ответа «да» или «нет». Запрос состоит из трех частей :

• <Instruct>: Рамки задачи высокого уровня — контекст оценки и уровень строгости (опционально — определение того, что считается небезопасным).
• <Query>: Единственный вопрос «да/нет» о документе, например: «Продвигает ли этот контент физическое насилие?»
• <Document>: Контент для оценки — промпт, ответ, пара «промпт-ответ» или изображение (опционально с текстом).

Модель возвращает единую непрерывную оценку безопасности за один прямой проход, которую можно порогово обработать для принятия бинарного решения «безопасно/небезопасно» . Mistral рекомендует использовать одну политику на запрос; для нескольких политик каждая получает свой вызов инференса .

Такая конструкция устраняет необходимость в фиксированной таксономии вредоносности, заложенной во время обучения. Вместо этого Shieldstral адаптируется к любой политике, которую разработчик может выразить в виде вопроса «да/нет» — это позволяет объединять разнородные наборы данных по безопасности, построенные на разных таксономиях, в единую структуру обучения .

Производительность в бенчмарках безопасности

Shieldstral не уступает или превосходит открытые модели-ограничители до 7× своего размера в текстовой безопасности и устанавливает новый стандарт в мультимодальной безопасности . Ниже приведены результаты из опубликованных оценок Mistral :

Классификация текстовой безопасности — F1 (%)

Мультимодальная безопасность — F1 (%)

Общий показатель F1 для текстовой безопасности: 84.9%; для мультимодальной безопасности: 83.8% — выше, чем у всех протестированных моделей . В текстовой безопасности Shieldstral показывает 84.9%, что равно показателю GPT-OSS-Safeguard-20B — модели почти в 7 раз больше .

Ключевые характеристики и лицензирование

Планы на будущее

У Mistral нет опубликованной дорожной карты для Shieldstral после версии 1.0. Модель позиционируется как один из первых участников альянса Open Secure AI Alliance (совместно с NVIDIA и другими) и как фундаментальный строительный блок для адаптивной к политике безопасности . Учитывая амбиции Mistral стать «полноценным игроком» в области ИИ — от чипов в центрах обработки данных до программных приложений, — будущие итерации Shieldstral могут включать больший масштаб, более широкую поддержку модальностей или более тесную интеграцию с агентными инструментами Mistral (Vibe, Forge) и корпоративным стеком развертывания . Никакой периодичности выпуска версий или конкретных сроков реализации функций объявлено не было.

Управление и практическое значение

Поскольку Shieldstral выпущен с открытыми весами под лицензией Apache 2.0, любая организация может загрузить и запустить модель самостоятельно без коммерческого соглашения с Mistral . Это переносит управление модерацией контента внутрь компании: команды могут адаптировать таксономии вредоносности под конкретную аудиторию или контекст развертывания без переобучения базовой модели, а также устанавливать пороговые значения оценок безопасности в соответствии с собственным уровнем толерантности к риску . Модель предназначена для модерации промптов, модерации ответов, классификации пар «промпт-ответ», обнаружения отказов и общей фильтрации безопасности для текстовых и графических входных данных .