Mistral Shieldstral 1.0: Sicurezza AI accessibile e potente

Come funziona il design di moderazione basato su domande e risposte

Shieldstral valuta i contenuti confrontandoli con una policy espressa come una domanda sì/no in linguaggio naturale. Una richiesta è composta da tre parti :

• <Istruzione>: L'inquadramento del compito ad alto livello — il contesto di valutazione e il livello di rigore (con la possibilità di definire cosa costituisce contenuto non sicuro).
• <Query>: Una singola domanda sì/no sul documento, ad esempio "Questo contenuto promuove violenza fisica?"
• <Documento>: Il contenuto da valutare — un prompt, una risposta, una coppia prompt-risposta o un'immagine (opzionalmente con testo allegato).

Il modello restituisce un unico punteggio di sicurezza continuo da una singola passata in avanti, che può essere sogliato per una decisione binaria sicuro/non sicuro . Mistral consiglia una policy per query; per policy multiple, ognuna richiede una chiamata di inferenza separata .

Questo design elimina la necessità di una tassonomia del danno fissa incorporata durante l'addestramento. Invece, Shieldstral si adatta a qualsiasi policy che uno sviluppatore possa esprimere come domanda sì/no — rendendo possibile consolidare diversi dataset di sicurezza costruiti su tassonomie differenti in un unico framework di addestramento .

Prestazioni nei benchmark di sicurezza

Shieldstral eguaglia o supera modelli di barriera aperti fino a 7× la sua dimensione nella sicurezza testuale e stabilisce un nuovo stato dell'arte nella sicurezza multimodale . I seguenti risultati provengono dalle valutazioni pubblicate da Mistral :

Classificazione di sicurezza testuale — F1 (%)

Sicurezza multimodale — F1 (%)

F1 complessiva per la sicurezza testuale: 84,9%; F1 per la sicurezza multimodale: 83,8% — superiore a tutti i modelli testati . Sulla sicurezza testuale, l'84,9% di Shieldstral è in parità con GPT-OSS-Safeguard-20B, un modello quasi 7 volte più grande .

Specifiche tecniche e licenza

Piani di sviluppo futuri

Mistral non ha pubblicato una roadmap specifica per Shieldstral oltre il rilascio 1.0. Il modello è posizionato come membro inaugurale dell'Open Secure AI Alliance (con NVIDIA e altri) e come blocco fondamentale per la sicurezza adattiva alle policy . Considerando l'ambizione dichiarata di Mistral di essere un "attore full-stack" nell'IA — dai chip nei data center alle applicazioni software — le iterazioni future di Shieldstral potrebbero vedere una scala maggiore, un supporto più ampio per le modalità o un'integrazione più stretta con gli strumenti agenziali di Mistral (Vibe, Forge) e lo stack di distribuzione aziendale . Non sono stati annunciati né una cadenza di versioni né una tempistica specifica per le funzionalità.

Governance e implicazioni pratiche

Poiché Shieldstral è rilasciato con pesi aperti e licenza Apache 2.0, qualsiasi organizzazione può scaricare e ospitare il modello autonomamente senza un accordo commerciale con Mistral . Questo sposta la governance della moderazione dei contenuti all'interno dell'organizzazione: i team possono adattare le tassonomie del danno a pubblici o contesti di implementazione specifici senza riaddestrare il modello sottostante, e possono sogliare i punteggi di sicurezza in base alla propria tolleranza al rischio . Il modello è progettato per la moderazione di prompt, risposte, la classificazione di coppie prompt-risposta, il rilevamento di rifiuti e il filtraggio generale di sicurezza su input di testo e immagini .