Microsoft ASSERT : Le framework qui traduit vos politiques internes en batteries de tests pour agents IA

Au-delà des benchmarks génériques

Là où ASSERT se distingue d'outils d'évaluation génériques, c'est par sa focalisation sur les limites comportementales propres à une application. Un agent peut obtenir des scores parfaits sur des benchmarks de pertinence et de véracité tout en violant une règle produit comme « ne jamais partager les adresses e-mail des clients avec des services externes ». ASSERT a été spécifiquement conçu pour détecter ce type de défaillance . Microsoft présente ce framework comme centré sur la sécurité, précisant que sa méthodologie d'évaluation a été validée spécifiquement pour l'évaluation de la sûreté, et non uniquement de la qualité .

Un maillon d'une chaîne de confiance plus large

ASSERT est livré aux côtés de la spécification ACS (Agent Control Specification), un autre projet open source de Microsoft. ACS permet aux équipes de définir des fichiers de politique portables spécifiant ce qu'un agent peut ou ne doit pas faire, quand une approbation humaine est requise et quelles preuves doivent être journalisées . Le flux de travail prévu est intégré : les développeurs exécutent ASSERT pour découvrir les défauts, appliquent des contrôles d'exécution via ACS, puis relancent ASSERT pour mesurer l'amélioration avec des métriques avant/après . Cette boucle – spécifier, évaluer, contrôler, réévaluer – offre aux équipes d'ingénierie un processus reproductible pour durcir les systèmes d'agents avant leur déploiement.

En pratique, un développeur pourrait définir une règle comme : « Cet agent de recherche documentaire ne doit pas envoyer d'e-mails à des personnes extérieures à l'entreprise, doit limiter les informations confidentielles aux cadres dirigeants et doit fournir des résumés concis avec le contexte antérieur. » ASSERT génère alors automatiquement les cas de test adversariaux correspondants, les exécute et signale toute violation de la politique avec un rapport noté et une trace complète .

ASSERT est open source et hébergé sur github.com/responsibleai/ASSERT. Lors de son lancement, le projet a reçu le soutien de CrewAI, Arize AI, LiteLLM, Pipecat et Pydantic .