Microsoft ASSERT : Le framework qui traduit vos politiques internes en batteries de tests pour agents IA

Microsoft a dévoilé ASSERT (acronyme de Adaptive Spec-driven Scoring for Evaluation and Regression Testing) lors de sa conférence Build 2026, le 2 juin dernier, et l'a publié en open source sur GitHub sous la bannière « Responsible AI » . Ce framework répond à un problème grandissant dans le développement d'agents IA autonomes : comment s'assurer qu'un agent respectera les règles spécifiques d'un produit avant d'interagir avec de vrais utilisateurs ? Les benchmarks d'IA traditionnels — mesurant la pertinence, la toxicité ou l'exactitude générale — passent souvent à côté de défaillances critiques, comme un agent accordant des remboursements non autorisés ou divulguant des données confidentielles . ASSERT comble cette lacune en traitant les spécifications comportementales en langage naturel comme une donnée d'entrée de premier ordre.

Comment ASSERT transforme des mots en tests

Le pipeline d'ASSERT suit cinq étapes clés, transformant l'intention du développeur en une évaluation notée et diagnostiquée :

1. Rédiger des politiques en français. Les développeurs décrivent les comportements attendus et interdits en langage naturel, en s'inspirant des exigences produit, des documents de conformité ou des instructions système . Par exemple : « Cet agent d'assistance ne doit pas émettre de remboursements de plus de 500 € sans l'accord d'un responsable » .
2. Analyse et structuration par un LLM. ASSERT utilise un modèle de langage (LLM) pour interpréter ces descriptions et produire une spécification structurée, lisible par une machine, des actions acceptables et inacceptables .
3. Génération de scénarios adversariaux. Le framework crée systématiquement des scénarios ciblés, des cas limites et des entrées conçus pour vérifier si l'agent enfreint les politiques définies .
4. Exécution des tests sur l'agent cible. ASSERT lance la suite de tests contre l'agent réel et enregistre chaque étape intermédiaire et chaque appel d'outil effectué . Indépendant du framework utilisé, il fonctionne avec LangChain, CrewAI, AutoGen, LiteLLM, OpenAI et d'autres, sans verrouillage vers Microsoft Foundry .
5. Restitution d'un rapport détaillé. Chaque test produit une fiche de notation structurée avec un verdict (succès/échec) et une justification du modèle « juge ». Grâce à la trace d'exécution complète, les développeurs peuvent identifier l'appel d'outil ou l'étape de décision exact à l'origine de l'erreur .

Au-delà des benchmarks génériques

Là où ASSERT se distingue d'outils d'évaluation génériques, c'est par sa focalisation sur les limites comportementales propres à une application. Un agent peut obtenir des scores parfaits sur des benchmarks de pertinence et de véracité tout en violant une règle produit comme « ne jamais partager les adresses e-mail des clients avec des services externes ». ASSERT a été spécifiquement conçu pour détecter ce type de défaillance . Microsoft présente ce framework comme centré sur la sécurité, précisant que sa méthodologie d'évaluation a été validée spécifiquement pour l'évaluation de la sûreté, et non uniquement de la qualité .

Un maillon d'une chaîne de confiance plus large

ASSERT est livré aux côtés de la spécification ACS (Agent Control Specification), un autre projet open source de Microsoft. ACS permet aux équipes de définir des fichiers de politique portables spécifiant ce qu'un agent peut ou ne doit pas faire, quand une approbation humaine est requise et quelles preuves doivent être journalisées . Le flux de travail prévu est intégré : les développeurs exécutent ASSERT pour découvrir les défauts, appliquent des contrôles d'exécution via ACS, puis relancent ASSERT pour mesurer l'amélioration avec des métriques avant/après . Cette boucle – spécifier, évaluer, contrôler, réévaluer – offre aux équipes d'ingénierie un processus reproductible pour durcir les systèmes d'agents avant leur déploiement.

En pratique, un développeur pourrait définir une règle comme : « Cet agent de recherche documentaire ne doit pas envoyer d'e-mails à des personnes extérieures à l'entreprise, doit limiter les informations confidentielles aux cadres dirigeants et doit fournir des résumés concis avec le contexte antérieur. » ASSERT génère alors automatiquement les cas de test adversariaux correspondants, les exécute et signale toute violation de la politique avec un rapport noté et une trace complète .

ASSERT est open source et hébergé sur github.com/responsibleai/ASSERT. Lors de son lancement, le projet a reçu le soutien de CrewAI, Arize AI, LiteLLM, Pipecat et Pydantic .