Microsoft ASSERT: Sådan fanger du AI-agenters fejl, før de rammer produktion

1. Start med regler på almindeligt dansk (eller engelsk). Udviklere beskriver forventet og forbudt adfærd på naturligt sprog, direkte fra produktkrav, compliance-dokumenter, system-prompts eller tjeklister . For eksempel: "Denne supportagent må ikke godkende refusioner over 3.500 kroner uden en leders godkendelse."

2. En LLM analyserer specifikationerne til strukturerede regler. ASSERT bruger en sprogmodel til at fortolke de frit-formulerede beskrivelser og producere en maskinlæsbar specifikation af acceptable og uacceptable handlinger .

3. Generering af angrebs-scenarier. Frameworket skaber systematisk målrettede scenarier, edge cases og inputs, der er designet til at udfordre, om agenten overtræder de angivne politikker . Det er lidt ligesom en venlig, men ubønhørlig "rød team"-tester, der prøver at narre din agent.

4. Udfør testen mod den målrettede agent. ASSERT kører testene mod agentens egentlige implementering og registrerer hvert eneste trin og funktionskald, agenten foretager undervejs . Værktøjet er framework-agnostisk og spiller sammen med blandt andet LangChain, CrewAI, AutoGen, LiteLLM og OpenAI – du er altså ikke låst fast til Microsofts eget Foundry-miljø .

5. Modtag en scoret, sporbar rapport. Hver test genererer et struktureret scorecard med en bestået/ikke-bestået-konklusion og en detaljeret begrundelse fra en "dommermodel". Fordi hele eksekveringssporet bevares, kan udviklere bore helt ned i det præcise funktionskald eller beslutningspunkt, hvor agenten fejlede .

Mere end bare endnu et benchmark

Det, der adskiller ASSERT fra generiske evalueringsværktøjer, er fokus på applikationsspecifikke adfærdsgrænser. En agent kan score perfekt i benchmarks for hjælpsomhed og sandfærdighed, men alligevel overtræde en produktregel som "del aldrig kunders e-mailadresser med eksterne tjenester." ASSERT er bygget til netop at fange den type fejl . Microsoft positionerer frameworket som sikkerhedscentreret og bemærker, at evalueringsmetoden specifikt blev valideret til sikkerhedsvurdering, ikke bare kvalitetsmålinger .

En del af en større tillidspakke

ASSERT sendes på markedet sammen med Agent Control Specification (ACS), et andet open source-projekt fra Microsoft, der lader teams definere bærbare politikfiler, som specificerer, hvad en agent må og ikke må, hvornår der kræves menneskelig godkendelse, og hvilken dokumentation der skal logges . Den tilsigtede arbejdsgang er integreret: Udviklere kører ASSERT først for at opdage fejl, anvender kørselskontroller via ACS og kører derefter ASSERT igen for at måle forbedringen med før-og-efter-målinger . Denne cyklus – specificer, evaluér, kontrollér, re-evaluér – giver udviklingsteams en gentagelig proces til at hærde agentiske systemer, inden de sættes i drift.

I praksis kunne en udvikler specificere en regel som: "Denne dokument-research-agent må ikke sende e-mails til personer uden for virksomheden, skal begrænse fortrolige oplysninger til C-level-ledere og skal levere koncise resuméer med forudgående kontekst." ASSERT ville så automatisk generere de tilsvarende modstridende testcases, køre dem og markere ethvert brud på politikken med en scoret rapport og et fuldt spor .

ASSERT er open source og ligger på github.com/responsibleai/ASSERT. Ved lanceringen fik det opbakning fra fællesskabet, herunder CrewAI, Arize AI, LiteLLM, Pipecat og Pydantic .