Hoe Microsofts ASSERT-framework AI-agenten test met gewone taal

1. Begin met beleid in gewone taal. Ontwikkelaars beschrijven verwacht en verboden gedrag in natuurlijke taal, afkomstig uit producteisen, compliance-documenten, systeemprompts of lanceringchecklists . Een voorbeeld: "Deze supportagent mag geen terugbetalingen van meer dan €500 uitvoeren zonder toestemming van een manager" .

2. LLM zet de specificaties om in gestructureerde regels. ASSERT gebruikt een taalmodel om de vrije-tekstbeschrijvingen te interpreteren en er een machinaal leesbare specificatie van te maken met acceptabele en onacceptabele handelingen .

3. Vijandige testcase-generatie. Het framework creëert systematisch gerichte scenario's, randgevallen en invoer die zijn ontworpen om te testen of de agent het genoemde beleid schendt .

4. Voer de suite uit tegen de doelagent. ASSERT draait de tests tegen de echte agentimplementatie en legt elke tussenstap en tool-aanroep vast die de agent onderweg maakt . Het is framework-agnostisch en werkt onder andere met LangChain, CrewAI, AutoGen, LiteLLM en OpenAI – ontwikkelaars zitten dus niet vast aan Microsoft Foundry .

5. Ontvang een gescoord, traceerbaar rapport. Elke test produceert een gestructureerd scorekaartje met een goed/fout-oordeel en een gedetailleerde onderbouwing van een beoordelingsmodel. Omdat het volledige uitvoeringstraject bewaard blijft, kunnen ontwikkelaars inzoomen op de exacte tool-aanroep of beslissingsstap waar de agent de fout in ging .

Meer dan algemene benchmarks

Wat ASSERT onderscheidt van generieke evaluatietools, is de focus op applicatiespecifieke gedragsgrenzen. Een agent kan perfect scoren op benchmarks voor behulpzaamheid en waarheidsgetrouwheid, maar toch een productregel schenden zoals "deel nooit e-mailadressen van klanten met externe diensten." ASSERT is speciaal gebouwd om die foutklasse te vangen . Microsoft positioneert het framework als veiligheidsgericht en merkt op dat de evaluatiemethode specifiek is gevalideerd voor veiligheidsbeoordeling, niet alleen voor kwaliteitsmetrieken .

Onderdeel van een groter vertrouwenssysteem

ASSERT wordt geleverd samen met de Agent Control Specification (ACS), een ander open-sourceproject van Microsoft waarmee teams draagbare beleidsbestanden kunnen definiëren. Hierin staat wat een agent wel en absoluut niet mag doen, wanneer menselijke goedkeuring nodig is en welk bewijs moet worden vastgelegd . De beoogde workflow is geïntegreerd: ontwikkelaars draaien eerst ASSERT om defecten te ontdekken, passen vervolgens runtime-controles toe via ACS, en draaien ASSERT daarna opnieuw om de verbetering te meten met voor-en-na-statistieken . Die lus – specificeren, evalueren, controleren, opnieuw evalueren – geeft engineeringteams een herhaalbaar proces om agentische systemen te harden vóór de uitrol.

In de praktijk kan een ontwikkelaar een regel specificeren als: "Deze documentonderzoeksagent mag geen e-mails sturen naar mensen buiten het bedrijf, moet vertrouwelijke informatie beperken tot C-level executives en moet beknopte samenvattingen geven met eerdere context." ASSERT zou dan automatisch de bijbehorende vijandige testcases genereren, ze uitvoeren en elke beleidsschending markeren met een gescoord rapport en volledige trace .

ASSERT is open source en beschikbaar op github.com/responsibleai/ASSERT. Bij de lancering kreeg het steun van de community, waaronder CrewAI, Arize AI, LiteLLM, Pipecat en Pydantic .