Så fångar Microsofts ASSERT-ramverk AI-agenters misstag – innan de når produktion

Så fungerar ASSERT steg för steg

Processen från tanke till utvärdering sker i en femstegsraket:

1. Skriv riktlinjer på klarspråk. En produktägare eller utvecklare formulerar önskade och förbjudna beteenden med egna ord, baserat på kravdokument, efterlevnadsregler eller lanseringschecklistor . Ett exempel: "Denna supportagent får inte utfärda återbetalningar över 5 000 kronor utan chefens godkännande" .
2. AI tolkar specifikationen till strukturerade regler. En språkmodell läser in fritexten och skapar en maskinläsbar specifikation över vad som är godtagbart och vad som är förbjudet .
3. Adversariell testfallsgenerering. Ramverket skapar systematiskt riktade scenarier, gränsfall (edge cases) och indata som är specifikt utformade för att testa om agenten skulle bryta mot de angivna riktlinjerna .
4. Körning av testsviten mot agenten. ASSERT testar skarpt mot den faktiska agentimplementationen och loggar varenda verktygsanrop och mellansteg som agenten gör . Ramverket är agnostiskt och fungerar med bland annat LangChain, CrewAI, AutoGen, LiteLLM och OpenAI – du är inte låst till Microsoft Foundry .
5. Poängsatt och spårbar rapport. Varje test ger ett strukturerat resultatkort med godkänt/underkänt och en detaljerad motivering från en bedömningsmodell (judge model). Eftersom hela körspåret bevaras kan utvecklaren spåra exakt vilket verktygsanrop eller beslut som orsakade felet .

Mer än bara generiska riktmärken – hitta dina unika risker

Det som skiljer ASSERT från traditionella utvärderingsverktyg är fokuset på just din verksamhets unika regler. En AI-agent kan få toppbetyg i generella tester för sanningsenlighet, men på samma gång skicka kunders personnummer till en extern tjänst. Det är den typen av beteende ASSERT är byggt för att fånga upp. Microsoft betonar att ramverket är säkerhetscentrerat och att utvärderingsmetodiken validerats specifikt för säkerhetsbedömning .

Del av ett större ekosystem för förtroende

ASSERT lanseras tillsammans med Agent Control Specification (ACS), ett annat open source-projekt från Microsoft. ACS låter team definiera portabla policyfiler som specificerar vad en agent får och inte får göra, när mänskligt godkännande krävs och vilken information som måste loggas .

Den tänkta arbetsflödet är integrerat: utvecklare kör först ASSERT för att hitta brister. Därefter implementerar de körningskontroller med ACS. Slutligen körs ASSERT igen för att mäta förbättringen med konkreta före- och eftermätningar . Slingan – specificera, utvärdera, kontrollera, omvärdera – ger utvecklingsteam en repeterbar process för att härda agentbaserade system innan de når verkliga användare.

Ett praktiskt exempel: en utvecklare kan specificera regeln "Denna dokumentforskningsagent får inte skicka e-post till personer utanför företaget, får bara dela konfidentiell information med personer i ledningsgruppen, och måste ge koncisa sammanfattningar med tidigare sammanhang." ASSERT genererar då automatiskt motsvarande utmanande testfall, kör dem och flaggar eventuella policyöverträdelser med ett poängsatt resultatkort och fullständig spårbarhet .

ASSERT är öppen källkod och finns på github.com/responsibleai/ASSERT. Vid lanseringen fick det stöd från communityn, bland annat från CrewAI, Arize AI, LiteLLM, Pipecat och Pydantic .