Bezpečnostní záchranná síť pro AI: Microsoft ukazuje, jak z pravidel v češtině vyrobit neprůstřelné testy agentů

Odlišnost od generických testů: Jde o vaše pravidla, ne o obecné fráze

To, co ASSERT zásadně odlišuje, je jeho posedlost aplikačně-specifickými mantinely. Agent může na jedničku projít testy zdvořilosti a faktické správnosti, ale přitom v klidu porušovat vaše zlaté pravidlo „nikdy nesdílej e-maily zákazníků s externími službami“ . ASSERT je stavěný přesně na odchytávání této kategorie chyb.

Součást většího bezpečnostního puzzle

ASSERT nevznikl ve vzduchoprázdnu. Microsoft ho vydal bok po boku se specifikací Agent Control Specification (ACS). To je další open-source projekt, který týmům umožní definovat přenositelné soubory politik. V nich se nadefinuje, co agent smí a nesmí, kdy potřebuje lidské schválení a jaké důkazy se musí protokolovat .

Zamýšlený pracovní postup je elegantně integrovaný: Nejprve spustíte ASSERT, abyste objevili chyby. Pak nasadíte runtime ochranu pomocí ACS. A nakonec ASSERT pustíte znovu, abyste ještě před ostrým provozem číselně změřili, o kolik se agent zlepšil . Tento cyklus – specifikuj, otestuj, ošetři, znovu otestuj – dává inženýrským týmům opakovatelný proces pro otužování agentů.

V praxi to může vypadat třeba takto: Definujete pravidlo: „Tento rešeršní agent nesmí posílat e-maily nikomu mimo firmu, musí omezit důvěrné informace pouze na členy představenstva a musí poskytovat stručné shrnutí s kontextem.“ ASSERT automaticky vygeneruje odpovídající testy, spustí je a jakékoli porušení oznámkuje s plnou auditní stopou .

Kód frameworku je dostupný na github.com/responsibleai/ASSERT a při svém startu získal podporu od lídrů komunity, jako jsou CrewAI, Arize AI, LiteLLM, Pipecat a Pydantic .