Microsoft ASSERT: Jak zmienić zasady biznesowe w automatyczne testy agentów AI

1. Zaczyna się od zasad w języku naturalnym. Deweloperzy opisują oczekiwane i zabronione zachowania za pomocą zwykłych słów, bazując na wymaganiach produktowych, dokumentach zgodności, promptach systemowych czy listach kontrolnych wdrożenia . Przykład: "Ten agent wsparcia nie może wydawać zwrotów przekraczających 2000 złotych bez zgody kierownika" .

2. LLM analizuje specyfikacje i tworzy ustrukturyzowane reguły. ASSERT wykorzystuje model językowy (LLM) do interpretacji opisów tekstowych i generowania czytelnej dla maszyny specyfikacji akceptowalnych i niedopuszczalnych działań .

3. Kontradyktoryjne generowanie przypadków testowych. Framework systematycznie tworzy ukierunkowane scenariusze, przypadki brzegowe i dane wejściowe zaprojektowane tak, by sprawdzić, czy agent narusza określone zasady .

4. Wykonanie zestawu testów na docelowym agencie. ASSERT uruchamia testy na rzeczywistej implementacji agenta, rejestrując każdy krok pośredni i każde wywołanie narzędzia, które agent wykonuje . Jest niezależny od frameworka i działa z LangChain, CrewAI, AutoGen, LiteLLM i OpenAI, a także wieloma innymi – deweloperzy nie są zablokowani w ekosystemie Microsoft Foundry .

5. Otrzymujesz punktowany raport z możliwością śledzenia. Każdy test generuje ustrukturyzowaną kartę wyników z werdyktem pass/fail i szczegółowym uzasadnieniem od modelu sędziego. Ponieważ cała ścieżka wykonania jest zachowana, deweloperzy mogą dotrzeć do konkretnego wywołania narzędzia lub etapu decyzyjnego, w którym agent popełnił błąd .

Poza ogólnymi benchmarkami

Tym, co odróżnia ASSERT od generycznych narzędzi ewaluacyjnych, jest jego koncentracja na granicach behawioralnych specyficznych dla aplikacji. Agent może uzyskać doskonałe wyniki w benchmarkach pomocności i prawdomówności, a mimo to naruszyć regułę produktową, taką jak "nigdy nie udostępniaj adresów e-mail klientów zewnętrznym serwisom". ASSERT został zbudowany właśnie po to, by wyłapywać tę klasę awarii . Microsoft pozycjonuje ten framework jako skoncentrowany na bezpieczeństwie, zauważając, że jego metodologia ewaluacji została zweryfikowana specjalnie pod kątem oceny bezpieczeństwa, a nie tylko ogólnych wskaźników jakości .

Część większego ekosystemu zaufania

ASSERT jest dostarczany razem z Agent Control Specification (ACS), innym projektem open-source Microsoftu, który umożliwia zespołom definiowanie przenośnych plików zasad określających, co agent może, a czego nie może robić, kiedy wymagana jest aprobata człowieka i jakie dowody muszą być rejestrowane . Przewidziany przepływ pracy jest zintegrowany: deweloperzy najpierw uruchamiają ASSERT, aby wykryć defekty, następnie stosują kontrolę w czasie rzeczywistym za pomocą ACS, a potem ponownie uruchamiają ASSERT, aby zmierzyć poprawę za pomocą metryk przed i po . Ta pętla – specyfikuj, oceń, kontroluj, ponownie oceń – daje zespołom inżynierskim powtarzalny proces utwardzania systemów agentowych przed wdrożeniem.

W praktyce deweloper może określić regułę typu: "Ten agent badawczy do dokumentów nie może wysyłać e-maili do osób spoza firmy, musi ograniczać dostęp do informacji poufnych do kadry kierowniczej wyższego szczebla i musi dostarczać zwięzłe podsumowania z uwzględnieniem wcześniejszego kontekstu". ASSERT automatycznie wygeneruje odpowiednie kontradyktoryjne przypadki testowe, uruchomi je i oznaczy każde naruszenie zasad za pomocą punktowanego raportu i pełnego śladu wykonania .

ASSERT jest open-source i dostępny na GitHubie pod adresem github.com/responsibleai/ASSERT. W momencie premiery otrzymał wsparcie społeczności od CrewAI, Arize AI, LiteLLM, Pipecat i Pydantic .