Relatório pontuado e rastreável. Ao final, cada cenário recebe um veredito de aprovação ou reprovação e uma justificativa detalhada gerada por um modelo juiz. Como todo o rastro de execução é preservado, a equipe consegue navegar até a chamada de ferramenta específica em que o assistente tomou a decisão errada e entender exatamente o que aconteceu [8, 13].
O que diferencia o ASSERT das ferramentas tradicionais de avaliação é sua capacidade de mirar nos limites comportamentais de cada aplicação. Um assistente pode gabaritar todos os testes de precisão factual e utilidade e, ainda assim, infringir uma regra interna como “nunca compartilhar e‑mails de clientes com serviços externos”. É essa classe de falha que o ASSERT foi construído para capturar [1, 13]. A Microsoft o posiciona como um componente de segurança, ressaltando que a metodologia de avaliação foi validada especificamente para detecção de riscos, e não apenas para métricas de qualidade .
O ASSERT não chega sozinho. Junto com ele, a Microsoft liberou a Especificação de Controle de Agentes (ACS, na sigla em inglês) , outro projeto de código aberto que permite criar arquivos portáteis de políticas definindo o que o agente pode e não pode fazer, quando a aprovação humana é obrigatória e quais evidências devem ser registradas [1, 3, 11]. O fluxo de trabalho integrado é simples: primeiro, o desenvolvedor usa o ASSERT para encontrar defeitos; depois, aplica controles de execução via ACS; e, por fim, roda o ASSERT novamente para medir a melhora com métricas de antes e depois . Esse ciclo — especificar, avaliar, controlar e reavaliar — oferece um processo repetível para fortalecer sistemas autônomos antes que eles entrem em produção.
Na prática, um profissional pode definir uma política como: “Este agente de pesquisa documental não pode enviar e‑mails para pessoas de fora da empresa, deve restringir informações confidenciais a executivos de nível C-Level e precisa gerar resumos concisos incluindo o contexto anterior”. O ASSERT gera os casos de teste adversariais correspondentes, executa tudo e sinaliza qualquer violação com um scorecard completo e rastreável .
O ASSERT é open source e está hospedado em github.com/responsibleai/ASSERT. No lançamento, recebeu apoio público de comunidades como CrewAI, Arize AI, LiteLLM, Pipecat e Pydantic [1, 8].