A sigla ASSERT (Adaptive Spec-driven Scoring for Evaluation and Regression Testing) descreve bem a proposta: transformar especificações de comportamento escritas em linguagem natural — ou seja, em português claro — em pipelines de avaliação automatizados e pontuados. Em vez de depender exclusivamente de métricas genéricas de qualidade (como utilidade ou toxicidade), que costumam ignorar falhas graves como um agente autorizando um reembolso acima do limite ou compartilhando informações sigilosas com destinatários errados, o ASSERT trata a política de uso como um dado de entrada primordial .

Como o ASSERT Converte Palavras em Suítes de Teste

O funcionamento do ASSERT segue um passo a passo lógico que não exige que o desenvolvedor crie manualmente casos de teste complexos:

1. Tudo começa com políticas em linguagem natural. As equipes descrevem comportamentos esperados e proibidos usando seu próprio vocabulário. As regras podem vir de documentos de requisitos, manuais de compliance, avisos de sistema ou checklists de lançamento . Um exemplo prático: “Este assistente de suporte não deve autorizar reembolsos acima de R＄ 500 sem aprovação do gerente” .

2. A IA interpreta as especificações. Um modelo de linguagem analisa essas descrições livres e gera uma estrutura de regras legível por máquina, definindo ações aceitáveis e inaceitáveis .

3. Geração de testes adversariais. O framework cria, de forma sistemática, cenários direcionados, casos extremos e comandos maliciosos com o objetivo de flagrar o agente desrespeitando qualquer uma das políticas declaradas .

4. Execução contra o agente real. O ASSERT roda a suíte de testes no agente que está sendo desenvolvido, registrando cada passo intermediário e cada chamada de ferramenta que o sistema executa . A ferramenta é agnóstica de framework: funciona com LangChain, CrewAI, AutoGen, LiteLLM e OpenAI, entre outros — o desenvolvedor não fica preso ao ecossistema Microsoft Foundry .

5. Relatório pontuado e rastreável. Ao final, cada cenário recebe um veredito de aprovação ou reprovação e uma justificativa detalhada gerada por um modelo juiz. Como todo o rastro de execução é preservado, a equipe consegue navegar até a chamada de ferramenta específica em que o assistente tomou a decisão errada e entender exatamente o que aconteceu .

Muito Além dos Benchmarks Convencionais

O que diferencia o ASSERT das ferramentas tradicionais de avaliação é sua capacidade de mirar nos limites comportamentais de cada aplicação. Um assistente pode gabaritar todos os testes de precisão factual e utilidade e, ainda assim, infringir uma regra interna como “nunca compartilhar e‑mails de clientes com serviços externos”. É essa classe de falha que o ASSERT foi construído para capturar . A Microsoft o posiciona como um componente de segurança, ressaltando que a metodologia de avaliação foi validada especificamente para detecção de riscos, e não apenas para métricas de qualidade .

Um Degrau na Pilha de Confiança

O ASSERT não chega sozinho. Junto com ele, a Microsoft liberou a Especificação de Controle de Agentes (ACS, na sigla em inglês) , outro projeto de código aberto que permite criar arquivos portáteis de políticas definindo o que o agente pode e não pode fazer, quando a aprovação humana é obrigatória e quais evidências devem ser registradas . O fluxo de trabalho integrado é simples: primeiro, o desenvolvedor usa o ASSERT para encontrar defeitos; depois, aplica controles de execução via ACS; e, por fim, roda o ASSERT novamente para medir a melhora com métricas de antes e depois . Esse ciclo — especificar, avaliar, controlar e reavaliar — oferece um processo repetível para fortalecer sistemas autônomos antes que eles entrem em produção.

Na prática, um profissional pode definir uma política como: “Este agente de pesquisa documental não pode enviar e‑mails para pessoas de fora da empresa, deve restringir informações confidenciais a executivos de nível C-Level e precisa gerar resumos concisos incluindo o contexto anterior”. O ASSERT gera os casos de teste adversariais correspondentes, executa tudo e sinaliza qualquer violação com um scorecard completo e rastreável .

O ASSERT é open source e está hospedado em github.com/responsibleai/ASSERT. No lançamento, recebeu apoio público de comunidades como CrewAI, Arize AI, LiteLLM, Pipecat e Pydantic .

A sigla ASSERT (Adaptive Spec-driven Scoring for Evaluation and Regression Testing) descreve bem a proposta: transformar especificações de comportamento escritas em linguagem natural — ou seja, em português claro — em pipelines de avaliação automatizados e pontuados. Em vez de depender exclusivamente de métricas genéricas de qualidade (como utilidade ou toxicidade), que costumam ignorar falhas graves como um agente autorizando um reembolso acima do limite ou compartilhando informações sigilosas com destinatários errados, o ASSERT trata a política de uso como um dado de entrada primordial .

Como o ASSERT Converte Palavras em Suítes de Teste

O funcionamento do ASSERT segue um passo a passo lógico que não exige que o desenvolvedor crie manualmente casos de teste complexos:

1. Tudo começa com políticas em linguagem natural. As equipes descrevem comportamentos esperados e proibidos usando seu próprio vocabulário. As regras podem vir de documentos de requisitos, manuais de compliance, avisos de sistema ou checklists de lançamento . Um exemplo prático: “Este assistente de suporte não deve autorizar reembolsos acima de R＄ 500 sem aprovação do gerente” .

2. A IA interpreta as especificações. Um modelo de linguagem analisa essas descrições livres e gera uma estrutura de regras legível por máquina, definindo ações aceitáveis e inaceitáveis .

3. Geração de testes adversariais. O framework cria, de forma sistemática, cenários direcionados, casos extremos e comandos maliciosos com o objetivo de flagrar o agente desrespeitando qualquer uma das políticas declaradas .

4. Execução contra o agente real. O ASSERT roda a suíte de testes no agente que está sendo desenvolvido, registrando cada passo intermediário e cada chamada de ferramenta que o sistema executa . A ferramenta é agnóstica de framework: funciona com LangChain, CrewAI, AutoGen, LiteLLM e OpenAI, entre outros — o desenvolvedor não fica preso ao ecossistema Microsoft Foundry .

5. Relatório pontuado e rastreável. Ao final, cada cenário recebe um veredito de aprovação ou reprovação e uma justificativa detalhada gerada por um modelo juiz. Como todo o rastro de execução é preservado, a equipe consegue navegar até a chamada de ferramenta específica em que o assistente tomou a decisão errada e entender exatamente o que aconteceu .

Muito Além dos Benchmarks Convencionais

O que diferencia o ASSERT das ferramentas tradicionais de avaliação é sua capacidade de mirar nos limites comportamentais de cada aplicação. Um assistente pode gabaritar todos os testes de precisão factual e utilidade e, ainda assim, infringir uma regra interna como “nunca compartilhar e‑mails de clientes com serviços externos”. É essa classe de falha que o ASSERT foi construído para capturar . A Microsoft o posiciona como um componente de segurança, ressaltando que a metodologia de avaliação foi validada especificamente para detecção de riscos, e não apenas para métricas de qualidade .

Um Degrau na Pilha de Confiança

O ASSERT não chega sozinho. Junto com ele, a Microsoft liberou a Especificação de Controle de Agentes (ACS, na sigla em inglês) , outro projeto de código aberto que permite criar arquivos portáteis de políticas definindo o que o agente pode e não pode fazer, quando a aprovação humana é obrigatória e quais evidências devem ser registradas . O fluxo de trabalho integrado é simples: primeiro, o desenvolvedor usa o ASSERT para encontrar defeitos; depois, aplica controles de execução via ACS; e, por fim, roda o ASSERT novamente para medir a melhora com métricas de antes e depois . Esse ciclo — especificar, avaliar, controlar e reavaliar — oferece um processo repetível para fortalecer sistemas autônomos antes que eles entrem em produção.

Na prática, um profissional pode definir uma política como: “Este agente de pesquisa documental não pode enviar e‑mails para pessoas de fora da empresa, deve restringir informações confidenciais a executivos de nível C-Level e precisa gerar resumos concisos incluindo o contexto anterior”. O ASSERT gera os casos de teste adversariais correspondentes, executa tudo e sinaliza qualquer violação com um scorecard completo e rastreável .

O ASSERT é open source e está hospedado em github.com/responsibleai/ASSERT. No lançamento, recebeu apoio público de comunidades como CrewAI, Arize AI, LiteLLM, Pipecat e Pydantic .