RespostasPublicado11 fontes
Testes mais eficientes: separe preparação, execução e evidências
As regras globais não exigem, por si só, uma matriz completa de contêineres a cada alteração; a exigência mais rigorosa aparece em um plano histórico do projeto. Um registro mostra instalação de pacotes antes dos testes, mas não comprova que cada execução baixou 198,1 MiB.
Publicado porImagens geradas com GPT Image 2
Resposta de pesquisa
Principais conclusões
- As regras globais não exigem, por si só, uma matriz completa de contêineres a cada alteração; a exigência mais rigorosa aparece em um plano histórico do projeto.
- Um registro mostra instalação de pacotes antes dos testes, mas não comprova que cada execução baixou 198,1 MiB.
- A recomendação é manter o isolamento e separar preparação do ambiente, validações de rotina e testes de entrega.
- Saídas detalhadas devem ficar em registros próprios; o contexto do modelo deve receber resumos verificáveis e limitados.
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the](https://d15bya8fi85z1v.cloudfront.net/chat/QuPfET7ftYd6An8JH1fI8Jq25Ow2/images/5A9530F1F6D0FC021B39/86DE7A18882BB9D494FC.png)
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"attempt completion","arguments":{"result":"建议把 BMAD V4.2 的“物理背压”改成“隔离强度不降级、验证范围分级、环境准备独立、证据按需进入上下文”。当前证据指向的不是“测试太严格”，而是阶段粒度被细化、测试入口携带环境安装、详细输出直接回灌，以及执行记录反复对账共同放大了成本。\n\n本次仅交付只读审计和替换条款：不修改规则文件，不运行测试或部署. Topic tags: general web, workflow, code, data. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake
O custo dos testes pode crescer quando cada alteração aciona, ao mesmo tempo, preparação do ambiente, compilação, execução de testes e produção de registros extensos. Uma auditoria do fluxo associado ao BMAD V4.2 sugere tratar essas etapas separadamente — sem reduzir o isolamento nem abandonar verificações importantes.
A proposta é organizar o processo em três níveis: um ambiente de execução preparado e controlado, verificações recorrentes proporcionais à mudança e uma matriz mais completa na entrega de cada etapa. As recomendações abaixo são uma proposta de ajuste, não uma descrição de mudanças já implementadas.
O que os registros mostram — e o que não mostram
As regras globais analisadas pedem verificações pertinentes a cada etapa, mas não determinam que todo patch passe pela matriz completa de contêineres. O arquivo 02-bmad-core.md, na seção 3, trata da validação relevante para cada etapa; o 01-bmad-engineer-core.md também permite escolher os testes conforme o escopo da alteração. A instrução mais rígida — verificação física após cada passo — aparece em um plano histórico do projeto, não como exigência geral do BMAD. Essa distinção é importante para não atribuir à regra global um custo que pode vir da forma como o plano foi detalhado.
Um registro de execução mostra a instalação de 14 pacotes antes do início do evento de teste. Ao final da instalação, aparece o número de 31 pacotes e 198,1 MiB, mas isso não permite concluir que aquela execução baixou ou descompactou exatamente esse volume. O intervalo entre o início da operação e o evento de teste foi de cerca de 5,3 segundos; os testes de pacote levaram aproximadamente 2,72 segundos, e a operação inteira, cerca de 8 segundos. Os registros disponíveis não separam quanto do tempo anterior aos testes correspondeu a instalação, inicialização, compilação ou verificação de cache. Esses dados indicam uma preparação perceptível, mas não permitem medir isoladamente o custo da instalação.
A saída extensa também não se resume às mensagens de instalação. O registro contém eventos de teste repetidos e cerca de 76 mil caracteres representados por marcações de conteúdo omitido. Isso aponta para ruído nos resultados, mas não prova que todo o texto exibido em uma interface tenha sido enviado ao modelo ou contabilizado como tokens. Sem essa informação, não é possível estimar o custo real de contexto.
Há registros de chamadas separadas para compilação e testes, mas o comando de teste observado ainda é go test, que pode envolver etapas de preparação e compilação. Como o conteúdo do script de isolamento não foi obtido, não dá para afirmar em que camada ocorreu a instalação — nem que todas as chamadas históricas repetiram o processo. A conclusão mais segura é: houve uma instalação antes de uma execução observada; há registros de várias chamadas a contêineres; a repetição da instalação em todas elas ainda precisa ser verificada.
Quatro ciclos que não devem ser confundidos
A auditoria identifica quatro ciclos diferentes que, quando tratados como um só, podem gerar trabalho redundante:
- Isolamento: impedir que um teste altere o código-fonte, o sistema hospedeiro ou a execução seguinte.
- Ferramentas: preparar compiladores, bibliotecas de sistema e dependências compatíveis com o ambiente.
- Validação: decidir quais evidências precisam ser refeitas depois de uma mudança.
- Registro: guardar resultados e atualizar o estado do trabalho sem invalidar automaticamente os testes recém-concluídos.
Os registros históricos incluem exigências de rever documentos vinculados após atualizações e de repetir verificações depois de salvar o histórico de execução. Isso pode proteger contra alterações indevidas, mas também cria risco de uma cadeia de revalidações: registra-se o resultado, muda-se o documento, executa-se tudo de novo e registra-se outra vez. O material disponível não comprova um ciclo infinito; aponta, sim, para a necessidade de separar entradas do contrato de validação dos resultados produzidos.
A distinção central é simples: reutilizar um ambiente imutável não significa reutilizar um estado de teste contaminado. E criar um espaço temporário limpo para cada teste não exige reinstalar as ferramentas a cada execução.
Também é melhor definir limites de segurança verificáveis do que prometer segurança “absoluta”. Por exemplo: bloquear acesso à rede externa e gravações persistentes não autorizadas, permitir apenas espaço temporário controlado e guardar os artefatos de evidência previstos. O detector de corrida de dados do Go pode ajudar a encontrar problemas nos caminhos executados, mas um resultado sem alertas não prova que o programa inteiro esteja livre de corridas 9.
Um modelo em três níveis
| Nível | Função | Quando usar |
|---|---|---|
| L0 — ambiente de execução | Disponibilizar ferramentas e dependências aprovadas, com identidade e configuração registradas. | Preparar uma nova versão quando mudar uma entrada do ambiente — não a cada mudança no código do produto. |
| L1 — ciclo de desenvolvimento | Rodar testes unitários, de módulo e regressões relevantes em um lote de mudança com significado próprio. | A cada lote semântico; ampliar o escopo quando o risco ou a área afetada exigir. |
| L2 — barreira de entrega | Executar a matriz exigida para a etapa, incluindo verificações de recursos e conferência das evidências. | Na conclusão da etapa ou antes de uma entrega autorizada, sobre uma versão candidata congelada. |
Esse modelo é uma proposta de contrato, não uma capacidade já confirmada. Em L0, a imagem deve ter identidade fixa, e a entrada de testes não deve instalar pacotes do sistema, baixar imagens ou resolver dependências pela internet. Se faltar uma ferramenta ou dependência, a execução deve parar e informar que o ambiente não está pronto. A preparação precisa ter autorização e medição próprias, sem ficar escondida dentro do comando de validação.
O isolamento continua necessário: código-fonte somente para leitura, rede externa bloqueada, permissões mínimas e espaço temporário limitado. Credenciais, sockets de controle do hospedeiro e diretórios sem relação com o teste não devem ser montados no ambiente. Caches precisam respeitar projeto, ferramenta, plataforma e limites de confiança; encontrar um cache não equivale a passar nos testes.
O histórico citado na auditoria autoriza validações offline em contêineres isolados. Por isso, não é adequado transformar testes rápidos no hospedeiro em alternativa padrão sem autorização explícita. A opção sugerida é um ciclo de testes leve, mas ainda isolado. Qualquer execução no hospedeiro precisa de permissão e condições de uso próprias.
Em L2, a versão candidata deve ser identificável por suas entradas: código e testes, dependências, ambiente, configuração e conjunto de verificações. Testes de corrida e medições de memória RSS — memória residente do processo — devem ser registrados separadamente. Se uma entrada relevante mudar depois da barreira, o resultado anterior não deve ser automaticamente atribuído à nova versão. Pode ser suficiente repetir apenas a parte afetada, desde que a validade das demais evidências seja demonstrada; se isso não for possível, amplia-se a verificação.
Gatilhos para executar cada verificação
| Mudança ou evento | Ação necessária | O que não deve acontecer automaticamente |
|---|---|---|
| Implementação e testes de um mesmo comportamento concluídos | Executar uma vez as verificações L1 pertinentes. | Reconstruir L0 ou rodar toda a matriz L2. |
| Alteração em locks, concorrência, cancelamento ou liberação de recursos | Acrescentar testes direcionados de corrida e ciclo de vida ao lote atual. | Adiar todas essas verificações para a entrega final. |
| Mudança em interface entre módulos ou dependência compartilhada | Ampliar os testes para o fluxo afetado. | Testar apenas o arquivo alterado sem avaliar os impactos. |
| Mudança em ferramentas, dependências do sistema ou configuração de isolamento | Revalidar L0 e avaliar quais evidências perderam validade. | Instalar dependências temporariamente durante o teste. |
| Congelamento de uma versão candidata para entrega | Executar a matriz L2 prevista para a etapa. | Repetir a matriz completa a cada patch intermediário. |
| Atualização apenas do registro ou do texto de progresso | Conferir integridade e requisitos documentais. | Reexecutar automaticamente testes do produto e medições de RSS. |
Um “lote semântico” é uma mudança de comportamento com testes capazes de verificá-la; pode incluir várias edições precisas. Ele não deve ser definido pelo número de arquivos alterados nem por cada chamada de ferramenta. Ao mesmo tempo, não convém acumular mudanças indefinidamente: o L1 deve passar antes de começar outro lote que dependa daquele comportamento.
Ajustes propostos nas regras e nos registros
1. Definir o significado de validação física. A regra global deve esclarecer que validar significa executar de verdade em um ambiente autorizado e produzir um resultado verificável — não reconstruir a infraestrutura a cada mudança. Deve também distinguir L0, L1 e L2, exigir que o plano indique o escopo das verificações e impedir o avanço quando houver falha, tempo esgotado, teste não executado, evidência danificada ou limpeza incompleta. Uma falha deve bloquear a progressão, não impedir o diagnóstico e a correção dentro do escopo atual.
2. Explicitar as responsabilidades do modo de engenharia. Cada execução deve registrar o que mudou, quais testes foram escolhidos e por que o escopo foi ampliado ou reduzido. Se compilação e execução precisarem ter orçamentos realmente separados, a etapa de teste deve consumir um artefato identificável, em vez de voltar a um fluxo que compile de forma implícita. A preparação do ambiente, os testes e a limpeza precisam de limites de tempo compatíveis com o orçamento total.
3. Criar um contrato para a saída dos testes. Os registros detalhados devem ficar em um canal de artefatos aprovado, com limite de retenção; por padrão, não devem ser despejados por inteiro na conversa. Como valores iniciais a avaliar — e não como padrões universais — a auditoria sugere até 2 KiB para resumos de sucesso e até 8 KiB para resumos de falha. O resumo deve apontar a causa principal, o estado de saída, falhas e itens ausentes, duração por etapa, resultado da limpeza e localização do registro original.
Eventos estruturados precisam ser analisados e consolidados, não filtrados por uma regra simples que apague linhas com palavras como “erro”. A ausência do evento final, falha de análise, nenhum teste executado, itens ignorados sem explicação ou artefatos indisponíveis devem impedir uma aprovação baseada somente no código de saída. A saída precisa ser limitada antes de entrar no histórico do modelo; pedir que o modelo ignore o excesso ou apenas recolher o texto na interface não resolve o problema.
4. Completar o modelo de plano de implementação. Cada item de validação deve indicar seu nível, o evento que o aciona, a cobertura esperada e o que fica fora dela; ambiente e autorização; orçamento para preparação, compilação, testes e limpeza; identificação das entradas e condições que invalidam a evidência; além do limite do resumo e da localização e retenção dos artefatos. Entradas do contrato e resultados da execução devem ser registrados separadamente. A proteção contra substituição externa continua necessária, mas atualizar o registro não deve disparar de novo, por padrão, a mesma validação funcional.
Como implementar sem criar um sistema maior que o problema
A sequência sugerida é começar pelas regras e pelo modelo de plano: esclarecer L0, L1 e L2, definir o que constitui um lote semântico e registrar quando uma evidência deixa de valer. O mesmo entendimento precisa aparecer tanto nas entradas nativas do conjunto BMAD quanto nas regras do modo de engenharia, para evitar interpretações divergentes.
Depois, o executor deve separar a preparação do ambiente da execução e gerar resumos estruturados. Silenciar as mensagens de instalação, sem verificar o restante do fluxo, seria uma otimização incompleta. Por fim, um teste comparativo pequeno pode confirmar se várias mudanças consecutivas rodam sem instalar pacotes durante os testes, se atualizações de registros não acionam L2 e se os resumos respeitam os limites definidos. Falhas de asserção, teste sem execução, timeout e limpeza incompleta devem continuar bloqueando a aprovação.
A auditoria também recomenda manter a separação de responsabilidades já registrada em um ADR de governança, sem introduzir ciclos de comprovação intermináveis ou declarar que uma regra está validada no cliente apenas porque o texto foi atualizado.
Em resumo: primeiro elimine preparações redundantes e excesso de saída; depois ajuste a frequência das verificações. Não reduza o isolamento nem retire testes importantes de concorrência para compensar falhas no executor ou na definição do processo.
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
As pessoas também perguntam
Qual é a resposta curta para "Testes mais eficientes: separe preparação, execução e evidências"?
As regras globais não exigem, por si só, uma matriz completa de contêineres a cada alteração; a exigência mais rigorosa aparece em um plano histórico do projeto.
Quais são os pontos-chave para validar primeiro?
As regras globais não exigem, por si só, uma matriz completa de contêineres a cada alteração; a exigência mais rigorosa aparece em um plano histórico do projeto. Um registro mostra instalação de pacotes antes dos testes, mas não comprova que cada execução baixou 198,1 MiB.
O que devo fazer a seguir na prática?
A recomendação é manter o isolamento e separar preparação do ambiente, validações de rotina e testes de entrega.