A "fadiga de aprovação" que motivou a mudança

A telemetria interna da Anthropic mostrou que os usuários aprovavam 97% dos prompts de permissão — independentemente do quão perigoso o comando realmente era . Essa taxa de aprovação quase universal refletia não uma avaliação cuidadosa, mas um hábito de clicar em "sim" automaticamente, especialmente em sessões longas onde a fadiga de prompts se instalava rapidamente . No estudo controlado, as taxas de recusa humana caíram de um já baixo 13,6% para aproximadamente 5% após 50 prompts ou mais, confirmando que o modelo de aprovação por comando se degradava gravemente com o tempo .

Taxa de bloqueio de 89% do Auto Mode vs. recusa humana no estudo com 1.053 pessoas

• Taxa de captura humana: Em um teste duplo-cego com 1.053 testadores profissionais pagos, um comando perigoso plantado foi bloqueado apenas 13,6% das vezes (143 de 1.053 pessoas o recusaram) . Após 50 prompts, esse número caiu para ~5% .
• Taxa de captura do Auto Mode: O classificador bloqueou 89% dos mesmos comandos perigosos plantados .
• Em produção, as sessões aprovadas manualmente produziram danos não intencionais com o dobro da frequência em comparação com as sessões em Auto Mode .

Riscos residuais: taxa de falha de 11% e captura zero de injeção de prompt

• Taxa de falha de 11%: O classificador deixa de bloquear aproximadamente 11% dos comandos perigosos .
• Avaliações adversárias sintéticas: Exercícios de red teaming de terceiros reduziram ainda mais a taxa de falha do classificador, mas não conseguiram eliminá-la completamente . O sistema não capturou nenhum ataque de injeção de prompt nos testes, embora isso possa refletir o design do teste, e não uma imunidade geral .
• Casos extremos: Comandos maliciosos altamente novos ou ofuscados que fogem da distribuição de treinamento do classificador continuam sendo um risco residual .

Salvaguardas e mecanismos de substituição

• O classificador avalia cada chamada de ferramenta de forma independente — o Auto Mode não é uma concessão genérica de permissão .
• Os usuários podem voltar ao modo de aprovação manual a qualquer momento durante uma sessão .
• Administradores de equipes (Team) e Enterprise podem fixar um modo padrão (manual ou automático) para toda a organização, substituindo o padrão do usuário .
• O programa externo de red teaming da Anthropic continua a testar e fortalecer o classificador .
• Para contas Enterprise, o Auto Mode permanece opt-in por enquanto, com a mudança para padrão prevista em cerca de um mês após o lançamento inicial .

Implantação e implicações de preço por segmento

Observação importante sobre preços: A Anthropic confirmou que parou de cobrar dos usuários desses planos pelos tokens adicionais do classificador que o Auto Mode consome — esses custos agora são absorvidos pela assinatura existente .

A "fadiga de aprovação" que motivou a mudança

A telemetria interna da Anthropic mostrou que os usuários aprovavam 97% dos prompts de permissão — independentemente do quão perigoso o comando realmente era . Essa taxa de aprovação quase universal refletia não uma avaliação cuidadosa, mas um hábito de clicar em "sim" automaticamente, especialmente em sessões longas onde a fadiga de prompts se instalava rapidamente . No estudo controlado, as taxas de recusa humana caíram de um já baixo 13,6% para aproximadamente 5% após 50 prompts ou mais, confirmando que o modelo de aprovação por comando se degradava gravemente com o tempo .

Taxa de bloqueio de 89% do Auto Mode vs. recusa humana no estudo com 1.053 pessoas

• Taxa de captura humana: Em um teste duplo-cego com 1.053 testadores profissionais pagos, um comando perigoso plantado foi bloqueado apenas 13,6% das vezes (143 de 1.053 pessoas o recusaram) . Após 50 prompts, esse número caiu para ~5% .
• Taxa de captura do Auto Mode: O classificador bloqueou 89% dos mesmos comandos perigosos plantados .
• Em produção, as sessões aprovadas manualmente produziram danos não intencionais com o dobro da frequência em comparação com as sessões em Auto Mode .

Riscos residuais: taxa de falha de 11% e captura zero de injeção de prompt

• Taxa de falha de 11%: O classificador deixa de bloquear aproximadamente 11% dos comandos perigosos .
• Avaliações adversárias sintéticas: Exercícios de red teaming de terceiros reduziram ainda mais a taxa de falha do classificador, mas não conseguiram eliminá-la completamente . O sistema não capturou nenhum ataque de injeção de prompt nos testes, embora isso possa refletir o design do teste, e não uma imunidade geral .
• Casos extremos: Comandos maliciosos altamente novos ou ofuscados que fogem da distribuição de treinamento do classificador continuam sendo um risco residual .

Salvaguardas e mecanismos de substituição

• O classificador avalia cada chamada de ferramenta de forma independente — o Auto Mode não é uma concessão genérica de permissão .
• Os usuários podem voltar ao modo de aprovação manual a qualquer momento durante uma sessão .
• Administradores de equipes (Team) e Enterprise podem fixar um modo padrão (manual ou automático) para toda a organização, substituindo o padrão do usuário .
• O programa externo de red teaming da Anthropic continua a testar e fortalecer o classificador .
• Para contas Enterprise, o Auto Mode permanece opt-in por enquanto, com a mudança para padrão prevista em cerca de um mês após o lançamento inicial .

Implantação e implicações de preço por segmento

Observação importante sobre preços: A Anthropic confirmou que parou de cobrar dos usuários desses planos pelos tokens adicionais do classificador que o Auto Mode consome — esses custos agora são absorvidos pela assinatura existente .