”Godkännandetröttheten” som drev förändringen

Anthropics interna telemetri visade att användare godkände 97% av alla behörighetsprompter – oavsett hur farligt kommandot faktiskt var . Denna nästan universella godkännandegrad återspeglade inte noggrann utvärdering utan vanemässigt klickande, särskilt i långa sessioner där prompttrötthet snabbt uppstod . I den kontrollerade studien sjönk den mänskliga avslagsgraden från redan låga 13,6% till cirka 5% efter 50+ prompter, vilket bekräftar att den manuella godkännandemodellen försämrades kraftigt över tid .

89% auto-blockering vs. mänsklig avvisning i 1 053-personersstudien

• Mänsklig fångstgrad: I ett dubbelblindtest med 1 053 betalda professionella testare blockerades ett inplanterat farligt kommando endast 13,6% av gångerna (143 av 1 053 personer vägrade det) . Efter 50 prompter sjönk det till ~5% .
• Auto-lägets fångstgrad: Klassificeraren blockerade 89% av samma inplanterade farliga kommandon .
• I produktion orsakade manuellt godkända sessioner oavsiktlig skada dubbelt så ofta som auto-lägesessioner .

Kvarstående risker: 11% missgrad och noll fångst av promptinjektion

• 11% missgrad: Klassificeraren misslyckas med att blockera cirka 11% av farliga kommandon .
• Syntetiska adversariella utvärderingar: Tredjeparts red-teaming-övningar minskade klassificerarens missgrad ytterligare men kunde inte eliminera missar helt . Systemet fångade noll promptinjektionsattacker i tester, även om detta kan spegla testdesignen snarare än allmän immunitet .
• Gränsfall: Mycket nya eller fördunklade skadliga kommandon som faller utanför klassificerarens träningsdistribution utgör en kvarstående risk .

Skyddsräcken och åsidosättandemekanismer

• Klassificeraren utvärderar varje verktygsanrop oberoende – auto-läge är inte ett generellt behörighetsbeviljande .
• Användare kan när som helst byta tillbaka till manuellt godkännandeläge inom en session .
• Team- och Enterprise-administratörer kan ange ett standardläge (manuellt eller auto) för hela organisationen, vilket åsidosätter användarnivåns standard .
• Anthropics externa red-teaming-program fortsätter att testa och förstärka klassificeraren .
• För Enterprise-konton förblir auto-läge opt-in tills vidare, med en planerad standardväxling inom cirka en månad efter den första lanseringen .

Lansering och priskonsekvenser per segment

Viktig prisnotering: Anthropic har bekräftat att man har slutat ta betalt av användare på dessa abonnemang för de extra klassificeringstokens som auto-läget förbrukar – dessa kostnader absorberas nu i det befintliga abonnemanget .

”Godkännandetröttheten” som drev förändringen

Anthropics interna telemetri visade att användare godkände 97% av alla behörighetsprompter – oavsett hur farligt kommandot faktiskt var . Denna nästan universella godkännandegrad återspeglade inte noggrann utvärdering utan vanemässigt klickande, särskilt i långa sessioner där prompttrötthet snabbt uppstod . I den kontrollerade studien sjönk den mänskliga avslagsgraden från redan låga 13,6% till cirka 5% efter 50+ prompter, vilket bekräftar att den manuella godkännandemodellen försämrades kraftigt över tid .

89% auto-blockering vs. mänsklig avvisning i 1 053-personersstudien

• Mänsklig fångstgrad: I ett dubbelblindtest med 1 053 betalda professionella testare blockerades ett inplanterat farligt kommando endast 13,6% av gångerna (143 av 1 053 personer vägrade det) . Efter 50 prompter sjönk det till ~5% .
• Auto-lägets fångstgrad: Klassificeraren blockerade 89% av samma inplanterade farliga kommandon .
• I produktion orsakade manuellt godkända sessioner oavsiktlig skada dubbelt så ofta som auto-lägesessioner .

Kvarstående risker: 11% missgrad och noll fångst av promptinjektion

• 11% missgrad: Klassificeraren misslyckas med att blockera cirka 11% av farliga kommandon .
• Syntetiska adversariella utvärderingar: Tredjeparts red-teaming-övningar minskade klassificerarens missgrad ytterligare men kunde inte eliminera missar helt . Systemet fångade noll promptinjektionsattacker i tester, även om detta kan spegla testdesignen snarare än allmän immunitet .
• Gränsfall: Mycket nya eller fördunklade skadliga kommandon som faller utanför klassificerarens träningsdistribution utgör en kvarstående risk .

Skyddsräcken och åsidosättandemekanismer

• Klassificeraren utvärderar varje verktygsanrop oberoende – auto-läge är inte ett generellt behörighetsbeviljande .
• Användare kan när som helst byta tillbaka till manuellt godkännandeläge inom en session .
• Team- och Enterprise-administratörer kan ange ett standardläge (manuellt eller auto) för hela organisationen, vilket åsidosätter användarnivåns standard .
• Anthropics externa red-teaming-program fortsätter att testa och förstärka klassificeraren .
• För Enterprise-konton förblir auto-läge opt-in tills vidare, med en planerad standardväxling inom cirka en månad efter den första lanseringen .

Lansering och priskonsekvenser per segment

Viktig prisnotering: Anthropic har bekräftat att man har slutat ta betalt av användare på dessa abonnemang för de extra klassificeringstokens som auto-läget förbrukar – dessa kostnader absorberas nu i det befintliga abonnemanget .