"Godkendelsestrætheden" der drev ændringen

Anthropics interne telemetri viste, at brugere godkendte 97 % af alle tilladelsesprompter – uanset hvor farlig kommandoen faktisk var . Denne næsten universelle godkendelsesrate afspejlede ikke nøje overvejelse, men vanemæssigt klikkeri – især i lange sessioner, hvor prompttræthed hurtigt satte ind . I det kontrollerede studie faldt menneskelige afvisningsrater fra et i forvejen lavt 13,6 % til omkring 5 % efter 50+ prompter, hvilket bekræfter, at godkendelsesmodellen forværredes markant over tid .

89 % auto-blokeringsrate vs. menneskelig afvisning i 1.053-personers studiet

• Menneskelig fangstrate: I en dobbeltblind test med 1.053 betalte professionelle testere blev en indbygget farlig kommando kun blokeret 13,6 % af tiden (143 af 1.053 personer afviste den) . Efter 50 prompter faldt det til ~5 % .
• Auto mode fangstrate: Klassifikatoren blokerede 89 % af de samme indbyggede farlige kommandoer .
• I produktion forårsagede manuelt godkendte sessioner utilsigtet skade dobbelt så ofte som auto mode-sessioner .

Resterende risici: 11 % fejlrate og nul fangst af prompt injection

• 11 % fejlrate: Klassifikatoren undlader at blokere omkring 11 % af farlige kommandoer .
• Syntetiske modstanderevalueringer: Tredjeparts red-teaming-øvelser reducerede klassifikatorens fejlrate yderligere, men kunne ikke helt eliminere fejl . Systemet fangede nul prompt injection-angreb i testning, selvom dette kan afspejle testdesignet snarere end generel immunitet .
• Kantsager: Meget nye eller obfuskerede ondsindede kommandoer, der falder uden for klassifikatorens træningsdistribution, udgør en resterende risiko .

Sikkerhedsforanstaltninger og tilsidesættelsesmekanismer

• Klassifikatoren evaluerer hvert værktøjskald uafhængigt – auto mode er ikke en blanket tilladelse .
• Brugere kan skifte tilbage til manuel godkendelsestilstand når som helst inden for en session .
• Team- og Enterprise-administratorer kan fastlåse en standardtilstand (manuel eller auto) for hele organisationen, hvilket tilsidesætter brugerens standard .
• Anthropics eksterne red-teaming-program fortsætter med at undersøge og styrke klassifikatoren .
• For Enterprise-konti forbliver auto mode opt-indtil videre, med et standardskift planlagt inden for omkring en måned efter den første udrulning .

Udrulning og prismæssige konsekvenser efter segment

Vigtig prismæssig note: Anthropic bekræftede, at de er stoppet med at opkræve brugere på disse abonnementer for de ekstra klassifikatortokens, som auto mode forbruger – disse omkostninger absorberes nu i det eksisterende abonnement .

"Godkendelsestrætheden" der drev ændringen

Anthropics interne telemetri viste, at brugere godkendte 97 % af alle tilladelsesprompter – uanset hvor farlig kommandoen faktisk var . Denne næsten universelle godkendelsesrate afspejlede ikke nøje overvejelse, men vanemæssigt klikkeri – især i lange sessioner, hvor prompttræthed hurtigt satte ind . I det kontrollerede studie faldt menneskelige afvisningsrater fra et i forvejen lavt 13,6 % til omkring 5 % efter 50+ prompter, hvilket bekræfter, at godkendelsesmodellen forværredes markant over tid .

89 % auto-blokeringsrate vs. menneskelig afvisning i 1.053-personers studiet

• Menneskelig fangstrate: I en dobbeltblind test med 1.053 betalte professionelle testere blev en indbygget farlig kommando kun blokeret 13,6 % af tiden (143 af 1.053 personer afviste den) . Efter 50 prompter faldt det til ~5 % .
• Auto mode fangstrate: Klassifikatoren blokerede 89 % af de samme indbyggede farlige kommandoer .
• I produktion forårsagede manuelt godkendte sessioner utilsigtet skade dobbelt så ofte som auto mode-sessioner .

Resterende risici: 11 % fejlrate og nul fangst af prompt injection

• 11 % fejlrate: Klassifikatoren undlader at blokere omkring 11 % af farlige kommandoer .
• Syntetiske modstanderevalueringer: Tredjeparts red-teaming-øvelser reducerede klassifikatorens fejlrate yderligere, men kunne ikke helt eliminere fejl . Systemet fangede nul prompt injection-angreb i testning, selvom dette kan afspejle testdesignet snarere end generel immunitet .
• Kantsager: Meget nye eller obfuskerede ondsindede kommandoer, der falder uden for klassifikatorens træningsdistribution, udgør en resterende risiko .

Sikkerhedsforanstaltninger og tilsidesættelsesmekanismer

• Klassifikatoren evaluerer hvert værktøjskald uafhængigt – auto mode er ikke en blanket tilladelse .
• Brugere kan skifte tilbage til manuel godkendelsestilstand når som helst inden for en session .
• Team- og Enterprise-administratorer kan fastlåse en standardtilstand (manuel eller auto) for hele organisationen, hvilket tilsidesætter brugerens standard .
• Anthropics eksterne red-teaming-program fortsætter med at undersøge og styrke klassifikatoren .
• For Enterprise-konti forbliver auto mode opt-indtil videre, med et standardskift planlagt inden for omkring en måned efter den første udrulning .

Udrulning og prismæssige konsekvenser efter segment

Vigtig prismæssig note: Anthropic bekræftede, at de er stoppet med at opkræve brugere på disse abonnementer for de ekstra klassifikatortokens, som auto mode forbruger – disse omkostninger absorberes nu i det eksisterende abonnement .