De 'bevestigingsmoeheid' die de verandering aandreef

Anthropic's eigen telemetrie toonde aan dat gebruikers 97% van de toestemmingsprompts goedkeurden — ongeacht hoe gevaarlijk het commando daadwerkelijk was . Dit bijna-universele goedkeuringspercentage weerspiegelde geen zorgvuldige evaluatie, maar gewoontematig doorklikken, vooral tijdens lange sessies waarin promptmoeheid snel toesloeg . In de gecontroleerde studie stortte het menselijke weigeringspercentage in van een al laag 13,6% naar ongeveer 5% na 50+ prompts, wat bevestigt dat het per-goedkeuringsmodel na verloop van tijd sterk verslechterde .

89% automatisch blokkeren versus menselijke weigering in de studie met 1.053 personen

• Menselijk vangstpercentage: In een dubbelblinde test met 1.053 betaalde professionele testers werd een geplaatst gevaarlijk commando slechts 13,6% van de tijd geblokkeerd (143 van de 1.053 personen weigerden het) . Na 50 prompts daalde dit naar ~5% .
• Vangstpercentage auto-modus: De classificator blokkeerde 89% van dezelfde geplaatste gevaarlijke commando's .
• In de productie leverden handmatig goedgekeurde sessies twee keer zo vaak onbedoelde schade op als auto-modus-sessies .

Resterende risico's: 11% misserpercentage en nul prompt-injectie-onderscheppingen

• 11% misserpercentage: De classificator slaagt er niet in om ongeveer 11% van de gevaarlijke commando's te blokkeren .
• Synthetische adversariële evaluaties: Oefeningen met externe red-teams verlaagden het misserpercentage van de classificator verder, maar konden missers niet volledig elimineren . Het systeem onderschepte nul prompt-injectieaanvallen in tests, hoewel dit mogelijk de testopzet weerspiegelt in plaats van een algemene immuniteit .
• Randgevallen: Zeer nieuwe of verduisterde kwaadaardige commando's die buiten de trainingsverdeling van de classificator vallen, blijven een resterend risico .

Waarborgen en overschrijfmechanismen

• De classificator evalueert elke tool-aanroep onafhankelijk — de auto-modus is geen algemene toestemmingsverlening .
• Gebruikers kunnen op elk moment binnen een sessie terugschakelen naar de handmatige goedkeuringsmodus .
• Team- en Enterprise-beheerders kunnen een standaardmodus (handmatig of auto) vastzetten voor hun hele organisatie, wat de standaard op gebruikersniveau overschrijft .
• Anthropic's externe red-teaming-programma blijft de classificator testen en versterken .
• Voor Enterprise-accounts blijft de auto-modus voorlopig opt-in, met een geplande standaardomschakeling binnen ongeveer een maand na de eerste uitrol .

Uitrol en prijsimplicaties per segment

Belangrijke prijsnotitie: Anthropic heeft bevestigd dat het is gestopt met het in rekening brengen van gebruikers op deze abonnementen voor de extra classifier-tokens die de auto-modus verbruikt — deze kosten worden nu geabsorbeerd in het bestaande abonnement .

De 'bevestigingsmoeheid' die de verandering aandreef

Anthropic's eigen telemetrie toonde aan dat gebruikers 97% van de toestemmingsprompts goedkeurden — ongeacht hoe gevaarlijk het commando daadwerkelijk was . Dit bijna-universele goedkeuringspercentage weerspiegelde geen zorgvuldige evaluatie, maar gewoontematig doorklikken, vooral tijdens lange sessies waarin promptmoeheid snel toesloeg . In de gecontroleerde studie stortte het menselijke weigeringspercentage in van een al laag 13,6% naar ongeveer 5% na 50+ prompts, wat bevestigt dat het per-goedkeuringsmodel na verloop van tijd sterk verslechterde .

89% automatisch blokkeren versus menselijke weigering in de studie met 1.053 personen

• Menselijk vangstpercentage: In een dubbelblinde test met 1.053 betaalde professionele testers werd een geplaatst gevaarlijk commando slechts 13,6% van de tijd geblokkeerd (143 van de 1.053 personen weigerden het) . Na 50 prompts daalde dit naar ~5% .
• Vangstpercentage auto-modus: De classificator blokkeerde 89% van dezelfde geplaatste gevaarlijke commando's .
• In de productie leverden handmatig goedgekeurde sessies twee keer zo vaak onbedoelde schade op als auto-modus-sessies .

Resterende risico's: 11% misserpercentage en nul prompt-injectie-onderscheppingen

• 11% misserpercentage: De classificator slaagt er niet in om ongeveer 11% van de gevaarlijke commando's te blokkeren .
• Synthetische adversariële evaluaties: Oefeningen met externe red-teams verlaagden het misserpercentage van de classificator verder, maar konden missers niet volledig elimineren . Het systeem onderschepte nul prompt-injectieaanvallen in tests, hoewel dit mogelijk de testopzet weerspiegelt in plaats van een algemene immuniteit .
• Randgevallen: Zeer nieuwe of verduisterde kwaadaardige commando's die buiten de trainingsverdeling van de classificator vallen, blijven een resterend risico .

Waarborgen en overschrijfmechanismen

• De classificator evalueert elke tool-aanroep onafhankelijk — de auto-modus is geen algemene toestemmingsverlening .
• Gebruikers kunnen op elk moment binnen een sessie terugschakelen naar de handmatige goedkeuringsmodus .
• Team- en Enterprise-beheerders kunnen een standaardmodus (handmatig of auto) vastzetten voor hun hele organisatie, wat de standaard op gebruikersniveau overschrijft .
• Anthropic's externe red-teaming-programma blijft de classificator testen en versterken .
• Voor Enterprise-accounts blijft de auto-modus voorlopig opt-in, met een geplande standaardomschakeling binnen ongeveer een maand na de eerste uitrol .

Uitrol en prijsimplicaties per segment

Belangrijke prijsnotitie: Anthropic heeft bevestigd dat het is gestopt met het in rekening brengen van gebruikers op deze abonnementen voor de extra classifier-tokens die de auto-modus verbruikt — deze kosten worden nu geabsorbeerd in het bestaande abonnement .