Anthropic lar KI bestemme: Auto-modus standard fra 14. august

Derfor byttes systemet ut

Anthropics interne telemetri viser at brukere godkjente 97 % av alle tillatelsesspørsmål – uavhengig av hvor farlig kommandoen faktisk var . Denne nær-universelle godkjenningsraten reflekterte ikke nøye vurdering, men vanemessig klikking, spesielt i lange økter der trettheten meldte seg raskt . I den kontrollerte studien falt menneskelige avslagsrater fra allerede lave 13,6 % til omtrent 5 % etter 50+ spørsmål, noe som bekrefter at godkjenningsmodellen ble dårligere over tid .

89 % automatisk blokkering mot menneskelig avvisning i studien med 1 053 personer

• Menneskelig fangstrate: I en dobbeltblind test med 1 053 betalte profesjonelle testere ble en plantet farlig kommando blokkert bare 13,6 % av gangene (143 av 1 053 personer avslo den) . Etter 50 spørsmål falt tallet til ~5 % .
• Auto-modus fangstrate: Klassifisereren blokkerte 89 % av de samme plantede farlige kommandoene .
• I produksjon forårsaket manuelt godkjente økter utilsiktet skade dobbelt så ofte som auto-modus-økter .

Gjenstående risikoer: 11 % bom-rate og null fangst av prompt-injeksjon

• 11 % bom-rate: Klassifisereren klarer ikke å blokkere omtrent 11 % av farlige kommandoer .
• Syntetiske motstandsdyktighetsevalueringer: Tredjeparts red teaming-øvelser reduserte klassifisererens bom-rate ytterligere, men kunne ikke eliminere bom helt . Systemet fanget null prompt-injeksjonsangrep i testing, selv om dette kan skyldes testdesignet mer enn en generell immunitet .
• Kanttilfeller: Svært nye eller tilslørte ondsinnede kommandoer som faller utenfor klassifisererens treningsdistribusjon, utgjør en gjenværende risiko .

Sikkerhetstiltak og overstyringsmekanismer

• Klassifisereren vurderer hvert verktøykall uavhengig – auto-modus er ikke en blanketttillatelse .
• Brukere kan bytte tilbake til manuell godkjenningsmodus når som helst i løpet av en økt .
• Team- og Enterprise-administratorer kan angi en standardmodus (manuell eller auto) for hele organisasjonen, og overstyre brukerens standardinnstilling .
• Anthropics eksterne red teaming-program fortsetter å teste og forsterke klassifisereren .
• For Enterprise-kontoer forblir auto-modus foreløpig valgfri, med en planlagt overgang til standard innen omtrent en måned etter den første utrullingen .

Utrulling og priskonsekvenser per segment

Viktig merknad om prising: Anthropic bekreftet at de har sluttet å belaste brukere på disse abonnementene for de ekstra klassifiserertokenene som auto-modus bruker – disse kostnadene er nå absorbert i det eksisterende abonnementet .