La "stanchezza da conferma" che ha reso necessario il cambiamento

La telemetria interna di Anthropic ha rivelato che gli utenti approvano il 97% delle richieste di autorizzazione, indipendentemente dalla pericolosità del comando . Questo tasso di approvazione quasi universale non riflette una valutazione attenta, ma un clic abituale, specialmente nelle sessioni lunghe dove l'affaticamento da conferma diventa rapidamente insostenibile . Nello studio controllato, il tasso di rifiuto umano è crollato dal già basso 13,6% a circa il 5% dopo 50+ richieste, confermando che il modello di approvazione singola si degrada gravemente nel tempo .

89% di blocco automatico contro il rifiuto umano: i dati dello studio su 1.053 persone

• Tasso di intercettazione umano: In un test in doppio cieco con 1.053 professionisti retribuiti, un comando pericoloso nascosto è stato bloccato solo nel 13,6% dei casi (143 persone su 1.053 lo hanno rifiutato) . Dopo 50 richieste, la percentuale è scesa a circa il 5% .
• Tasso di intercettazione dell'auto mode: Il classificatore ha bloccato l'89% degli stessi comandi pericolosi .
• In produzione, le sessioni approvate manualmente hanno prodotto danni involontari con una frequenza doppia rispetto alle sessioni in auto mode .

Rischi residui: 11% di mancato blocco e zero intercettazioni di prompt injection

• 11% di mancato blocco: Il classificatore non riesce a bloccare circa l'11% dei comandi pericolosi .
• Valutazioni avversarie sintetiche: Esercitazioni di red-teaming di terze parti hanno ulteriormente ridotto il tasso di mancato blocco del classificatore, ma non hanno potuto eliminarlo del tutto . Il sistema non ha intercettato nessun attacco di prompt injection nei test, anche se questo potrebbe riflettere la progettazione del test piuttosto che un'immunità generale .
• Casi limite: Comandi malevoli altamente innovativi o offuscati che escono dalla distribuzione di addestramento del classificatore rimangono un rischio residuo .

Garanzie e meccanismi di override

• Il classificatore valuta ogni chiamata in modo indipendente: l'auto mode non è una concessione di autorizzazione generale .
• Gli utenti possono tornare alla modalità di approvazione manuale in qualsiasi momento durante una sessione .
• Gli amministratori dei piani Team ed Enterprise possono fissare una modalità predefinita (manuale o automatica) per l'intera organizzazione, sovrascrivendo l'impostazione predefinita a livello di utente .
• Il programma di red-teaming esterno di Anthropic continua a sondare e rinforzare il classificatore .
• Per i clienti Enterprise, l'auto mode rimane inizialmente facoltativa, con un passaggio predefinito previsto entro circa un mese dal lancio iniziale .

Rollout e implicazioni di prezzo per segmento

Nota chiave sui prezzi: Anthropic ha confermato di aver smesso di addebitare agli utenti di questi piani i token aggiuntivi del classificatore consumati dall'auto mode: tali costi sono ora assorbiti nell'abbonamento esistente .

La "stanchezza da conferma" che ha reso necessario il cambiamento

La telemetria interna di Anthropic ha rivelato che gli utenti approvano il 97% delle richieste di autorizzazione, indipendentemente dalla pericolosità del comando . Questo tasso di approvazione quasi universale non riflette una valutazione attenta, ma un clic abituale, specialmente nelle sessioni lunghe dove l'affaticamento da conferma diventa rapidamente insostenibile . Nello studio controllato, il tasso di rifiuto umano è crollato dal già basso 13,6% a circa il 5% dopo 50+ richieste, confermando che il modello di approvazione singola si degrada gravemente nel tempo .

89% di blocco automatico contro il rifiuto umano: i dati dello studio su 1.053 persone

• Tasso di intercettazione umano: In un test in doppio cieco con 1.053 professionisti retribuiti, un comando pericoloso nascosto è stato bloccato solo nel 13,6% dei casi (143 persone su 1.053 lo hanno rifiutato) . Dopo 50 richieste, la percentuale è scesa a circa il 5% .
• Tasso di intercettazione dell'auto mode: Il classificatore ha bloccato l'89% degli stessi comandi pericolosi .
• In produzione, le sessioni approvate manualmente hanno prodotto danni involontari con una frequenza doppia rispetto alle sessioni in auto mode .

Rischi residui: 11% di mancato blocco e zero intercettazioni di prompt injection

• 11% di mancato blocco: Il classificatore non riesce a bloccare circa l'11% dei comandi pericolosi .
• Valutazioni avversarie sintetiche: Esercitazioni di red-teaming di terze parti hanno ulteriormente ridotto il tasso di mancato blocco del classificatore, ma non hanno potuto eliminarlo del tutto . Il sistema non ha intercettato nessun attacco di prompt injection nei test, anche se questo potrebbe riflettere la progettazione del test piuttosto che un'immunità generale .
• Casi limite: Comandi malevoli altamente innovativi o offuscati che escono dalla distribuzione di addestramento del classificatore rimangono un rischio residuo .

Garanzie e meccanismi di override

• Il classificatore valuta ogni chiamata in modo indipendente: l'auto mode non è una concessione di autorizzazione generale .
• Gli utenti possono tornare alla modalità di approvazione manuale in qualsiasi momento durante una sessione .
• Gli amministratori dei piani Team ed Enterprise possono fissare una modalità predefinita (manuale o automatica) per l'intera organizzazione, sovrascrivendo l'impostazione predefinita a livello di utente .
• Il programma di red-teaming esterno di Anthropic continua a sondare e rinforzare il classificatore .
• Per i clienti Enterprise, l'auto mode rimane inizialmente facoltativa, con un passaggio predefinito previsto entro circa un mese dal lancio iniziale .

Rollout e implicazioni di prezzo per segmento

Nota chiave sui prezzi: Anthropic ha confermato di aver smesso di addebitare agli utenti di questi piani i token aggiuntivi del classificatore consumati dall'auto mode: tali costi sono ora assorbiti nell'abbonamento esistente .