La « fatigue des confirmations » à l'origine du changement

Les données internes d'Anthropic montrent que les utilisateurs approuvaient 97 % des demandes d'autorisation — quel que soit le niveau de danger de la commande . Ce taux d'approbation quasi universel reflétait moins une évaluation minutieuse qu'un clic réflexe, surtout lors de longues sessions où la fatigue s'installait rapidement . Dans l'étude contrôlée, le taux de refus humain est passé d'un déjà faible 13,6 % à environ 5 % après 50 demandes ou plus, confirmant que le modèle d'approbation par commande se dégradait fortement avec le temps .

89 % de blocage automatique contre 13,6 % de refus humain dans l'étude sur 1 053 personnes

• Taux de détection humain : Dans un test en double aveugle avec 1 053 testeurs professionnels rémunérés, une commande dangereuse dissimulée n'a été bloquée que 13,6 % du temps (143 personnes sur 1 053 l'ont refusée) . Après 50 demandes, ce taux est tombé à environ 5 % .
• Taux de détection du mode automatique : Le classificateur a bloqué 89 % des mêmes commandes dangereuses .
• En production, les sessions approuvées manuellement ont produit des effets involontaires deux fois plus souvent que les sessions en mode automatique .

Risques résiduels : 11 % d'échec et aucune détection d'injection de prompt

• Taux d'échec de 11 % : Le classificateur ne parvient pas à bloquer environ 11 % des commandes dangereuses .
• Évaluations adversariales synthétiques : Des exercices de red-teaming par des tiers ont réduit le taux d'échec du classificateur, mais sans l'éliminer complètement . Le système n'a détecté aucune attaque par injection de prompt lors des tests, même si cela peut refléter la conception du test plutôt qu'une immunité générale .
• Cas limites : Les commandes malveillantes très nouvelles ou obscurcies qui sortent de la distribution d'entraînement du classificateur restent un risque résiduel .

Garde-fous et mécanismes de contournement

• Le classificateur évalue chaque appel d'outil indépendamment — le mode automatique n'est pas un laissez-passer général .
• Les utilisateurs peuvent repasser en mode d'approbation manuelle à tout moment pendant une session .
• Les administrateurs des forfaits Team et Enterprise peuvent épingler un mode par défaut (manuel ou automatique) pour toute leur organisation, outrepassant le paramètre par défaut de l'utilisateur .
• Le programme de red-teaming externe d'Anthropic continue de sonder et de renforcer le classificateur .
• Pour les comptes Enterprise, le mode automatique reste optionnel pour l'instant, avec un basculement par défaut prévu dans environ un mois suivant le déploiement initial .

Déploiement et implications tarifaires par segment

Note tarifaire clé : Anthropic a confirmé avoir cessé de facturer les utilisateurs de ces forfaits pour les tokens supplémentaires du classificateur consommés par le mode automatique — ces coûts sont désormais absorbés par l'abonnement existant .

La « fatigue des confirmations » à l'origine du changement

Les données internes d'Anthropic montrent que les utilisateurs approuvaient 97 % des demandes d'autorisation — quel que soit le niveau de danger de la commande . Ce taux d'approbation quasi universel reflétait moins une évaluation minutieuse qu'un clic réflexe, surtout lors de longues sessions où la fatigue s'installait rapidement . Dans l'étude contrôlée, le taux de refus humain est passé d'un déjà faible 13,6 % à environ 5 % après 50 demandes ou plus, confirmant que le modèle d'approbation par commande se dégradait fortement avec le temps .

89 % de blocage automatique contre 13,6 % de refus humain dans l'étude sur 1 053 personnes

• Taux de détection humain : Dans un test en double aveugle avec 1 053 testeurs professionnels rémunérés, une commande dangereuse dissimulée n'a été bloquée que 13,6 % du temps (143 personnes sur 1 053 l'ont refusée) . Après 50 demandes, ce taux est tombé à environ 5 % .
• Taux de détection du mode automatique : Le classificateur a bloqué 89 % des mêmes commandes dangereuses .
• En production, les sessions approuvées manuellement ont produit des effets involontaires deux fois plus souvent que les sessions en mode automatique .

Risques résiduels : 11 % d'échec et aucune détection d'injection de prompt

• Taux d'échec de 11 % : Le classificateur ne parvient pas à bloquer environ 11 % des commandes dangereuses .
• Évaluations adversariales synthétiques : Des exercices de red-teaming par des tiers ont réduit le taux d'échec du classificateur, mais sans l'éliminer complètement . Le système n'a détecté aucune attaque par injection de prompt lors des tests, même si cela peut refléter la conception du test plutôt qu'une immunité générale .
• Cas limites : Les commandes malveillantes très nouvelles ou obscurcies qui sortent de la distribution d'entraînement du classificateur restent un risque résiduel .

Garde-fous et mécanismes de contournement

• Le classificateur évalue chaque appel d'outil indépendamment — le mode automatique n'est pas un laissez-passer général .
• Les utilisateurs peuvent repasser en mode d'approbation manuelle à tout moment pendant une session .
• Les administrateurs des forfaits Team et Enterprise peuvent épingler un mode par défaut (manuel ou automatique) pour toute leur organisation, outrepassant le paramètre par défaut de l'utilisateur .
• Le programme de red-teaming externe d'Anthropic continue de sonder et de renforcer le classificateur .
• Pour les comptes Enterprise, le mode automatique reste optionnel pour l'instant, avec un basculement par défaut prévu dans environ un mois suivant le déploiement initial .

Déploiement et implications tarifaires par segment

Note tarifaire clé : Anthropic a confirmé avoir cessé de facturer les utilisateurs de ces forfaits pour les tokens supplémentaires du classificateur consommés par le mode automatique — ces coûts sont désormais absorbés par l'abonnement existant .