Die „Bestätigungs-Müdigkeit", die die Änderung erzwang

Die internen Telemetriedaten von Anthropic zeigten, dass Nutzer 97 % aller Bestätigungsanfragen genehmigten – unabhängig davon, wie gefährlich der Befehl tatsächlich war . Diese fast universelle Zustimmung war kein Zeichen sorgfältiger Prüfung, sondern gewohnheitsmäßiges Durchklicken, besonders in langen Sitzungen, in denen die Prompt-Müdigkeit rapide zunahm . In der kontrollierten Studie fiel die menschliche Verweigerungsrate von bereits niedrigen 13,6 % auf etwa 5 % nach 50+ Prompts – ein klarer Beleg dafür, dass das Einzelfreigabe-Modell mit der Zeit massiv nachlässt .

89 % Blockrate des Classifiers vs. menschliche Ablehnung in der 1.053-Personen-Studie

• Menschliche Erkennungsrate: In einem Doppelblindtest mit 1.053 bezahlten professionellen Testern wurde ein eingeschleuster gefährlicher Befehl nur in 13,6 % der Fälle blockiert (143 von 1.053 Personen lehnten ihn ab) . Nach 50 Prompts fiel die Rate auf ~5 % .
• Auto-Modus-Erkennungsrate: Der Classifier blockte 89 % derselben eingeschleusten gefährlichen Befehle .
• Im Produktionsbetrieb verursachten manuell genehmigte Sitzungen doppelt so häufig unbeabsichtigte Schäden wie Sitzungen im Auto-Modus .

Restrisiken: 11 % Fehlerquote und Null Treffer bei Prompt-Injection

• 11 % Fehlerquote: Der Classifier übersieht weiterhin rund 11 % der gefährlichen Befehle .
• Synthetische Adversarial-Evaluierungen: Externe Red-Teaming-Übungen senkten die Fehlerquote des Classifiers zwar weiter, konnten sie aber nicht vollständig eliminieren . Das System erkannte keine einzige Prompt-Injection-Attacke während der Tests – was allerdings auch am Testdesign liegen könnte .
• Randfälle: Hochgradig neuartige oder verschleierte bösartige Befehle, die außerhalb der Trainingsverteilung des Classifiers liegen, bleiben ein Restrisiko .

Sicherheitsvorkehrungen und Überschreibungsmöglichkeiten

• Der Classifier bewertet jeden Tool-Aufruf einzeln – der Auto-Modus ist keine pauschale Freigabe .
• Nutzer können jederzeit innerhalb einer Sitzung in den manuellen Freigabemodus zurückwechseln .
• Team- und Enterprise-Administratoren können für ihre gesamte Organisation einen Standardmodus festlegen (manuell oder Auto), der die benutzerspezifische Voreinstellung überschreibt .
• Anthropics externes Red-Teaming-Programm testet und verbessert den Classifier kontinuierlich .
• Für Enterprise-Konten bleibt der Auto-Modus vorerst eine Opt-in-Option; die Standardumstellung ist etwa einen Monat nach dem ersten Rollout geplant .

Rollout und Preisauswirkungen nach Segment

Wichtiger Preishinweis: Anthropic hat bestätigt, dass die Pläne Pro, Max und Team nicht mehr für die zusätzlichen Classifier-Tokens belastet werden, die der Auto-Modus verbraucht – diese Kosten sind jetzt im bestehenden Abonnement enthalten .

Die „Bestätigungs-Müdigkeit", die die Änderung erzwang

Die internen Telemetriedaten von Anthropic zeigten, dass Nutzer 97 % aller Bestätigungsanfragen genehmigten – unabhängig davon, wie gefährlich der Befehl tatsächlich war . Diese fast universelle Zustimmung war kein Zeichen sorgfältiger Prüfung, sondern gewohnheitsmäßiges Durchklicken, besonders in langen Sitzungen, in denen die Prompt-Müdigkeit rapide zunahm . In der kontrollierten Studie fiel die menschliche Verweigerungsrate von bereits niedrigen 13,6 % auf etwa 5 % nach 50+ Prompts – ein klarer Beleg dafür, dass das Einzelfreigabe-Modell mit der Zeit massiv nachlässt .

89 % Blockrate des Classifiers vs. menschliche Ablehnung in der 1.053-Personen-Studie

• Menschliche Erkennungsrate: In einem Doppelblindtest mit 1.053 bezahlten professionellen Testern wurde ein eingeschleuster gefährlicher Befehl nur in 13,6 % der Fälle blockiert (143 von 1.053 Personen lehnten ihn ab) . Nach 50 Prompts fiel die Rate auf ~5 % .
• Auto-Modus-Erkennungsrate: Der Classifier blockte 89 % derselben eingeschleusten gefährlichen Befehle .
• Im Produktionsbetrieb verursachten manuell genehmigte Sitzungen doppelt so häufig unbeabsichtigte Schäden wie Sitzungen im Auto-Modus .

Restrisiken: 11 % Fehlerquote und Null Treffer bei Prompt-Injection

• 11 % Fehlerquote: Der Classifier übersieht weiterhin rund 11 % der gefährlichen Befehle .
• Synthetische Adversarial-Evaluierungen: Externe Red-Teaming-Übungen senkten die Fehlerquote des Classifiers zwar weiter, konnten sie aber nicht vollständig eliminieren . Das System erkannte keine einzige Prompt-Injection-Attacke während der Tests – was allerdings auch am Testdesign liegen könnte .
• Randfälle: Hochgradig neuartige oder verschleierte bösartige Befehle, die außerhalb der Trainingsverteilung des Classifiers liegen, bleiben ein Restrisiko .

Sicherheitsvorkehrungen und Überschreibungsmöglichkeiten

• Der Classifier bewertet jeden Tool-Aufruf einzeln – der Auto-Modus ist keine pauschale Freigabe .
• Nutzer können jederzeit innerhalb einer Sitzung in den manuellen Freigabemodus zurückwechseln .
• Team- und Enterprise-Administratoren können für ihre gesamte Organisation einen Standardmodus festlegen (manuell oder Auto), der die benutzerspezifische Voreinstellung überschreibt .
• Anthropics externes Red-Teaming-Programm testet und verbessert den Classifier kontinuierlich .
• Für Enterprise-Konten bleibt der Auto-Modus vorerst eine Opt-in-Option; die Standardumstellung ist etwa einen Monat nach dem ersten Rollout geplant .

Rollout und Preisauswirkungen nach Segment

Wichtiger Preishinweis: Anthropic hat bestätigt, dass die Pläne Pro, Max und Team nicht mehr für die zusätzlichen Classifier-Tokens belastet werden, die der Auto-Modus verbraucht – diese Kosten sind jetzt im bestehenden Abonnement enthalten .