„Potvrzovací únava“ jako důvod změny

Interní telemetrie Anthropicu odhalila, že uživatelé schválili 97 % všech bezpečnostních výzev – bez ohledu na to, jak nebezpečný příkaz byl . Tato téměř stoprocentní míra schválení nebyla výsledkem pečlivého posouzení, ale automatického odklikávání, zejména u delších sezení, kde únava rychle narůstala . V kontrolované studii míra odmítnutí ze strany člověka klesla z již tak nízkých 13,6 % na přibližně 5 % po 50 a více výzvách, což potvrdilo, že model individuálního schvalování časem výrazně ztrácí na účinnosti .

89% zásahovost klasifikátoru vs. lidská pozornost ve studii s 1 053 lidmi

• Lidská úspěšnost: V dvojitě slepém testu s 1 053 placenými profesionálními testery dokázalo nebezpečný příkaz zablokovat pouze 13,6 % z nich (143 z 1 053 osob ho odmítlo) . Po 50 výzvách klesla tato míra na ~5 % .
• Úspěšnost auto mode: Klasifikátor zablokoval 89 % stejných nastražených nebezpečných příkazů .
• V reálném provozu způsobila manuálně schválená sezení dvakrát častěji nezamýšlené škody než sezení v auto mode .

Reziduální rizika: 11% chybovost a nulová záchytnost prompt injection

• 11% chybovost: Klasifikátor nezachytí přibližně 11 % nebezpečných příkazů .
• Adversariální testy: Externí red-teamingové cvičení snížila chybovost dále, ale nedokázala ji zcela eliminovat . Systém v testech nezachytil žádný prompt injection útok, což však může odrážet spíše povahu testů než obecnou zranitelnost .
• Okrajové případy: Vysoce originální nebo zatemněné škodlivé příkazy, které nespadají do trénovací distribuce klasifikátoru, zůstávají rizikem .

Záruky a možnosti přepnutí

• Klasifikátor vyhodnocuje každé volání nástroje samostatně – auto mode není plošné povolení .
• Uživatelé mohou kdykoli přepnout zpět do manuálního režimu během sezení .
• Správci týmových a firemních účtů mohou nastavit výchozí režim (manuální nebo auto) pro celou organizaci, což přepíše uživatelské nastavení .
• Externí red-teamingový program Anthropicu nadále testuje a vylepšuje klasifikátor .
• Pro firemní účty zůstává auto mode zatím volitelný, automatické zapnutí se plánuje zhruba do měsíce od prvotního spuštění .

Zavádění a cenové dopady podle segmentu

Klíčová cenová poznámka: Anthropic potvrdil, že přestal účtovat uživatelům těchto plánů dodatečné tokeny, které auto mode spotřebovává – tyto náklady jsou nyní součástí stávajícího předplatného .

„Potvrzovací únava“ jako důvod změny

Interní telemetrie Anthropicu odhalila, že uživatelé schválili 97 % všech bezpečnostních výzev – bez ohledu na to, jak nebezpečný příkaz byl . Tato téměř stoprocentní míra schválení nebyla výsledkem pečlivého posouzení, ale automatického odklikávání, zejména u delších sezení, kde únava rychle narůstala . V kontrolované studii míra odmítnutí ze strany člověka klesla z již tak nízkých 13,6 % na přibližně 5 % po 50 a více výzvách, což potvrdilo, že model individuálního schvalování časem výrazně ztrácí na účinnosti .

89% zásahovost klasifikátoru vs. lidská pozornost ve studii s 1 053 lidmi

• Lidská úspěšnost: V dvojitě slepém testu s 1 053 placenými profesionálními testery dokázalo nebezpečný příkaz zablokovat pouze 13,6 % z nich (143 z 1 053 osob ho odmítlo) . Po 50 výzvách klesla tato míra na ~5 % .
• Úspěšnost auto mode: Klasifikátor zablokoval 89 % stejných nastražených nebezpečných příkazů .
• V reálném provozu způsobila manuálně schválená sezení dvakrát častěji nezamýšlené škody než sezení v auto mode .

Reziduální rizika: 11% chybovost a nulová záchytnost prompt injection

• 11% chybovost: Klasifikátor nezachytí přibližně 11 % nebezpečných příkazů .
• Adversariální testy: Externí red-teamingové cvičení snížila chybovost dále, ale nedokázala ji zcela eliminovat . Systém v testech nezachytil žádný prompt injection útok, což však může odrážet spíše povahu testů než obecnou zranitelnost .
• Okrajové případy: Vysoce originální nebo zatemněné škodlivé příkazy, které nespadají do trénovací distribuce klasifikátoru, zůstávají rizikem .

Záruky a možnosti přepnutí

• Klasifikátor vyhodnocuje každé volání nástroje samostatně – auto mode není plošné povolení .
• Uživatelé mohou kdykoli přepnout zpět do manuálního režimu během sezení .
• Správci týmových a firemních účtů mohou nastavit výchozí režim (manuální nebo auto) pro celou organizaci, což přepíše uživatelské nastavení .
• Externí red-teamingový program Anthropicu nadále testuje a vylepšuje klasifikátor .
• Pro firemní účty zůstává auto mode zatím volitelný, automatické zapnutí se plánuje zhruba do měsíce od prvotního spuštění .

Zavádění a cenové dopady podle segmentu

Klíčová cenová poznámka: Anthropic potvrdil, že přestal účtovat uživatelům těchto plánů dodatečné tokeny, které auto mode spotřebovává – tyto náklady jsou nyní součástí stávajícího předplatného .