„Zmęczenie zatwierdzaniem” — przyczyny zmiany

Wewnętrzna telemetria Anthropica wykazała, że użytkownicy zatwierdzali 97% próśb o zgodę — niezależnie od tego, jak niebezpieczne było polecenie . Ten niemal powszechny wskaźnik akceptacji nie wynikał z uważnej oceny, ale z przyzwyczajeniowego klikania, szczególnie w długich sesjach, gdzie zmęczenie promptami pojawiało się błyskawicznie . W kontrolowanym badaniu wskaźnik odrzuceń przez człowieka spadł z już niskiego 13,6% do około 5% po 50+ promptach, co potwierdza, że model indywidualnej aprobaty gwałtownie tracił na skuteczności .

89% skuteczności auto mode vs. 13,6% człowieka — badanie na 1053 osobach

• Skuteczność człowieka: W podwójnie ślepym teście z 1053 płatnymi profesjonalnymi testerami, celowo podłożone niebezpieczne polecenie zostało zablokowane tylko w 13,6% przypadków (143 z 1053 osób odmówiło) . Po 50 promptach wskaźnik spadł do ~5% .
• Skuteczność auto mode: Klasyfikator zablokował 89% tych samych podstawionych niebezpiecznych komend .
• W produkcji sesje z ręczną aprobatą powodowały niezamierzone szkody dwa razy częściej niż sesje w auto mode .

Pozostałe ryzyka: 11% niewykrytych komend i zerowe wykrywanie ataków typu prompt injection

• 11% niewykrytych: Klasyfikator nie blokuje około 11% niebezpiecznych poleceń .
• Testy adversaryjne: Zewnętrzne ćwiczenia red-teamowe zmniejszyły odsetek niewykrytych przypadków, ale nie wyeliminowały ich całkowicie . System nie wychwycił żadnego ataku typu prompt injection w testach, choć może to odzwierciedlać projekt testu, a nie ogólną odporność .
• Sytuacje brzegowe: Wysoce nowatorskie lub zaciemnione złośliwe komendy, które wykraczają poza rozkład danych treningowych klasyfikatora, pozostają ryzykiem .

Zabezpieczenia i mechanizmy nadrzędne

• Klasyfikator ocenia każde wywołanie narzędzia niezależnie — auto mode nie jest blanketowym przyzwoleniem .
• Użytkownicy mogą w każdej chwili wrócić do trybu ręcznej aprobaty w trakcie sesji .
• Administratorzy planów Team i Enterprise mogą przypiąć domyślny tryb (ręczny lub auto) dla całej organizacji, nadpisując domyślne ustawienie użytkownika .
• Zewnętrzny program red-teamingu Anthropica stale testuje i wzmacnia klasyfikator .
• Dla kont Enterprise auto mode pozostaje na razie opcją opt-in, z domyślnym włączeniem planowanym w ciągu około miesiąca od początkowego wdrożenia .

Wdrożenie i implikacje cenowe według segmentu

Kluczowa uwaga cenowa: Anthropic potwierdził, że przestał naliczać opłaty użytkownikom tych planów za dodatkowe tokeny klasyfikatora zużywane przez auto mode — koszty te są teraz wchłonięte przez istniejący abonament .

„Zmęczenie zatwierdzaniem” — przyczyny zmiany

Wewnętrzna telemetria Anthropica wykazała, że użytkownicy zatwierdzali 97% próśb o zgodę — niezależnie od tego, jak niebezpieczne było polecenie . Ten niemal powszechny wskaźnik akceptacji nie wynikał z uważnej oceny, ale z przyzwyczajeniowego klikania, szczególnie w długich sesjach, gdzie zmęczenie promptami pojawiało się błyskawicznie . W kontrolowanym badaniu wskaźnik odrzuceń przez człowieka spadł z już niskiego 13,6% do około 5% po 50+ promptach, co potwierdza, że model indywidualnej aprobaty gwałtownie tracił na skuteczności .

89% skuteczności auto mode vs. 13,6% człowieka — badanie na 1053 osobach

• Skuteczność człowieka: W podwójnie ślepym teście z 1053 płatnymi profesjonalnymi testerami, celowo podłożone niebezpieczne polecenie zostało zablokowane tylko w 13,6% przypadków (143 z 1053 osób odmówiło) . Po 50 promptach wskaźnik spadł do ~5% .
• Skuteczność auto mode: Klasyfikator zablokował 89% tych samych podstawionych niebezpiecznych komend .
• W produkcji sesje z ręczną aprobatą powodowały niezamierzone szkody dwa razy częściej niż sesje w auto mode .

Pozostałe ryzyka: 11% niewykrytych komend i zerowe wykrywanie ataków typu prompt injection

• 11% niewykrytych: Klasyfikator nie blokuje około 11% niebezpiecznych poleceń .
• Testy adversaryjne: Zewnętrzne ćwiczenia red-teamowe zmniejszyły odsetek niewykrytych przypadków, ale nie wyeliminowały ich całkowicie . System nie wychwycił żadnego ataku typu prompt injection w testach, choć może to odzwierciedlać projekt testu, a nie ogólną odporność .
• Sytuacje brzegowe: Wysoce nowatorskie lub zaciemnione złośliwe komendy, które wykraczają poza rozkład danych treningowych klasyfikatora, pozostają ryzykiem .

Zabezpieczenia i mechanizmy nadrzędne

• Klasyfikator ocenia każde wywołanie narzędzia niezależnie — auto mode nie jest blanketowym przyzwoleniem .
• Użytkownicy mogą w każdej chwili wrócić do trybu ręcznej aprobaty w trakcie sesji .
• Administratorzy planów Team i Enterprise mogą przypiąć domyślny tryb (ręczny lub auto) dla całej organizacji, nadpisując domyślne ustawienie użytkownika .
• Zewnętrzny program red-teamingu Anthropica stale testuje i wzmacnia klasyfikator .
• Dla kont Enterprise auto mode pozostaje na razie opcją opt-in, z domyślnym włączeniem planowanym w ciągu około miesiąca od początkowego wdrożenia .

Wdrożenie i implikacje cenowe według segmentu

Kluczowa uwaga cenowa: Anthropic potwierdził, że przestał naliczać opłaty użytkownikom tych planów za dodatkowe tokeny klasyfikatora zużywane przez auto mode — koszty te są teraz wchłonięte przez istniejący abonament .