«Втома від підтверджень»: що спричинило зміну

Внутрішня телеметрія Anthropic показала, що користувачі схвалювали 97% запитів на дозвіл — незалежно від того, наскільки небезпечною була команда . Цей майже універсальний показник схвалення відображав не ретельну оцінку, а звичне клацання «Так», особливо під час довгих сесій, де втома від постійних запитів наставала швидко . У контрольованому дослідженні рівень відхилень людьми впав із уже низьких 13,6% приблизно до 5% після 50+ запитів, що підтверджує значне погіршення моделі поіндивідуального схвалення з часом .

89% автоматичного блокування проти відхилень людьми у дослідженні з 1053 особами

• Рівень виявлення людиною: У подвійному сліпому тесті за участю 1053 оплачуваних професійних тестувальників закладену небезпечну команду було заблоковано лише в 13,6% випадків (143 із 1053 осіб відмовилися її виконувати) . Після 50 запитів цей показник впав до ~5% .
• Рівень виявлення auto mode: Класифікатор заблокував 89% тих самих закладених небезпечних команд .
• У реальному виробничому середовищі сесії з ручним схваленням призводили до ненавмисної шкоди вдвічі частіше, ніж сесії в auto mode .

Залишкові ризики: 11% пропусків і нульове виявлення ін'єкцій запитів

• 11% пропусків: Класифікатор не блокує приблизно 11% небезпечних команд .
• Синтетичні змагальні оцінки: Сторонні вправи з «червоного командування» (red-teaming) додатково знизили рівень пропусків класифікатора, але не змогли усунути їх повністю . Система виявила нуль атак із впровадженням запитів (prompt injection) під час тестування, хоча це може бути пов'язано з дизайном тесту, а не із загальним імунітетом .
• Граничні випадки: Дуже нові або заплутані шкідливі команди, які виходять за межі навчального розподілу класифікатора, залишаються залишковим ризиком .

Запобіжники та механізми перевизначення

• Класифікатор оцінює кожен виклик інструмента незалежно — auto mode не є загальним наданням дозволу .
• Користувачі можуть перемкнутися назад у ручний режим схвалення в будь-який момент протягом сесії .
• Адміністратори Team та Enterprise можуть закріпити режим за замовчуванням (ручний або автоматичний) для всієї організації, перевизначаючи налаштування користувача .
• Зовнішня програма «червоного командування» Anthropic продовжує тестувати та зміцнювати класифікатор .
• Для корпоративних акаунтів auto mode спочатку залишається опціональним, примусове ввімкнення заплановане приблизно через місяць після початкового розгортання .

Розгортання та цінові наслідки за сегментами

Ключова примітка щодо ціноутворення: Anthropic підтвердив, що припинив стягувати плату з користувачів цих планів за додаткові токени класифікатора, які споживає auto mode — ці витрати тепер поглинені існуючою підпискою .

«Втома від підтверджень»: що спричинило зміну

Внутрішня телеметрія Anthropic показала, що користувачі схвалювали 97% запитів на дозвіл — незалежно від того, наскільки небезпечною була команда . Цей майже універсальний показник схвалення відображав не ретельну оцінку, а звичне клацання «Так», особливо під час довгих сесій, де втома від постійних запитів наставала швидко . У контрольованому дослідженні рівень відхилень людьми впав із уже низьких 13,6% приблизно до 5% після 50+ запитів, що підтверджує значне погіршення моделі поіндивідуального схвалення з часом .

89% автоматичного блокування проти відхилень людьми у дослідженні з 1053 особами

• Рівень виявлення людиною: У подвійному сліпому тесті за участю 1053 оплачуваних професійних тестувальників закладену небезпечну команду було заблоковано лише в 13,6% випадків (143 із 1053 осіб відмовилися її виконувати) . Після 50 запитів цей показник впав до ~5% .
• Рівень виявлення auto mode: Класифікатор заблокував 89% тих самих закладених небезпечних команд .
• У реальному виробничому середовищі сесії з ручним схваленням призводили до ненавмисної шкоди вдвічі частіше, ніж сесії в auto mode .

Залишкові ризики: 11% пропусків і нульове виявлення ін'єкцій запитів

• 11% пропусків: Класифікатор не блокує приблизно 11% небезпечних команд .
• Синтетичні змагальні оцінки: Сторонні вправи з «червоного командування» (red-teaming) додатково знизили рівень пропусків класифікатора, але не змогли усунути їх повністю . Система виявила нуль атак із впровадженням запитів (prompt injection) під час тестування, хоча це може бути пов'язано з дизайном тесту, а не із загальним імунітетом .
• Граничні випадки: Дуже нові або заплутані шкідливі команди, які виходять за межі навчального розподілу класифікатора, залишаються залишковим ризиком .

Запобіжники та механізми перевизначення

• Класифікатор оцінює кожен виклик інструмента незалежно — auto mode не є загальним наданням дозволу .
• Користувачі можуть перемкнутися назад у ручний режим схвалення в будь-який момент протягом сесії .
• Адміністратори Team та Enterprise можуть закріпити режим за замовчуванням (ручний або автоматичний) для всієї організації, перевизначаючи налаштування користувача .
• Зовнішня програма «червоного командування» Anthropic продовжує тестувати та зміцнювати класифікатор .
• Для корпоративних акаунтів auto mode спочатку залишається опціональним, примусове ввімкнення заплановане приблизно через місяць після початкового розгортання .

Розгортання та цінові наслідки за сегментами

Ключова примітка щодо ціноутворення: Anthropic підтвердив, що припинив стягувати плату з користувачів цих планів за додаткові токени класифікатора, які споживає auto mode — ці витрати тепер поглинені існуючою підпискою .