«Усталость подтверждения» как драйвер перемен

Собственная телеметрия Anthropic показала: пользователи утверждали 97% всех запросов на разрешение — вне зависимости от того, насколько опасной была команда . Это почти тотальное нажатие «да» отражало не вдумчивую проверку, а автоматическое перелистывание, особенно в длинных сессиях, где усталость от подтверждений наступала особенно быстро . В том же контролируемом исследовании уровень человеческих отказов упал с изначально низких 13,6% до примерно 5% после 50+ запросов, что наглядно подтвердило: модель поштучных одобрений резко деградирует со временем .

89% блокировки ИИ против 14% человеческого отказа: что показало исследование с 1 053 участниками

• Человеческий перехват: В двойном слепом тесте с 1 053 платными профессиональными тестерами встроенную опасную команду заблокировали лишь 13,6% участников (143 из 1 053 человек ее отклонили) . После 50 запросов этот показатель упал до ~5% .
• Авторежим: Классификатор заблокировал 89% тех же встроенных опасных команд .
• В производственной среде сессии с ручным утверждением приводили к непреднамеренным вредоносным последствиям вдвое чаще, чем сессии в авторежиме .

Остаточные риски: 11% ошибок и нулевое обнаружение инъекций

• 11% пропусков: Классификатор не блокирует примерно 11% опасных команд .
• Синтетические тесты на состязательность: Сторонние красно-командные («red-teaming») упражнения позволили сократить долю пропусков, но не устранили их полностью . Система не обнаружила ни одной атаки с внедрением промптов (prompt injection) — правда, это может объясняться самим дизайном теста, а не всеобщим иммунитетом .
• Крайние случаи: Остается риск высокооригинальных или запутанных вредоносных команд, которые выходят за пределы обучающей выборки классификатора .

Система защиты и ручное управление

• Классификатор оценивает каждый вызов инструмента независимо — авторежим не является разовым разрешением на все действия .
• Пользователи могут переключиться обратно на ручное одобрение в любой момент в рамках сессии .
• Администраторы команд и Enterprise могут закрепить режим по умолчанию (ручное одобрение или авторежим) для всей организации, переопределив пользовательские настройки .
• Anthropic продолжает внешние красно-командные испытания для ужесточения классификатора .
• Для корпоративных аккаунтов (Enterprise) авторежим пока остается опциональным, а принудительное включение планируется примерно через месяц после первоначального развертывания .

Масштабирование и влияние на цены для разных сегментов

Ключевая деталь по ценообразованию: Anthropic подтвердил, что прекратил взимать плату с пользователей этих тарифов за дополнительные токены классификатора, которые расходуются в авторежиме — эти затраты теперь входят в существующую абонентскую плату .

«Усталость подтверждения» как драйвер перемен

Собственная телеметрия Anthropic показала: пользователи утверждали 97% всех запросов на разрешение — вне зависимости от того, насколько опасной была команда . Это почти тотальное нажатие «да» отражало не вдумчивую проверку, а автоматическое перелистывание, особенно в длинных сессиях, где усталость от подтверждений наступала особенно быстро . В том же контролируемом исследовании уровень человеческих отказов упал с изначально низких 13,6% до примерно 5% после 50+ запросов, что наглядно подтвердило: модель поштучных одобрений резко деградирует со временем .

89% блокировки ИИ против 14% человеческого отказа: что показало исследование с 1 053 участниками

• Человеческий перехват: В двойном слепом тесте с 1 053 платными профессиональными тестерами встроенную опасную команду заблокировали лишь 13,6% участников (143 из 1 053 человек ее отклонили) . После 50 запросов этот показатель упал до ~5% .
• Авторежим: Классификатор заблокировал 89% тех же встроенных опасных команд .
• В производственной среде сессии с ручным утверждением приводили к непреднамеренным вредоносным последствиям вдвое чаще, чем сессии в авторежиме .

Остаточные риски: 11% ошибок и нулевое обнаружение инъекций

• 11% пропусков: Классификатор не блокирует примерно 11% опасных команд .
• Синтетические тесты на состязательность: Сторонние красно-командные («red-teaming») упражнения позволили сократить долю пропусков, но не устранили их полностью . Система не обнаружила ни одной атаки с внедрением промптов (prompt injection) — правда, это может объясняться самим дизайном теста, а не всеобщим иммунитетом .
• Крайние случаи: Остается риск высокооригинальных или запутанных вредоносных команд, которые выходят за пределы обучающей выборки классификатора .

Система защиты и ручное управление

• Классификатор оценивает каждый вызов инструмента независимо — авторежим не является разовым разрешением на все действия .
• Пользователи могут переключиться обратно на ручное одобрение в любой момент в рамках сессии .
• Администраторы команд и Enterprise могут закрепить режим по умолчанию (ручное одобрение или авторежим) для всей организации, переопределив пользовательские настройки .
• Anthropic продолжает внешние красно-командные испытания для ужесточения классификатора .
• Для корпоративных аккаунтов (Enterprise) авторежим пока остается опциональным, а принудительное включение планируется примерно через месяц после первоначального развертывания .

Масштабирование и влияние на цены для разных сегментов

Ключевая деталь по ценообразованию: Anthropic подтвердил, что прекратил взимать плату с пользователей этих тарифов за дополнительные токены классификатора, которые расходуются в авторежиме — эти затраты теперь входят в существующую абонентскую плату .