La "fatiga de confirmación" que impulsó el cambio

La telemetría interna de Anthropic mostró que los usuarios aprobaban el 97% de las solicitudes de permiso, independientemente de lo peligroso que fuera realmente el comando . Esta tasa de aprobación casi universal reflejaba no una evaluación cuidadosa, sino un hábito de hacer clic sin mirar, especialmente en sesiones largas donde la fatiga por las indicaciones se instalaba rápidamente . En el estudio controlado, las tasas de rechazo humano cayeron de un ya bajo 13.6% a aproximadamente 5% después de 50+ solicitudes, confirmando que el modelo de aprobación individual se degradaba gravemente con el tiempo .

Tasa de bloqueo automático del 89% frente al rechazo humano en el estudio de 1,053 personas

• Tasa de captura humana: En una prueba doble ciego con 1,053 evaluadores profesionales pagados, un comando peligroso insertado fue bloqueado solo el 13.6% de las veces (143 de 1,053 personas lo rechazaron) . Después de 50 solicitudes, esa cifra cayó a ~5% .
• Tasa de captura del modo automático: El clasificador bloqueó el 89% de los mismos comandos peligrosos insertados .
• En producción, las sesiones aprobadas manualmente produjeron daños no deseados con el doble de frecuencia que las sesiones en modo automático .

Riesgos residuales: 11% de tasa de fallo y cero detecciones de inyección de instrucciones

• 11% de tasa de fallo: El clasificador no logra bloquear aproximadamente el 11% de los comandos peligrosos .
• Evaluaciones adversariales sintéticas: Ejercicios de 'red teaming' de terceros redujeron aún más la tasa de fallo del clasificador, pero no pudieron eliminarlos por completo . El sistema no detectó ningún ataque de inyección de instrucciones en las pruebas, aunque esto puede reflejar el diseño de la prueba más que una inmunidad general .
• Casos extremos: Los comandos maliciosos altamente novedosos u ofuscados que quedan fuera de la distribución de entrenamiento del clasificador siguen siendo un riesgo residual .

Barreras de seguridad y mecanismos de anulación

• El clasificador evalúa cada llamada a herramientas de forma independiente: el modo automático no es una concesión de permiso general .
• Los usuarios pueden volver al modo de aprobación manual en cualquier momento dentro de una sesión .
• Los administradores de Team y Enterprise pueden fijar un modo por defecto (manual o automático) para toda su organización, anulando el valor predeterminado a nivel de usuario .
• El programa externo de 'red teaming' de Anthropic continúa probando y endureciendo el clasificador .
• Para las cuentas Enterprise, el modo automático sigue siendo voluntario por ahora, con un cambio por defecto planeado dentro de aproximadamente un mes del lanzamiento inicial .

Implementación e implicaciones de precios por segmento

Nota clave sobre precios: Anthropic confirmó que ha dejado de cobrar a los usuarios de estos planes por los tokens de clasificador adicionales que consume el modo automático; esos costos ahora se absorben en la suscripción existente .

La "fatiga de confirmación" que impulsó el cambio

La telemetría interna de Anthropic mostró que los usuarios aprobaban el 97% de las solicitudes de permiso, independientemente de lo peligroso que fuera realmente el comando . Esta tasa de aprobación casi universal reflejaba no una evaluación cuidadosa, sino un hábito de hacer clic sin mirar, especialmente en sesiones largas donde la fatiga por las indicaciones se instalaba rápidamente . En el estudio controlado, las tasas de rechazo humano cayeron de un ya bajo 13.6% a aproximadamente 5% después de 50+ solicitudes, confirmando que el modelo de aprobación individual se degradaba gravemente con el tiempo .

Tasa de bloqueo automático del 89% frente al rechazo humano en el estudio de 1,053 personas

• Tasa de captura humana: En una prueba doble ciego con 1,053 evaluadores profesionales pagados, un comando peligroso insertado fue bloqueado solo el 13.6% de las veces (143 de 1,053 personas lo rechazaron) . Después de 50 solicitudes, esa cifra cayó a ~5% .
• Tasa de captura del modo automático: El clasificador bloqueó el 89% de los mismos comandos peligrosos insertados .
• En producción, las sesiones aprobadas manualmente produjeron daños no deseados con el doble de frecuencia que las sesiones en modo automático .

Riesgos residuales: 11% de tasa de fallo y cero detecciones de inyección de instrucciones

• 11% de tasa de fallo: El clasificador no logra bloquear aproximadamente el 11% de los comandos peligrosos .
• Evaluaciones adversariales sintéticas: Ejercicios de 'red teaming' de terceros redujeron aún más la tasa de fallo del clasificador, pero no pudieron eliminarlos por completo . El sistema no detectó ningún ataque de inyección de instrucciones en las pruebas, aunque esto puede reflejar el diseño de la prueba más que una inmunidad general .
• Casos extremos: Los comandos maliciosos altamente novedosos u ofuscados que quedan fuera de la distribución de entrenamiento del clasificador siguen siendo un riesgo residual .

Barreras de seguridad y mecanismos de anulación

• El clasificador evalúa cada llamada a herramientas de forma independiente: el modo automático no es una concesión de permiso general .
• Los usuarios pueden volver al modo de aprobación manual en cualquier momento dentro de una sesión .
• Los administradores de Team y Enterprise pueden fijar un modo por defecto (manual o automático) para toda su organización, anulando el valor predeterminado a nivel de usuario .
• El programa externo de 'red teaming' de Anthropic continúa probando y endureciendo el clasificador .
• Para las cuentas Enterprise, el modo automático sigue siendo voluntario por ahora, con un cambio por defecto planeado dentro de aproximadamente un mes del lanzamiento inicial .

Implementación e implicaciones de precios por segmento

Nota clave sobre precios: Anthropic confirmó que ha dejado de cobrar a los usuarios de estos planes por los tokens de clasificador adicionales que consume el modo automático; esos costos ahora se absorben en la suscripción existente .