'Mệt mỏi phê duyệt' — nguyên nhân của sự thay đổi

Dữ liệu đo từ xa nội bộ của Anthropic cho thấy người dùng đã phê duyệt 97% lời nhắc cấp quyền — bất kể lệnh đó thực sự nguy hiểm đến mức nào . Tỷ lệ phê duyệt gần như tuyệt đối này phản ánh không phải sự đánh giá cẩn thận mà là thói quen bấm 'đồng ý' theo phản xạ, đặc biệt trong các phiên làm việc dài khi sự mệt mỏi xuất hiện nhanh chóng . Trong nghiên cứu có kiểm soát, tỷ lệ từ chối của con người giảm từ mức vốn đã thấp là 13,6% xuống còn khoảng 5% sau hơn 50 lần nhắc, xác nhận rằng mô hình phê duyệt thủ công suy giảm nghiêm trọng theo thời gian .

89% bị chặn tự động so với tỷ lệ con người từ chối trong nghiên cứu 1.053 người

• Tỷ lệ con người phát hiện: Trong một thử nghiệm mù đôi với 1.053 lập trình viên chuyên nghiệp được trả tiền, một lệnh nguy hiểm được cài sẵn chỉ bị chặn ở mức 13,6% (143 trong số 1.053 người đã từ chối nó) . Sau 50 lần nhắc, tỷ lệ này giảm xuống còn ~5% .
• Tỷ lệ chế độ tự động phát hiện: Bộ phân loại đã chặn 89% các lệnh nguy hiểm được cài sẵn tương tự .
• Trong thực tế sản xuất, các phiên được phê duyệt thủ công gây ra tác hại ngoài ý muốn nhiều gấp đôi so với các phiên ở chế độ tự động .

Rủi ro còn lại: tỷ lệ bỏ sót 11% và không phát hiện được tấn công prompt injection

• Tỷ lệ bỏ sót 11%: Bộ phân loại không chặn được khoảng 11% lệnh nguy hiểm .
• Đánh giá đối kháng tổng hợp: Các bài tập red-teaming của bên thứ ba đã cắt giảm tỷ lệ bỏ sót của bộ phân loại nhưng không thể loại bỏ hoàn toàn các sai sót . Hệ thống đã không phát hiện được bất kỳ cuộc tấn công prompt injection nào trong quá trình thử nghiệm, mặc dù điều này có thể phản ánh thiết kế thử nghiệm chứ không phải là khả năng miễn nhiễm chung .
• Các trường hợp ngoại lệ: Các lệnh độc hại rất mới hoặc bị làm xáo trộn nằm ngoài phân phối huấn luyện của bộ phân loại vẫn là rủi ro còn lại .

Cơ chế an toàn và ghi đè

• Bộ phân loại đánh giá từng lệnh gọi công cụ một cách độc lập — chế độ tự động không phải là sự cấp phép vô điều kiện .
• Người dùng có thể chuyển lại chế độ phê duyệt thủ công bất kỳ lúc nào trong một phiên .
• Quản trị viên Team và Enterprise có thể ghim chế độ mặc định (thủ công hoặc tự động) cho toàn bộ tổ chức của họ, ghi đè mặc định cấp người dùng .
• Chương trình red-teaming bên ngoài của Anthropic tiếp tục thăm dò và củng cố bộ phân loại .
• Đối với tài khoản Enterprise, chế độ tự động hiện vẫn là tùy chọn, với kế hoạch chuyển đổi mặc định trong vòng khoảng một tháng sau khi triển khai ban đầu .

Triển khai và tác động giá theo từng phân khúc

Lưu ý giá chính: Anthropic xác nhận đã ngừng tính phí người dùng trên các gói này cho các token phân loại bổ sung mà chế độ tự động tiêu thụ — những chi phí này hiện được hấp thụ vào đăng ký hiện có .

'Mệt mỏi phê duyệt' — nguyên nhân của sự thay đổi

Dữ liệu đo từ xa nội bộ của Anthropic cho thấy người dùng đã phê duyệt 97% lời nhắc cấp quyền — bất kể lệnh đó thực sự nguy hiểm đến mức nào . Tỷ lệ phê duyệt gần như tuyệt đối này phản ánh không phải sự đánh giá cẩn thận mà là thói quen bấm 'đồng ý' theo phản xạ, đặc biệt trong các phiên làm việc dài khi sự mệt mỏi xuất hiện nhanh chóng . Trong nghiên cứu có kiểm soát, tỷ lệ từ chối của con người giảm từ mức vốn đã thấp là 13,6% xuống còn khoảng 5% sau hơn 50 lần nhắc, xác nhận rằng mô hình phê duyệt thủ công suy giảm nghiêm trọng theo thời gian .

89% bị chặn tự động so với tỷ lệ con người từ chối trong nghiên cứu 1.053 người

• Tỷ lệ con người phát hiện: Trong một thử nghiệm mù đôi với 1.053 lập trình viên chuyên nghiệp được trả tiền, một lệnh nguy hiểm được cài sẵn chỉ bị chặn ở mức 13,6% (143 trong số 1.053 người đã từ chối nó) . Sau 50 lần nhắc, tỷ lệ này giảm xuống còn ~5% .
• Tỷ lệ chế độ tự động phát hiện: Bộ phân loại đã chặn 89% các lệnh nguy hiểm được cài sẵn tương tự .
• Trong thực tế sản xuất, các phiên được phê duyệt thủ công gây ra tác hại ngoài ý muốn nhiều gấp đôi so với các phiên ở chế độ tự động .

Rủi ro còn lại: tỷ lệ bỏ sót 11% và không phát hiện được tấn công prompt injection

• Tỷ lệ bỏ sót 11%: Bộ phân loại không chặn được khoảng 11% lệnh nguy hiểm .
• Đánh giá đối kháng tổng hợp: Các bài tập red-teaming của bên thứ ba đã cắt giảm tỷ lệ bỏ sót của bộ phân loại nhưng không thể loại bỏ hoàn toàn các sai sót . Hệ thống đã không phát hiện được bất kỳ cuộc tấn công prompt injection nào trong quá trình thử nghiệm, mặc dù điều này có thể phản ánh thiết kế thử nghiệm chứ không phải là khả năng miễn nhiễm chung .
• Các trường hợp ngoại lệ: Các lệnh độc hại rất mới hoặc bị làm xáo trộn nằm ngoài phân phối huấn luyện của bộ phân loại vẫn là rủi ro còn lại .

Cơ chế an toàn và ghi đè

• Bộ phân loại đánh giá từng lệnh gọi công cụ một cách độc lập — chế độ tự động không phải là sự cấp phép vô điều kiện .
• Người dùng có thể chuyển lại chế độ phê duyệt thủ công bất kỳ lúc nào trong một phiên .
• Quản trị viên Team và Enterprise có thể ghim chế độ mặc định (thủ công hoặc tự động) cho toàn bộ tổ chức của họ, ghi đè mặc định cấp người dùng .
• Chương trình red-teaming bên ngoài của Anthropic tiếp tục thăm dò và củng cố bộ phân loại .
• Đối với tài khoản Enterprise, chế độ tự động hiện vẫn là tùy chọn, với kế hoạch chuyển đổi mặc định trong vòng khoảng một tháng sau khi triển khai ban đầu .

Triển khai và tác động giá theo từng phân khúc

Lưu ý giá chính: Anthropic xác nhận đã ngừng tính phí người dùng trên các gói này cho các token phân loại bổ sung mà chế độ tự động tiêu thụ — những chi phí này hiện được hấp thụ vào đăng ký hiện có .