"ความเมื่อยล้าจากการยืนยัน" ที่นำไปสู่การเปลี่ยนแปลง

ข้อมูลการใช้งานภายในของ Anthropic พบว่าผู้ใช้อนุมัติ 97% ของพรอมต์ขออนุญาต ทั้งหมด โดยไม่สนใจว่าคำสั่งนั้นอันตรายแค่ไหน อัตราการอนุมัติที่เกือบจะ 100% นี้ไม่ได้สะท้อนถึงการประเมินอย่างรอบคอบ แต่เป็น การคลิกผ่านโดยอัตโนมัติ โดยเฉพาะในเซสชันที่ยาวนาน ซึ่งความเมื่อยล้าจากพรอมต์จะเกิดขึ้นอย่างรวดเร็ว ในการศึกษาที่มีการควบคุม อัตราการปฏิเสธของมนุษย์ลดลงจาก 13.6% ซึ่งต่ำอยู่แล้ว เหลือประมาณ 5% หลังจากผ่านไป 50+ พรอมต์ ซึ่งยืนยันว่ารูปแบบการขออนุมัติทีละครั้งนั้นด้อยประสิทธิภาพลงอย่างมากเมื่อเวลาผ่านไป

อัตราการบล็อก 89% ของ AI เทียบกับการปฏิเสธของมนุษย์ในการศึกษา 1,053 คน

• อัตราการตรวจจับของมนุษย์: ในการทดสอบแบบ double-blind กับผู้ทดสอบมืออาชีพที่ได้รับค่าจ้าง 1,053 คน คำสั่งอันตรายที่ถูกแทรกเข้าไปถูกบล็อกเพียง 13.6% ของเวลา (มีเพียง 143 คนจาก 1,053 คนที่ปฏิเสธ) หลังจากผ่านไป 50 พรอมต์ อัตรานี้ลดลงเหลือ ~5%
• อัตราการตรวจจับของ Auto Mode: ระบบ classifier บล็อกคำสั่งอันตรายที่ถูกแทรกเดียวกันนี้ได้ถึง 89%
• ในระบบจริง เซสชันที่ได้รับการอนุมัติด้วยตนเองก่อให้เกิด อันตรายที่ไม่พึงประสงค์มากเป็นสองเท่า เมื่อเทียบกับเซสชันที่ใช้ Auto Mode

ความเสี่ยงที่เหลืออยู่: อัตราพลาด 11% และการไม่สามารถตรวจจับ Prompt Injection

• อัตราพลาด 11%: ระบบ classifier ไม่สามารถบล็อกคำสั่งอันตรายได้ประมาณ 11%
• การประเมินเชิงรุกเทียม (Synthetic adversarial evaluations): การทดสอบ Red Teaming โดยบุคคลที่สามช่วยลดอัตราพลาดของ classifier ลงได้อีก แต่ก็ไม่สามารถกำจัดได้ทั้งหมด ระบบไม่สามารถตรวจจับ การโจมตีแบบ Prompt Injection ได้เลยในการทดสอบ แม้ว่าสิ่งนี้อาจสะท้อนถึงการออกแบบการทดสอบมากกว่าภูมิคุ้มกันโดยทั่วไป
• กรณีขอบ (Edge cases): คำสั่งที่เป็นอันตรายซึ่งแปลกใหม่หรือถูกบดบังซับซ้อนซึ่งอยู่นอกขอบเขตการฝึกของ classifier ยังคงเป็นความเสี่ยงที่เหลืออยู่

มาตรการป้องกันและกลไกการแทนที่

• ระบบ classifier จะประเมินการเรียกใช้เครื่องมือแต่ละครั้งอย่างอิสระ – Auto Mode ไม่ใช่การอนุญาตแบบเหมารวม
• ผู้ใช้สามารถ สลับกลับไปใช้โหมดอนุมัติด้วยตนเอง ได้ทุกเมื่อภายในเซสชัน
• ผู้ดูแลระบบ Team และ Enterprise สามารถปักหมุดโหมดเริ่มต้น (Manual หรือ Auto) สำหรับทั้งองค์กรของตน ซึ่งจะแทนที่ค่าเริ่มต้นในระดับผู้ใช้
• โปรแกรม Red Teaming ภายนอกของ Anthropic ยังคงตรวจสอบและปรับปรุงความแข็งแกร่งของ classifier อย่างต่อเนื่อง
• สำหรับ บัญชี Enterprise Auto Mode ยังคงเป็นแบบเลือกใช้ (opt-in) ในตอนนี้ โดยจะมีการเปลี่ยนเป็นค่าเริ่มต้นภายในประมาณหนึ่งเดือนนับจากการเปิดตัวครั้งแรก

การเปิดตัวและผลกระทบด้านราคาตามกลุ่มผู้ใช้

หมายเหตุสำคัญด้านราคา: Anthropic ยืนยันว่า ได้หยุดเรียกเก็บเงินผู้ใช้ในแผนเหล่านี้สำหรับโทเค็นของ classifier เพิ่มเติม ที่ Auto Mode ใช้ไปแล้ว – ต้นทุนเหล่านี้ถูกรวมเข้ากับค่าสมัครสมาชิกที่มีอยู่แล้ว

"ความเมื่อยล้าจากการยืนยัน" ที่นำไปสู่การเปลี่ยนแปลง

ข้อมูลการใช้งานภายในของ Anthropic พบว่าผู้ใช้อนุมัติ 97% ของพรอมต์ขออนุญาต ทั้งหมด โดยไม่สนใจว่าคำสั่งนั้นอันตรายแค่ไหน อัตราการอนุมัติที่เกือบจะ 100% นี้ไม่ได้สะท้อนถึงการประเมินอย่างรอบคอบ แต่เป็น การคลิกผ่านโดยอัตโนมัติ โดยเฉพาะในเซสชันที่ยาวนาน ซึ่งความเมื่อยล้าจากพรอมต์จะเกิดขึ้นอย่างรวดเร็ว ในการศึกษาที่มีการควบคุม อัตราการปฏิเสธของมนุษย์ลดลงจาก 13.6% ซึ่งต่ำอยู่แล้ว เหลือประมาณ 5% หลังจากผ่านไป 50+ พรอมต์ ซึ่งยืนยันว่ารูปแบบการขออนุมัติทีละครั้งนั้นด้อยประสิทธิภาพลงอย่างมากเมื่อเวลาผ่านไป

อัตราการบล็อก 89% ของ AI เทียบกับการปฏิเสธของมนุษย์ในการศึกษา 1,053 คน

• อัตราการตรวจจับของมนุษย์: ในการทดสอบแบบ double-blind กับผู้ทดสอบมืออาชีพที่ได้รับค่าจ้าง 1,053 คน คำสั่งอันตรายที่ถูกแทรกเข้าไปถูกบล็อกเพียง 13.6% ของเวลา (มีเพียง 143 คนจาก 1,053 คนที่ปฏิเสธ) หลังจากผ่านไป 50 พรอมต์ อัตรานี้ลดลงเหลือ ~5%
• อัตราการตรวจจับของ Auto Mode: ระบบ classifier บล็อกคำสั่งอันตรายที่ถูกแทรกเดียวกันนี้ได้ถึง 89%
• ในระบบจริง เซสชันที่ได้รับการอนุมัติด้วยตนเองก่อให้เกิด อันตรายที่ไม่พึงประสงค์มากเป็นสองเท่า เมื่อเทียบกับเซสชันที่ใช้ Auto Mode

ความเสี่ยงที่เหลืออยู่: อัตราพลาด 11% และการไม่สามารถตรวจจับ Prompt Injection

• อัตราพลาด 11%: ระบบ classifier ไม่สามารถบล็อกคำสั่งอันตรายได้ประมาณ 11%
• การประเมินเชิงรุกเทียม (Synthetic adversarial evaluations): การทดสอบ Red Teaming โดยบุคคลที่สามช่วยลดอัตราพลาดของ classifier ลงได้อีก แต่ก็ไม่สามารถกำจัดได้ทั้งหมด ระบบไม่สามารถตรวจจับ การโจมตีแบบ Prompt Injection ได้เลยในการทดสอบ แม้ว่าสิ่งนี้อาจสะท้อนถึงการออกแบบการทดสอบมากกว่าภูมิคุ้มกันโดยทั่วไป
• กรณีขอบ (Edge cases): คำสั่งที่เป็นอันตรายซึ่งแปลกใหม่หรือถูกบดบังซับซ้อนซึ่งอยู่นอกขอบเขตการฝึกของ classifier ยังคงเป็นความเสี่ยงที่เหลืออยู่

มาตรการป้องกันและกลไกการแทนที่

• ระบบ classifier จะประเมินการเรียกใช้เครื่องมือแต่ละครั้งอย่างอิสระ – Auto Mode ไม่ใช่การอนุญาตแบบเหมารวม
• ผู้ใช้สามารถ สลับกลับไปใช้โหมดอนุมัติด้วยตนเอง ได้ทุกเมื่อภายในเซสชัน
• ผู้ดูแลระบบ Team และ Enterprise สามารถปักหมุดโหมดเริ่มต้น (Manual หรือ Auto) สำหรับทั้งองค์กรของตน ซึ่งจะแทนที่ค่าเริ่มต้นในระดับผู้ใช้
• โปรแกรม Red Teaming ภายนอกของ Anthropic ยังคงตรวจสอบและปรับปรุงความแข็งแกร่งของ classifier อย่างต่อเนื่อง
• สำหรับ บัญชี Enterprise Auto Mode ยังคงเป็นแบบเลือกใช้ (opt-in) ในตอนนี้ โดยจะมีการเปลี่ยนเป็นค่าเริ่มต้นภายในประมาณหนึ่งเดือนนับจากการเปิดตัวครั้งแรก

การเปิดตัวและผลกระทบด้านราคาตามกลุ่มผู้ใช้

หมายเหตุสำคัญด้านราคา: Anthropic ยืนยันว่า ได้หยุดเรียกเก็บเงินผู้ใช้ในแผนเหล่านี้สำหรับโทเค็นของ classifier เพิ่มเติม ที่ Auto Mode ใช้ไปแล้ว – ต้นทุนเหล่านี้ถูกรวมเข้ากับค่าสมัครสมาชิกที่มีอยู่แล้ว