MentalHealthBench ทดสอบอะไร เมื่อคนคุยเรื่องสุขภาพจิตกับ AI

เวลามีคนเล่าเรื่องสุขภาพจิตให้ AI ฟัง คำตอบที่ดีไม่ได้มีสูตรเดียว บางครั้งควรถามข้อมูลเพิ่ม บางครั้งควรเสนอแนวทางที่ทำได้ และเมื่อมีความเสี่ยงสูงก็ต้องตอบให้เหมาะกับความเร่งด่วน MentalHealthBench เป็นเกณฑ์ทดสอบแบบเปิดที่ OpenAI สร้างขึ้นเพื่อประเมินว่า AI ตอบได้เป็นประโยชน์และปลอดภัย สำหรับสถานการณ์ในบทสนทนานั้น หรือไม่ แทนการดูเพียงว่าระบบหลีกเลี่ยงคำตอบต้องห้ามได้หรือเปล่า 13

บทสนทนาและเกณฑ์คะแนนมาจากไหน

ชุดทดสอบมีบทสนทนาจำลอง 1,215 กรณี ซึ่งออกแบบให้ครอบคลุมสถานการณ์ที่หลากหลาย บางกรณีมีข้อความก่อนหน้าให้ AI ต้องพิจารณาประกอบก่อนตอบข้อความสุดท้ายของผู้ใช้ อย่างไรก็ตาม สัดส่วนกรณีในชุดทดสอบ ไม่ได้บอกว่าแต่ละสถานการณ์เกิดขึ้นบ่อยแค่ไหนใน ChatGPT 1

ผู้เชี่ยวชาญด้านสุขภาพจิตที่มีใบอนุญาตมากกว่า 80 คนจาก 22 ประเทศร่วมพัฒนาเกณฑ์ประเมิน โดยอ่านบทสนทนาแล้วระบุว่าคำตอบต่อข้อความสุดท้ายควรทำหรือหลีกเลี่ยงอะไร แต่ละบทสนทนามีผู้เชี่ยวชาญตรวจทานอย่างน้อย 3 คน และ OpenAI ระบุว่าจะนำเกณฑ์ข้อหนึ่งเข้าชุดทดสอบก็ต่อเมื่อผู้ตรวจทานทุกคนเห็นพ้องกัน 14

ชุดที่เผยแพร่มีเกณฑ์ที่ผู้เชี่ยวชาญเขียน 5,262 ข้อ แต่ละข้อเจาะจงพฤติกรรมของคำตอบ โดยให้น้ำหนักบวกกับสิ่งที่เป็นประโยชน์และน้ำหนักลบกับสิ่งที่เป็นอันตราย จากนั้นระบบให้คะแนนอัตโนมัติจะตรวจคำตอบของ AI เทียบกับเกณฑ์ทีละข้อ คะแนนจึงสะท้อนความสอดคล้องกับเกณฑ์ ไม่ใช่ผลลัพธ์ทางคลินิกของผู้ที่มาขอความช่วยเหลือจริง 14

ทดสอบมากกว่าเหตุฉุกเฉิน

สถานการณ์มีตั้งแต่ความกังวลในชีวิตประจำวัน ภาวะทุกข์ใจรุนแรง ไปจนถึงเหตุฉุกเฉินด้านสุขภาพจิต และครอบคลุมบทสนทนาที่เกี่ยวข้องกับผู้ใหญ่ วัยรุ่น ผู้ดูแล และบุคลากรทางคลินิก ตลอดจนภาษาและภูมิภาคที่แตกต่างกัน เกณฑ์อาจพิจารณาว่า AI ถามหาบริบทที่จำเป็นหรือไม่ เคารพสิทธิในการตัดสินใจของผู้ใช้หรือไม่ ให้คำแนะนำที่นำไปใช้ได้เหมาะสมเพียงใด และตอบสนองต่อความเสี่ยงได้พอดีกับสถานการณ์หรือเปล่า 14

ผลทดสอบบอกอะไรได้บ้าง

OpenAI รายงานว่าระบบ AI ที่นำมาทดสอบมีพัฒนาการดีขึ้น แต่ยังมีจุดที่ทำได้ยาก โดยเฉพาะการถามข้อมูลประกอบที่เหมาะสมและการประเมินว่าควรตอบอย่างเร่งด่วนเพียงใด ข้อมูลผลทดสอบที่ให้มาไม่เพียงพอจะจัดอันดับโมเดลแต่ละตัวอย่างน่าเชื่อถือ และคะแนนที่ดีขึ้นก็ไม่ใช่หลักประกันว่าทุกบทสนทนาจะปลอดภัย 1

OpenAI ยังพิจารณาความเห็นจากผู้ใช้ ChatGPT จริง ซึ่งเป็นอีกมุมมองหนึ่งที่ช่วยเสริมการประเมินของผู้เชี่ยวชาญ แต่ใช้แทนเกณฑ์ด้านคลินิกและความปลอดภัยไม่ได้ ข้อมูลที่มีไม่ได้ระบุชัดว่าผู้ใช้กับผู้เชี่ยวชาญให้ความสำคัญต่างกันในประเด็นใดโดยเฉพาะ จึงไม่ควรสรุปว่าทั้งสองฝ่ายเห็นต่างกันเรื่องใดเรื่องหนึ่ง 1

เกณฑ์ทดสอบไม่ใช่เครื่องมือช่วยเหลือยามวิกฤต

MentalHealthBench มีหน้าที่วัดคุณภาพคำตอบ ไม่ได้เป็นฟีเจอร์ช่วยเหลือผู้ใช้โดยตรง แยกจากงานประเมินนี้ OpenAI ระบุว่าได้ขยายการเข้าถึงสายด่วนช่วยเหลือในภาวะวิกฤต ส่งต่อบทสนทนาที่ละเอียดอ่อนบางส่วนไปยังโมเดลที่ปลอดภัยกว่า และเพิ่มข้อความเตือนให้พักเมื่อใช้งานต่อเนื่องนาน มาตรการเหล่านี้ไม่ได้ทำให้ ChatGPT ใช้แทนการบำบัด การดูแลจากผู้เชี่ยวชาญ หรือความช่วยเหลือจากคนและบริการในโลกจริงเมื่อเกิดเหตุฉุกเฉินได้ 1115