MentalHealthBench: Bagaimana OpenAI menguji respons AI tentang kesihatan mental

Apabila seseorang berbual dengan AI tentang kesihatan mental, jawapan yang baik tidak semestinya sama untuk setiap keadaan. Ada kalanya AI perlu bertanya dahulu untuk memahami situasi; ada kalanya ia perlu memberi panduan praktikal atau mengenali tanda risiko yang mendesak. MentalHealthBench ialah penanda aras terbuka OpenAI untuk menguji sama ada respons AI membantu dan selamat dalam konteks perbualan tertentu. OpenAI membangunkannya kerana banyak penilaian terdahulu tertumpu pada kecemasan dan peraturan keselamatan umum, sedangkan orang ramai juga mendapatkan sokongan bagi pelbagai kebimbangan lain. 13

Bagaimana ujian ini dijalankan?

Penanda aras ini mengandungi 1,215 perbualan sintetik, iaitu perbualan yang direka untuk tujuan ujian, bukan transkrip pengguna sebenar. Sesetengahnya mempunyai mesej terdahulu supaya penilaian boleh melihat sama ada model mengambil kira konteks sebelum menjawab mesej terakhir. Campuran senario itu bukan ukuran kekerapan setiap situasi berlaku dalam ChatGPT. 1

Lebih 80 pakar kesihatan mental berlesen dari 22 negara terlibat dalam pembangunannya. Mereka meneliti perbualan dan menulis kriteria khusus untuk menilai jawapan kepada mesej terakhir. Setiap perbualan disemak oleh sekurang-kurangnya tiga pakar; menurut OpenAI, sesuatu kriteria hanya dimasukkan jika semua penyemak bersetuju. 14

Set yang diterbitkan mengandungi 5,262 kriteria tulisan pakar. Setiap kriteria menyasar tingkah laku tertentu: pemberat positif memberi ganjaran kepada respons yang membantu, manakala pemberat negatif mengenakan penalti terhadap respons yang memudaratkan. Sistem pemarkahan automatik kemudian menilai jawapan model terhadap setiap kriteria. Maka, skor menunjukkan sejauh mana jawapan menepati kriteria ujian—bukan sama ada keadaan kesihatan seseorang benar-benar bertambah baik. 14

Apakah situasi yang diliputi?

Senarionya merangkumi kebimbangan harian yang tidak mendesak, tekanan yang serius dan kecemasan. Perbualan turut melibatkan orang dewasa, remaja, penjaga dan ahli klinikal, dengan kepelbagaian bahasa serta wilayah. Antara perkara yang boleh dinilai ialah sama ada AI mendapatkan konteks yang diperlukan, menghormati hak seseorang membuat keputusan sendiri, memberi panduan yang sesuai dan bertindak setimpal dengan tahap risiko. 14

Apa yang boleh disimpulkan daripada hasilnya?

OpenAI melaporkan peningkatan dalam kalangan sistem AI yang diuji, tetapi menyatakan bahawa meminta konteks yang sesuai dan menentukan tahap kesegeraan respons masih mencabar. Maklumat hasil yang dibekalkan tidak memadai untuk membuat susunan kedudukan model demi model yang boleh dipercayai. Prestasi yang lebih baik dalam ujian juga bukan jaminan bahawa setiap respons dalam perbualan sebenar akan selamat. 1

OpenAI turut mempertimbangkan maklum balas pengguna sebenar ChatGPT. Pandangan pengguna boleh melengkapi pertimbangan ahli klinikal, tetapi tidak menggantikan kriteria klinikal dan keselamatan. Bahan sumber yang tersedia tidak menunjukkan dengan jelas keutamaan khusus yang dinilai berbeza oleh kedua-dua kumpulan, jadi tidak wajar mereka-reka jurang antara pandangan mereka. 1

MentalHealthBench sendiri ialah alat penilaian, bukan ciri bantuan krisis. Secara berasingan, OpenAI menyatakan bahawa ia telah meluaskan akses kepada talian bantuan krisis, mengalihkan sesetengah perbualan sensitif kepada model yang lebih selamat dan menambah peringatan untuk berehat semasa sesi yang panjang. Langkah-langkah itu tidak menjadikan ChatGPT pengganti terapi, penjagaan profesional atau bantuan daripada orang sebenar ketika kecemasan. 1115