MentalHealthBench: اختبار ردود الذكاء الاصطناعي على محادثات الصحة النفسية

قد يكون الرد مناسبًا في محادثة عن ضغوط الحياة اليومية، وغير مناسب في محادثة تشير إلى خطر عاجل. من هذه الفكرة ينطلق MentalHealthBench، وهو اختبار مفتوح أطلقته OpenAI لتقييم ما إذا كان رد الذكاء الاصطناعي مفيدًا وآمنًا بحسب سياق المحادثة نفسها. ويعالج فجوة في اختبارات سابقة ركّزت على الطوارئ وقواعد السلامة العامة أكثر من تركيزها على تنوّع المواقف التي يطلب فيها الناس دعمًا نفسيًا. 13

كيف تُبنى المحادثات وتُقيَّم الردود؟

يضم الاختبار ١٬٢١٥ محادثة اصطناعية تمثّل مواقف متنوعة. وتحتوي بعض المحادثات على رسائل سابقة، حتى يُختبر ما إذا كان النموذج يراعي المعلومات المهمة فيها عند الرد على رسالة المستخدم الأخيرة. وهذه الحالات أُعدّت للاختبار؛ ولا تعكس نسبة تكرار كل موقف بين محادثات مستخدمي ChatGPT. 1

شارك في تطوير الاختبار أكثر من ٨٠ مختصًا مرخّصًا في الصحة النفسية من ٢٢ بلدًا. وراجع ثلاثة مختصين على الأقل كل محادثة، ووضعوا معايير لتقييم الرد على رسالتها الأخيرة. وتقول OpenAI إن المعيار لا يدخل النسخة النهائية إلا بموافقة جميع المراجعين المعنيين. 14

تضم النسخة المنشورة ٥٬٢٦٢ معيارًا كتبها المختصون. يركّز كل معيار على سلوك محدد في الرد: تُمنح أوزان إيجابية لما يُعد مفيدًا، وأوزان سلبية لما يُعد ضارًا. ثم يفحص مُقيِّم آلي رد النموذج في ضوء كل معيار على حدة. لذلك فالنتيجة تبيّن مدى توافق الرد مع معايير المختصين، ولا تقيس مباشرةً ما حدث لصحة شخص تلقّى دعمًا نفسيًا. 14

ما المواقف التي يشملها الاختبار؟

تمتد الحالات من مشكلات يومية غير طارئة إلى ضيق نفسي شديد وحالات تستدعي استجابة عاجلة. وتشمل بالغين ومراهقين ومقدّمي رعاية ومختصين سريريين، مع تنوّع في اللغات والمناطق. وقد تبحث المعايير، بحسب الحالة، ما إذا كان الرد يستوضح معلومات ضرورية، ويحترم قدرة الشخص على اتخاذ قراره، ويقدّم خطوات عملية مناسبة، ويتعامل مع درجة الخطر بما يتناسب معها. 14

ماذا تقول النتائج؟

تفيد OpenAI بأن أداء الأنظمة التي اختبرتها تحسّن، لكنها تشير أيضًا إلى صعوبات مستمرة في طلب السياق المناسب وتقدير مدى إلحاح الموقف. ولا تكفي النتائج المعروضة هنا لترتيب النماذج ترتيبًا موثوقًا واحدًا تلو الآخر؛ كما أن تحسّن النتيجة في الاختبار ليس ضمانًا لسلامة كل رد في الاستخدام الفعلي. 1

ونظرت OpenAI كذلك في آراء مستخدمين فعليين لـChatGPT. ويمكن لهذه الآراء أن تُكمل أحكام المختصين، لكنها لا تحل محل المعايير السريرية ومعايير السلامة. ولا تحدد المصادر المتاحة هنا الأولويات بعينها التي اختلف بشأنها المستخدمون والمختصون، لذا لا يصح افتراض وجود خلاف محدد بين الطرفين. 1

هل الاختبار وسيلة لتقديم المساعدة وقت الأزمة؟

لا؛ MentalHealthBench أداة لتقييم الردود، وليس خدمة للتدخل في الأزمات. وبصورة منفصلة، تقول OpenAI إنها وسّعت إتاحة خطوط المساعدة وقت الأزمات، ووجّهت بعض المحادثات الحساسة إلى نماذج أكثر أمانًا، وأضافت تذكيرات بأخذ استراحة خلال الجلسات الطويلة. وهذه الإجراءات لا تجعل ChatGPT بديلًا عن العلاج أو الرعاية المتخصصة أو طلب المساعدة من أشخاص وجهات مختصة في حالات الطوارئ. 1115