لماذا استُبعد مقيّمون استعانوا بالذكاء الاصطناعي لتقييم ChatGPT؟

قد يبدو غريباً أن تُبعد شركة تعمل في الذكاء الاصطناعي أشخاصاً لاستخدامهم الذكاء الاصطناعي. لكن الفارق هنا هو طبيعة المهمة: فقد أُبعد متعاقدون، وفق تقارير، لاستخدامهم أدوات ذكاء اصطناعي في عمل يُفترض أن يقدّم أحكاماً بشرية مستقلة على ردود ChatGPT. وتربط التقارير هذه الاستبعادات بعمل أوسع لتقييم نماذج OpenAI، وتعرض «مشروع ليلي» مثالاً على المراجعة البشرية؛ لكنها لا تثبت أن كل من أُبعد كان يعمل في المشروع نفسه.1613

ماذا يفعل المراجعون في «مشروع ليلي»؟

بحسب التقارير، يستعين المشروع بمئات المتعاقدين الخارجيين لمراجعة طلبات حقيقية أرسلها مستخدمون إلى ChatGPT، وأحياناً المحادثات المحيطة بها. وتشير التقارير إلى استقطاب المراجعين عبر Crossing Hurdles ودفع أجورهم عبر Mercor. وقال أحد العاملين إن أجره تجاوز 50 دولاراً في الساعة، لكن لا يمكن تعميم هذا الرقم على جميع المراجعين.220

يلخّص المراجع ما يحاول المستخدم إنجازه، ثم ينتقد ردوداً محتملة من ChatGPT ويمنحها درجات على مقياس من 1 إلى 7. وتصف التقارير مهام تضم ما يصل إلى أربعة ردود محتملة، مع الاهتمام بنبرة الرد، والصياغة التي تبدو آلية، والمبالغة في موافقة المستخدم. والمقصود أن تساعد الدرجات والملاحظات المكتوبة على تحسين سلوك النماذج لاحقاً.41131

لماذا لا يصلح أن يكتب الذكاء الاصطناعي التقييم؟

قيمة المراجع البشري أنه يستطيع أن يحكم بصورة مستقلة: هل لبّى الرد طلب المستخدم؟ وهل بدا متملقاً أو آلياً؟ إذا تولّت أداة ذكاء اصطناعي كتابة الملاحظة أو اختيار الدرجة، فقد تعكس النتيجة تفضيلات نموذج آخر بدلاً من تقدير شخص. هذا خطر على قيمة التغذية الراجعة، وليس دليلاً على أن تقييماً بعينه أضرّ بالنموذج.416

وتحظر تعليمات أوردتها التقارير استخدام الذكاء الاصطناعي لمراجعة العمل أو كتابة الملاحظات، بما في ذلك ميزات Grammarly والترجمة المدعومة بالذكاء الاصطناعي. كما تمنع من يدقّقون عمل متعاقدين آخرين من استخدام أدوات كشف النصوص المولّدة آلياً، وتصف تلك الأدوات بأنها غير موثوقة.139

كيف يُرصد الاشتباه، وما حدود الثقة في الدرجات؟

تشير التقارير إلى أن المشرفين ينتبهون إلى أنماط مثل تكرار الصياغات التي تبدو مولّدة آلياً أو إنجاز المهام بسرعة غير معتادة، بدلاً من الاتكال على نتيجة برنامج للكشف. وقد تستدعي هذه المؤشرات مراجعة أقرب، لكنها ليست إثباتاً بمفردها. ولا تُظهر التقارير المتاحة مدى نجاح المشرفين في اكتشاف المخالفات أو عدد الحالات التي قد تفوتهم.933

والتقييم البشري ليس ضمانة تلقائية للجودة أيضاً؛ إذ يمكن لشخص أن يمنح درجة سيئة عن قصد أو يعمل بإهمال. لكن التقارير المتاحة لا تتحقق من واقعة الإقرار المحددة بأن متعاقداً اختار عمداً تقييمات سيئة، ولا تتيح تحديد ظروفها أو مدى انتشارها. لذلك فالخلاصة الأدق هي أن وصف التقييم بأنه «بشري» يبيّن مصدره، لا صحة كل حكم فيه؛ والتحقق من جودة الأحكام يظل ضرورياً.14

وتبرز مسألة أخرى للمستخدمين: قد يرى المراجعون نص محادثات حقيقية، وقد لا يزيل مرشح الخصوصية الذي تستخدمه OpenAI جميع التفاصيل الحساسة، بحسب التقارير. لذا لا تتعلق أهمية هذه العملية بسلامة التقييمات وحدها، بل أيضاً بكيفية التعامل مع محادثات المستخدمين.812