البحث، الذي أجرته سيدني سيرز والدكتورة دينا سكولنيك وايزبرغ من جامعة فيلانوفا، اختبر أكثر من 2500 بالغ تتراوح أعمارهم بين 18 و81 عامًا تم تجنيدهم عبر منصة Prolific. استخدمت الدراسة ثلاث قصص قصيرة أصلية كتبها مؤلفون بشريون نُشِروا، وثلاث قصص مقابلة تم توليدها بواسطة ChatGPT، مع مطابقتها من حيث النوع الأدبي والعناصر السردية .
صُممت الدراسة في ثلاثة أجزاء، كل منها مصمم لعزل جوانب مختلفة من إدراك القارئ:
الدراسة الأولى (1682 مشاركًا): قرأ كل شخص قصة واحدة، وقيل له - سواء بشكل صحيح أو غير صحيح - ما إذا كانت مكتوبة بواسطة إنسان أو ذكاء اصطناعي. ثم قام بتقييمها من حيث الجودة والاستغراق في القراءة .
الدراسة الثانية (424 مشاركًا): قرأ المشاركون قصة واحدة من كتابة بشر وأخرى من توليد الذكاء الاصطناعي دون أن يُقال لهم أي منهما هي. ثم طُلب منهم تخمين مؤلف كل منهما .
الدراسة الثالثة (481 مشاركًا): تصميم مشابه للقراءة العمياء، ومرة أخرى طُلب من المشاركين تحديد ما إذا كانت كل قصة من إنسان أم من ChatGPT .
كانت النتائج مذهلة ومتسقة عبر التجارب:
فشل في الكشف. في الدراسة الثانية، كانت نسبة التحديد الصحيح 39.93% فقط - وهي أسوأ من الصدفة العشوائية. في الدراسة الثالثة، كانت 51.97%، وهي لا تختلف إحصائيًا عن الصدفة .
قصص الذكاء الاصطناعي حصلت على تقييمات أعلى. عبر جميع الدراسات، حصلت القصص المولدة بالذكاء الاصطناعي على تقييمات أعلى في كل من الجودة ومدى جاذبيتها للقارئ .
تحيز واضح لصالح 'البشري'. القصص التي حصلت على أعلى التقييمات كانت تلك التي قيل للمشاركين إنها كتبها بشر - حتى عندما كانت في الحقيقة من إنتاج الذكاء الاصطناعي . يرى الباحثون أن هذا يكشف عن تحيز راسخ لصالح الروايات التي يُنظر إليها على أنها أصيلة بشريًا .
الإلمام بالذكاء الاصطناعي يساعد؛ الخبرة الأدبية لا تفعل. ارتبطت كل زيادة بمقدار نقطة واحدة في الخبرة الذاتية بالذكاء الاصطناعي بزيادة بنسبة 14% في احتمالات التحديد الصحيح. كما ارتبطت كل نقطة في مقياس موثوق للثقافة الرقمية بالذكاء الاصطناعي (AILS) بزيادة بنسبة 33% في احتمالات الكشف .
أشارت الدكتورة وايزبرغ إلى سبب قد يجعل الكتابة بالذكاء الاصطناعي تبدو أفضل من العمل البشري على هذه المقاييس: فالكتابة بالذكاء الاصطناعي "تميل إلى أن تكون أكثر وضوحًا ومباشرة وأسهل في المعالجة"، في حين أن القصص التي يكتبها البشر "غالبًا ما تكون أكثر دقة وتعقيدًا". وأضافت أن "الناس بشكل عام يفضلون القدرة على التنبؤ، لأن المواد الصعبة أو الدقيقة تتطلب المزيد من الجهد الذهني" .
تبني الدراسة على مجموعة متزايدة من الأدلة حول كيفية إدراك النص المولد بالذكاء الاصطناعي. النثر الذي يكتبه الذكاء الاصطناعي يميل إلى تجنب الغموض، ويتبع هياكل سردية متوقعة، ويقدم حلولًا بكفاءة - كلها صفات تجعل القراءة تبدو سهلة وممتعة. في المقابل، غالبًا ما تحتضن القصص البشرية التعقيد والبراعة والتوتر غير المحلول، مما قد يجعلها أقل إرضاءً بشكل فوري حتى عندما تكون أكثر ثراءً من الناحية الفنية .
التحيز الواضح لصالح 'البشري' الذي كشفته الدراسة هو أمر كاشف بشكل خاص. عاقب القراء القصص التي اعتقدوا أنها من كتابة الذكاء الاصطناعي، حتى عندما كان المحتوى مطابقًا للقصص التي أشادوا بها تحت تصنيف 'بشري'. يخلق تحيز الإسناد هذا مفارقة: الطلاب الذين يكشفون بشفافية عن استخدامهم للذكاء الاصطناعي قد يواجهون عقوبة في المصداقية حتى عندما يكون عملهم عالي الجودة، بينما أولئك الذين يخفون استخدام الذكاء الاصطناعي قد يستفيدون من تفضيل القراء للأعمال التي يُعتقد أن البشر هم من كتبوها .
تطرح نتائج الدراسة تحديات أساسية للجامعات وسياسات النزاهة الأكاديمية فيها:
الكشف غير موثوق. نظرًا لأن حتى القراء المدربين يؤدون قريبًا من الصدفة في تمييز الكتابة البشرية من تلك المنتجة بالذكاء الاصطناعي، فإن أدوات الكشف التقليدية عن الانتحال وحكم الأساتذة وحدهم لا يمكن الاعتماد عليها لتحديد المهام المنجزة بواسطة الذكاء الاصطناعي .
الثقافة الرقمية بالذكاء الاصطناعي هي الإجراء المضاد الأكثر فعالية. وجدت الدراسة أن الإلمام بأنظمة الذكاء الاصطناعي يحسن القدرة على الكشف، مما يشير إلى أن الجامعات يجب أن تستثمر في تدريب الثقافة الرقمية بالذكاء الاصطناعي لكل من الطلاب وأعضاء هيئة التدريس بدلاً من الاعتماد فقط على سياسات الإنforcement .
تصميم التقييم يحتاج إلى إعادة نظر. إذا كان الذكاء الاصطناعي قادرًا على إنتاج كتابة يعتبرها القراء مساوية أو متفوقة على العمل البشري، فإن المقالات المنزلية والمهام الكتابية القياسية قد لا تكون مقاييس صالحة لقدرة الطالب الفردي. يجب على الجامعات إعادة النظر في المهارات التي تقيمها بالفعل وكيف .
سياسات النزاهة الأكاديمية يجب أن تتطور. تشير الدراسة إلى أن هناك حاجة إلى نهج أكثر دقة - نهج يحدد الاستخدام المقبول وغير المقبول للذكاء الاصطناعي، ويؤكد على العملية والتفكير بدلاً من المنتج النهائي، ويدمج الثقافة الرقمية بالذكاء الاصطناعي في المناهج الدراسية .
شددت الدكتورة وايزبرغ على أن النتائج لا تجعل المؤلفين البشر غير ضروريين: "البشر يكتبون كشكل من أشكال التعبير الإبداعي عن الذات أو لتحدي أنفسهم، أو لفهم تجاربهم. حقيقة أن الذكاء الاصطناعي يمكنه توليد قصص تشبه قصص البشر لا تغير شيئًا من ذلك" .