ทำไม OpenAI จึงปลดผู้รับเหมาที่ใช้ AI ให้คะแนน ChatGPT

ฟังดูย้อนแย้งที่บริษัท AI ปลดคนเพราะใช้ AI แต่ประเด็นของงานนี้อยู่ที่ ใครเป็นผู้ให้ความเห็น มีรายงานว่า OpenAI ปลดผู้รับเหมาหลายรายที่ใช้ AI ช่วยประเมินโมเดล ทั้งที่งานประเมินลักษณะนี้ต้องการวิจารณญาณจากมนุษย์อย่างเป็นอิสระ ไม่ใช่คำวิจารณ์ที่ AI สร้างขึ้นอีกทอดหนึ่ง ข่าวการปลดคนเชื่อมโยงกับงานประเมินของผู้รับเหมาหลายส่วน ส่วน Project Lily เป็นตัวอย่างโครงการที่ใช้คนตรวจคำตอบของ ChatGPT; ข้อมูลที่มีไม่ได้ยืนยันว่าผู้ที่ถูกปลดทุกคนทำงานในโครงการนี้1613

Project Lily ให้คนประเมินอะไร

ตามรายงาน Project Lily ใช้ผู้รับเหมาภายนอกหลายร้อยคนตรวจข้อความที่ผู้ใช้ส่งให้ ChatGPT จริง และในบางงานอาจเห็นบทสนทนาที่เกี่ยวข้องด้วย มีรายงานว่าผู้ประเมินได้รับการสรรหาผ่าน Crossing Hurdles และรับค่าจ้างผ่าน Mercor ผู้รับเหมารายหนึ่งระบุว่าได้ค่าจ้างมากกว่า 50 ดอลลาร์สหรัฐต่อชั่วโมง แต่ตัวเลขนี้ไม่ใช่อัตราที่ตรวจยืนยันได้สำหรับทุกคน220

ขั้นแรก ผู้ประเมินสรุปว่าผู้ใช้ต้องการทำอะไร จากนั้นวิจารณ์และให้คะแนนคำตอบที่ ChatGPT อาจตอบ โดยใช้เกณฑ์ 1–7 คะแนน บางงานมีคำตอบให้พิจารณาสูงสุด 4 แบบ สิ่งที่ดูรวมถึงน้ำเสียง ภาษาที่ฟังดูเป็นหุ่นยนต์ และการเห็นด้วยกับผู้ใช้มากเกินไป คะแนนกับคำวิจารณ์มีไว้ช่วยปรับปรุงพฤติกรรมของโมเดลในอนาคต41131

เหตุใดการให้ AI ช่วยให้คะแนนจึงผิดจุดประสงค์

คนอ่านอาจเห็นได้ว่าคำตอบช่วยแก้โจทย์ของผู้ใช้จริงหรือไม่ หรือสุภาพจนกลายเป็นเออออตามผู้ใช้ไปเสียทุกเรื่อง หากผู้ประเมินให้ AI อีกตัวเขียนคำวิจารณ์หรือเลือกคะแนนแทน ความเห็นนั้นก็อาจสะท้อนแนวโน้มของ AI มากกว่าการตัดสินของมนุษย์ ทำให้คุณค่าของข้อมูลประเมินลดลงได้ นี่เป็นความเสี่ยงต่อคุณภาพของข้อมูล ไม่ใช่หลักฐานว่าคะแนนที่ใช้ AI ช่วยรายการใดรายการหนึ่งทำให้โมเดลแย่ลงแล้ว416

คำสั่งงานที่มีรายงานระบุว่าห้ามผู้ประเมินใช้ AI ตรวจงานหรือเขียนความเห็น รวมถึงเครื่องมืออย่าง Grammarly และฟีเจอร์แปลภาษาด้วย AI ส่วนผู้ที่ตรวจงานของผู้รับเหมาคนอื่นก็ถูกห้ามใช้โปรแกรมตรวจจับข้อความจาก AI เพราะคำสั่งงานมองว่าเครื่องมือเหล่านั้นไม่น่าเชื่อถือ139

แล้วผู้ดูแลงานรู้ได้อย่างไรว่าใครอาจใช้ AI

รายงานระบุว่าผู้ดูแลงานสังเกตรูปแบบที่น่าสงสัย เช่น ถ้อยคำซ้ำ ๆ ที่คล้ายข้อความจาก AI หรือการทำงานเสร็จเร็วผิดปกติ แทนการยึดคะแนนจากโปรแกรมตรวจจับเป็นข้อสรุป สัญญาณเหล่านี้อาจเป็นเหตุให้ตรวจงานต่อ แต่เพียงอย่างเดียวพิสูจน์ไม่ได้ว่าใครใช้ AI และข้อมูลที่มีไม่ได้บอกว่าผู้ดูแลงานตรวจพบถูกต้องหรือพลาดบ่อยเพียงใด933

การไม่ใช้ AI ก็ไม่ได้รับประกันว่าคะแนนจะดีเสมอไป คนอาจให้คะแนนอย่างสะเพร่าหรือจงใจให้คะแนนไม่ตรงกับคุณภาพงานได้ อย่างไรก็ดี รายงานที่ให้มาไม่ยืนยันคำกล่าวอ้างเฉพาะเรื่องที่ผู้รับเหมาคนหนึ่งยอมรับว่าจงใจเลือกคะแนนแย่ ๆ จึงยังสรุปไม่ได้ว่าเหตุการณ์นั้นเกิดขึ้นอย่างไรหรือแพร่หลายเพียงใด ข้อคิดที่พูดได้ชัดกว่าคือ ป้ายกำกับว่า ‘มนุษย์เป็นผู้ให้คะแนน’ บอกเพียงที่มาของความเห็น ไม่ได้รับประกันว่าทุกคะแนนเชื่อถือได้ การตรวจคุณภาพของการตัดสินจึงสำคัญด้วย14

สำหรับผู้ใช้ ยังมีอีกประเด็นที่แยกจากเรื่องคะแนน: ผู้ประเมินใน Project Lily อาจเห็นข้อความจากบทสนทนาจริง และตัวกรองข้อมูลส่วนตัวของ OpenAI ที่มีรายงานว่าใช้ก่อนส่งงานให้ตรวจอาจลบรายละเอียดอ่อนไหวออกได้ไม่หมด คุณภาพของกระบวนการประเมินจึงเกี่ยวข้องทั้งกับความน่าเชื่อถือของผลประเมินและการดูแลข้อมูลสนทนาของผู้ใช้812