Mengapa Kontraktor OpenAI Dilaporkan Dicopot karena Memakai AI untuk Menilai ChatGPT

Project Lily, menurut laporan 404 Media, adalah operasi peninjauan oleh manusia: kontraktor menilai jawaban ChatGPT untuk membantu memperbaiki perilaku model pada masa mendatang. Itulah alasan utama mengapa kontraktor yang memakai AI generatif untuk melakukan penilaian tersebut dilaporkan dicopot dari proyek. Nilai datanya seharusnya berasal dari pertimbangan manusia yang independen. Bila sebuah model yang memberikan penilaiannya, proses itu tidak lagi secara bersih mengukur preferensi manusia. 1920

Apa yang dikerjakan peninjau Project Lily

Dalam alur kerja yang dilaporkan, peninjau menerima prompt ChatGPT nyata dan, pada beberapa kasus, percakapan utuh. Mereka merangkum maksud pengguna, membandingkan jawaban kandidat, lalu memberi skor pada skala 1–7. Satu tugas dapat memuat hingga empat jawaban kandidat. Fokusnya adalah kualitas perilaku—misalnya nada jawaban, sikap terlalu menjilat atau sycophantic, serta klaim yang terlalu menyerupai manusia—bukan sekadar ketepatan fakta. 819

Penilaian itu dapat menjadi data preferensi: catatan terstruktur mengenai jawaban mana yang dinilai seseorang lebih baik dalam konteks tertentu. Data semacam ini berguna untuk menyetel perilaku model hanya jika penilaiannya cukup konsisten, memahami pedoman, dan dibuat secara independen.

Project Lily dilaporkan melibatkan ratusan peninjau eksternal. Mereka disebut direkrut melalui Crossing Hurdles dan dibayar melalui Mercor; seorang peninjau melaporkan bayaran di atas US$50 per jam. Secara terpisah, pelaporan mengenai operasi evaluasi OpenAI yang lebih luas menyebut lebih dari 10.000 kontraktor di berbagai jalur pemeringkatan. Angka itu tidak boleh dianggap sebagai jumlah peninjau Project Lily saja. 196

Mengapa penilaian buatan AI justru merusak tujuan umpan balik manusia

AI sebagai penilai memang dapat bekerja cepat dan terkadang berguna untuk pengujian internal. Namun, ia menjawab pertanyaan yang berbeda dari peninjauan preferensi manusia. Model cenderung mengulang pola yang dipelajari selama pelatihan dan bisa lebih menyukai jawaban dengan frasa, gaya, atau asumsi yang sudah akrab baginya.

Jika keluaran dari suatu model—atau model yang sangat berkaitan—berulang kali dipakai untuk memberi ganjaran pada keluaran model berikutnya, sebuah lingkaran umpan balik dapat terbentuk:

1. Penilai AI cenderung memilih jawaban yang sesuai dengan preferensi yang telah dimilikinya.
2. Pelatihan memberi ganjaran pada jawaban tersebut.
3. Model berikutnya makin mungkin menghasilkan pola yang sama.
4. Gaya alternatif, preferensi kelompok yang lebih kecil, atau jawaban yang tidak dapat dinilai baik oleh penilai AI memperoleh umpan balik yang kurang berguna.

Ini bukan berarti setiap penggunaan evaluasi AI pasti memperburuk model. Evaluasi otomatis dapat bermanfaat bila divalidasi terhadap penilaian manusia dan dipakai dengan batas yang jelas. Namun, menggantikannya dalam tugas yang secara khusus ditugaskan sebagai data preferensi manusia akan melemahkan independensi sinyal pelatihan. Itulah tampaknya alasan kebijakan tersebut melarang penggunaannya.

Bagaimana dugaan penggunaan AI ditangani

Menurut pelaporan, supervisor diminta untuk tidak mengandalkan detektor tulisan AI seperti GPTZero. Sebaliknya, mereka diminta meninjau pola kerja dan hasil tulisan secara manual, termasuk sinyal seperti frasa yang terlalu seragam, pola tanda baca atau format, serta waktu penyelesaian yang terasa tidak masuk akal cepatnya. 6

Pendekatan ini punya keterbatasan jelas: tidak satu pun sinyal tersebut, jika berdiri sendiri, membuktikan seseorang memakai AI. Penulis yang cepat bisa saja berpengalaman, sementara kemiripan bahasa dapat muncul karena semua orang mengikuti rubrik yang sama. Karena itu, sinyal semacam ini semestinya menjadi alasan untuk menyelidiki, bukan bukti tunggal yang langsung cukup untuk mengeluarkan pekerja dari proyek.

Mengapa kriteria deteksi rinci tidak dipublikasikan

Organisasi umumnya tidak membeberkan aturan anti-kecurangan secara detail karena daftar periksa yang presisi dapat berubah menjadi panduan untuk mengakalinya. Kontraktor bisa mengubah pilihan kata, sengaja memperlambat pengerjaan, atau mengganti format, sambil tetap menyerahkan penilaian kepada model.

Namun, kerahasiaan juga membawa risiko. Ketika pekerja tidak memahami dasar keputusan kualitas, kekeliruan akan lebih sulit digugat. Program integritas yang kuat membutuhkan metode deteksi yang tetap rahasia, tetapi juga aturan yang jelas, keputusan yang terdokumentasi, serta jalur banding atau koreksi yang benar-benar bermakna.

Kebijakan Mercor yang dilaporkan

Mercor dilaporkan menyatakan bahwa penggunaan AI untuk melakukan pekerjaan evaluasi tersebut melanggar kebijakan. Untuk kasus yang terkonfirmasi, konsekuensinya adalah pencopotan segera dari proyek terkait. Pelaporan juga menyebut aturan itu melarang bantuan AI secara lebih luas, termasuk alat untuk menulis umpan balik atau komentar. 640

Masalah umpan balik manusia lebih besar daripada sekadar penggunaan AI

Laporan mengenai penilaian buruk yang sengaja diberikan menunjukkan persoalan yang lebih mendasar: “umpan balik manusia” tidak otomatis dapat diandalkan hanya karena dikirim oleh manusia. Peninjau bisa terburu-buru, salah memahami rubrik, mengejar jumlah tugas, bertindak tidak beritikad baik, atau berusaha memainkan sistem kontrol kualitas yang tidak transparan.

Ini adalah persoalan insentif, bukan semata masalah teknis. Pengembang model memerlukan penilaian yang terkalibrasi dan dilakukan dengan itikad baik agar perilaku model di dunia nyata membaik. Sebaliknya, kontraktor mungkin terutama terdorong oleh kecepatan, penyelesaian tugas, atau upaya menghindari penolakan pekerjaan. Saat insentif itu tidak sejalan, data yang dihasilkan dapat menjadi berisik atau bahkan terdistorsi secara sistematis.

Seperti apa pengamanan evaluasi yang lebih kuat

Peninjauan manusia tetap penting untuk penilaian yang kontekstual, subjektif, atau sulit diverifikasi secara otomatis. Namun, sistem ini paling efektif bila dibangun sebagai rangkaian pemeriksaan, bukan sekadar aliran skor dari individu. Sejumlah pengamanan praktis mencakup:

• Penilaian tumpang tindih yang independen: beberapa peninjau mengevaluasi sebagian tugas yang sama, lalu perbedaan penilaian diperiksa.
• Tugas kalibrasi: contoh dengan hasil yang sudah diketahui digunakan untuk memastikan peninjau memahami rubrik.
• Audit kualitas: pola mencurigakan diselidiki tanpa menganggap satu ciri gaya sebagai bukti final.
• Pemisahan peran yang jelas: membedakan pekerjaan peninjauan produksi, penjaminan kualitas, dan proses banding.
• Validasi hasil: menguji apakah data dengan nilai tinggi benar-benar membuat perilaku model lebih baik bagi pengguna.
• Kontrol privasi: membatasi data yang dapat dilihat peninjau dan terus menguji apakah penyaringan benar-benar menghapus informasi sensitif. Pelaporan Project Lily mencatat percakapan dapat mengandung informasi pribadi meski sudah ada upaya anonimisasi. 19

Intinya sederhana: pelatihan berbasis preferensi hanya dapat dipercaya sejauh proses yang menghasilkan preferensi tersebut juga dapat dipercaya. Peninjau manusia bukan jaminan ajaib atas kualitas, dan penilaian buatan AI tidak bisa begitu saja menggantikan umpan balik manusia yang independen ketika tujuannya adalah memahami apa yang sungguh-sungguh dihargai manusia.