Sampura Research Ingin Manusia Tetap Menjadi Penilai AI

Sampura Research, organisasi nirlaba yang berbasis di London, berangkat dari satu pertanyaan praktis: siapa yang seharusnya menilai apakah sistem AI yang semakin canggih telah bekerja dengan benar dan aman?

Jawaban organisasi ini bukan menghapus manusia dari proses pengawasan. Sampura justru ingin merancang sistem yang membagi tanggung jawab penilaian antara manusia dan AI. Organisasi tersebut menyatakan telah menerima hibah awal senilai US$11 juta dari Coefficient Giving—US$7 juta untuk tahun pertama dan tambahan US$4 juta yang telah dijanjikan. 1

Pengumuman peluncuran resminya bertanggal 25 Agustus 2026, bukan 24 Agustus. Dokumen itu menyebut Rishub Jain dan Josh Jacob sebagai pendiri. Sejumlah unggahan media sosial sebelumnya menyebut Alex Adams dalam proyek tersebut, tetapi pengumuman resmi itu tidak membuktikan bahwa ketiganya secara formal mendirikan organisasi ini. 112

Apa yang dimaksud “juri” AI?

Dalam istilah Sampura, juri atau judge adalah manusia, model AI, atau sistem gabungan yang menilai apakah perilaku AI lain sudah benar dan selaras. Objek penilaiannya dapat berupa satu jawaban, percakapan, maupun rangkaian tindakan agen AI dalam menyelesaikan tugas. 1

Pembedaan ini penting karena kemampuan model dan kualitas pengawasan sering diperlakukan sebagai dua persoalan terpisah. Sebuah model dapat memberikan jawaban yang meyakinkan atau menyelesaikan tugas rumit, tetapi tetap menyesatkan evaluator, mengeksploitasi celah dalam fungsi penghargaan, atau mengambil tindakan berbahaya setelah menjalankan beberapa langkah.

Agenda riset Sampura berfokus pada cara menemukan kegagalan-kegagalan tersebut. Organisasi ini menyebut pendekatannya komplementaritas manusia–AI untuk pengawasan yang dapat diskalakan: otomatisasi digunakan ketika dapat diandalkan, sementara manusia tetap memegang peran ketika dibutuhkan penilaian, interpretasi, atau keputusan yang berkaitan dengan nilai. 1

Mengapa Sampura menolak pengawasan AI sepenuhnya?

AI menarik digunakan sebagai pengawas karena dapat bekerja lebih cepat dan murah dalam skala besar. Namun, menurut Sampura, kecepatan saja tidak cukup untuk membuat evaluator dapat dipercaya. Pernyataan peluncurannya menyoroti beberapa risiko:

• Kemampuan yang tidak merata: performa AI dapat bersifat “bergerigi” (jagged), kuat pada satu jenis tugas tetapi tiba-tiba lemah pada tugas lain.
• Pola kegagalan yang sama: evaluator manusia dan AI dapat melakukan kesalahan yang beririsan, terutama ketika model dioptimalkan untuk melewati proses evaluasi.
• Manipulasi dan kolusi: sistem yang diawasi mungkin mengeksploitasi, menipu, atau memengaruhi pengawas otomatis.
• Situasi baru: kasus yang ambigu dan belum pernah ditemui dapat membutuhkan pertimbangan manusia mengenai nilai, bukan sekadar penerapan preferensi yang telah dipelajari.

Hal ini bukan berarti juri manusia selalu lebih baik. Kekhawatiran tersebut menjelaskan mengapa Sampura ingin menguji kombinasi manusia dan mesin yang paling efektif ketika menghadapi tekanan, alih-alih menganggap semua kasus harus ditangani manusia atau AI saja. 1

Bagaimana sistem penilai itu akan diuji?

Program awal Sampura selama enam bulan akan berfokus pada papan peringkat juri yang beragam, dengan lebih dari 20 subdataset. Area pengujian yang direncanakan mencakup deteksi penipuan, bias budaya, serta tindakan tidak aman yang dilakukan agen AI. 1

Pengujiannya tidak hanya berupa soal dan jawaban statis. Sampura juga berencana membuat skenario ketika model yang diawasi secara langsung mengoptimalkan perilakunya untuk mengakali juri selama proses reinforcement learning atau pembelajaran penguatan. Dengan cara ini, peneliti dapat melihat apakah juri tetap berfungsi ketika model memiliki insentif untuk menemukan dan mengeksploitasi kelemahan evaluasi. 1

Riset tersebut akan membandingkan tiga pendekatan utama:

1. Juri manusia, yang memberikan penilaian secara langsung.
2. Juri AI, yang menawarkan kecepatan dan kemampuan penskalaan lebih tinggi.
3. Juri hibrida, yang membagi atau mengoordinasikan pekerjaan evaluasi antara manusia dan AI.

Targetnya bukan sekadar memperoleh skor tinggi pada satu tolok ukur yang sempit. Sampura ingin membangun juri yang tetap tangguh di berbagai pengujian dan terus bekerja ketika model yang diawasi semakin mahir mengeksploitasi kelemahan evaluasi. 1

Seperti apa pengawasan hibrida?

Sampura menguraikan beberapa kemungkinan desain untuk menggabungkan penilaian manusia dan AI:

• AI memperkirakan tingkat keyakinannya, lalu meneruskan kasus yang meragukan kepada manusia.
• Sistem pengarah menentukan apakah seluruh tugas pengawasan diberikan kepada evaluator manusia atau AI.
• Tugas kompleks dipecah menjadi bagian-bagian kecil, kemudian setiap sub tugas diarahkan kepada manusia atau mesin.
• Antarmuka khusus membantu penilai manusia mengevaluasi kasus sulit dengan lebih cepat dan konsisten.

Pendekatan ini menjadikan keterlibatan manusia sebagai sesuatu yang perlu diatur secara optimal, bukan pilihan biner antara selalu ada atau sama sekali tidak ada. Kasus sederhana mungkin dapat diperiksa otomatis dengan murah dan andal, sementara kasus berisiko tinggi layak mendapat perhatian manusia yang lebih lambat tetapi lebih cermat.

Dengan demikian, persoalannya bukan sekadar “manusia versus AI”. Yang harus diukur adalah perpaduan antara akurasi, biaya, kecepatan, serta ketahanan terhadap upaya model untuk mengakali sistem penilaian. 1

Agenda riset jangka panjang

Setelah mengembangkan juri yang lebih kuat, Sampura berencana menguji apakah sistem tersebut dapat mengurangi reward hacking selama pelatihan model—situasi ketika AI menemukan cara memperoleh skor tinggi tanpa benar-benar memenuhi tujuan yang dimaksud. Organisasi ini juga ingin mempelajari seberapa besar keterlibatan manusia yang dibutuhkan, bagaimana sistem pengawasan beradaptasi ketika model dasar belajar mengeksploitasinya, dan apakah juri dapat digunakan untuk lebih dari sekadar mengklasifikasikan keluaran AI. 1

Pekerjaan itu dapat mencakup penyusunan atau penilaian terhadap spesifikasi, instruksi, rubrik, dan kasus uji yang digunakan untuk melatih serta mengevaluasi sistem AI. Sampura menyatakan akan menerbitkan hasilnya melalui makalah, kode, dataset, dan papan peringkat. 1

Namun, materi peluncuran yang tersedia hanya mendukung agenda umum berupa dataset, tolok ukur, sistem pengarah, dan alat bantu untuk penilai manusia. Materi tersebut belum membuktikan adanya proyek dengan nama khusus seperti dataset “forward-looking harm” atau platform penilaian manusia sumber terbuka. Karena itu, kedua deskripsi tersebut sebaiknya dianggap belum terverifikasi, bukan sebagai produk yang telah diumumkan resmi.

Mengapa perekrutan peneliti menjadi sorotan?

Sampura menyatakan sedang merekrut staf teknis awal di London. Programnya membutuhkan keahlian dalam pembelajaran mesin, desain evaluasi, interaksi manusia–komputer, operasi data, dan penerapan sistem. 1 Unggahan publik sebelumnya menyebut rencana merekrut sedikitnya enam peneliti tambahan serta kisaran gaji £100.000 hingga £290.000, tetapi angka tersebut belum dikonfirmasi oleh pengumuman resmi organisasi. 1213

Bidang evaluasi AI juga tengah memperebutkan tenaga ahli yang jumlahnya terbatas. Lowongan METR untuk posisi Member of Technical Staff, Evaluation Execution mencantumkan gaji pokok US$285.548 hingga US$503.116 dan menyatakan bahwa kandidat dengan pengalaman luar biasa dapat dipertimbangkan untuk bayaran yang lebih tinggi. 18

Perbandingan ini menunjukkan tantangan yang dihadapi Sampura: pengawasan yang dapat diandalkan memerlukan riset teknis sekaligus evaluasi dunia nyata yang cermat, sementara organisasi-organisasi yang menggarap persoalan tersebut bersaing mendapatkan banyak kandidat yang sama.

Bagian dari kekhawatiran yang lebih luas

Peluncuran Sampura berlangsung ketika kekhawatiran meningkat bahwa pengembangan AI dapat melaju lebih cepat daripada sistem yang bertugas memantaunya. Pada Juli 2026, lebih dari 1.100 karyawan perusahaan AI besar menandatangani surat terbuka yang meminta pemerintah Amerika Serikat mendukung perangkat teknis dan tata kelola internasional. Perangkat itu nantinya dapat digunakan untuk sengaja memperlambat pengembangan AI terdepan jika diperlukan. Surat tersebut tidak menyerukan penghentian pengembangan AI secara langsung. 40

Perubahan besar juga terjadi di kalangan peneliti senior AI. Reuters melaporkan perubahan kepemimpinan di divisi AI Google serta kepergian sejumlah insinyur dan peneliti terkemuka ke perusahaan maupun perusahaan rintisan lain. 49 Perkembangan ini memberi konteks bagi kemunculan Sampura, tetapi tidak membuktikan bahwa organisasi tersebut telah memecahkan persoalan keselamatan AI.

Apa yang sudah dan belum dapat diklaim Sampura?

Bukti terkuat saat ini menggambarkan Sampura sebagai organisasi riset tahap awal yang membangun infrastruktur pengukuran dan pengambilan keputusan untuk pengawasan AI. Tolok ukur dan metode evaluasi hibridanya kelak dapat dimanfaatkan laboratorium AI, evaluator independen, atau organisasi lain yang menguji perilaku model. 1

Namun, hal itu berbeda dari membuktikan bahwa Sampura mampu mengendalikan sistem AI terdepan. Kontribusi jangka pendeknya adalah menyelidiki bagaimana pengawasan harus dirancang dan diuji ketika model yang diawasi sudah canggih, adaptif, dan mungkin memiliki insentif untuk melewati evaluasi dengan cara apa pun.

Taruhan utama Sampura sederhana tetapi penting: keselamatan AI dalam skala besar kemungkinan membutuhkan otomatisasi—namun bukan otomatisasi yang menyingkirkan manusia dari keputusan paling menentukan.