Sampura Research Mahu Manusia Terus Menilai AI

Sampura Research ialah organisasi bukan untung keselamatan AI yang berpangkalan di London. Persoalan utama yang cuba dijawabnya mudah tetapi semakin penting: siapa yang patut menentukan sama ada sistem AI yang semakin berkeupayaan sedang bertindak dengan betul dan selamat?

Jawapan Sampura bukanlah untuk menyingkirkan manusia daripada proses tersebut. Sebaliknya, organisasi ini mahu mereka bentuk sistem yang membahagikan tanggungjawab pengawasan antara manusia dan AI. Sampura berkata ia menerima geran awal $11 juta daripada Coefficient Giving — $7 juta untuk tahun pertama, dengan tambahan $4 juta lagi yang telah dijanjikan. 1

Pengumuman pelancaran awam itu bertarikh 25 Ogos 2026, bukannya 24 Ogos. Ia menamakan Rishub Jain dan Josh Jacob sebagai pengasas. Hantaran media sosial terdahulu menyebut penglibatan Alex Adams, tetapi pengumuman rasmi tersebut tidak mengesahkan bahawa ketiga-tiganya secara rasmi mengasaskan organisasi itu. 112

Apakah maksud “hakim” manusia-AI?

Dalam istilah Sampura, hakim boleh merujuk kepada manusia, model AI atau sistem hibrid yang menilai sama ada tingkah laku sistem AI lain adalah betul dan sejajar dengan matlamat yang ditetapkan. Tingkah laku itu mungkin berupa satu jawapan, keseluruhan perbualan atau jejak tindakan ejen AI yang melibatkan banyak langkah. 1

Perbezaan ini penting kerana pengawasan sering dianggap sebagai isu berasingan daripada keupayaan model. Sesebuah model mungkin menghasilkan jawapan yang lancar atau menyelesaikan tugasan rumit, tetapi pada masa sama boleh mengelirukan penilainya, mengeksploitasi kelemahan fungsi ganjaran atau mengambil tindakan tidak selamat dalam rangkaian langkah yang panjang.

Agenda penyelidikan Sampura tertumpu pada usaha memperbaiki sistem yang mengesan kegagalan sedemikian. Organisasi itu menyifatkannya sebagai saling melengkapi manusia-AI untuk pengawasan berskala besar: automasi digunakan apabila ia boleh dipercayai, manakala manusia terus terlibat dalam perkara yang memerlukan pertimbangan, tafsiran atau keputusan yang berkait dengan nilai. 1

Mengapa Sampura menolak pengawasan AI sepenuhnya?

AI menarik sebagai pengawas kerana ia boleh beroperasi dengan lebih pantas dan murah pada skala besar. Namun, Sampura menegaskan bahawa kepantasan sahaja tidak menjadikan sesuatu penilai itu boleh dipercayai. Kenyataan pelancarannya mengetengahkan beberapa risiko:

• Keupayaan yang tidak sekata: Prestasi AI boleh menjadi “berlekuk” atau tidak konsisten — kuat dalam sesetengah tugasan tetapi tiba-tiba lemah dalam tugasan lain.
• Kegagalan yang bertindih: Penilai manusia dan AI mungkin melakukan kesilapan yang sama, khususnya apabila model dioptimumkan untuk memintas proses penilaian.
• Manipulasi dan pakatan sulit: Sistem yang diawasi mungkin cuba mengeksploitasi, memperdaya atau mempengaruhi pengawas automatiknya.
• Situasi baharu: Kes yang belum pernah dilihat atau bersifat samar mungkin memerlukan pertimbangan manusia tentang nilai, bukannya sekadar menggunakan keutamaan yang telah dipelajari.

Kebimbangan ini tidak bermaksud hakim manusia sentiasa lebih baik. Ia menjelaskan mengapa Sampura mahu menguji gabungan manusia dan mesin yang paling berkesan dalam keadaan mencabar, berbanding menganggap semua kes boleh diserahkan kepada manusia atau AI sahaja. 1

Bagaimana penyelidikan ini akan diuji?

Program awal selama enam bulan itu akan memberi tumpuan kepada pembinaan papan pendahulu hakim yang pelbagai, dengan lebih 20 subdataset. Bidang yang dirancang termasuk pengesanan penipuan, berat sebelah budaya dan tindakan tidak selamat oleh ejen AI. 1

Penilaian tersebut tidak terhad kepada ujian soal jawab statik. Sampura juga merancang senario apabila model yang diawasi secara langsung dioptimumkan untuk mengatasi hakimnya semasa pembelajaran pengukuhan. Kaedah ini bertujuan mendedahkan sama ada seseorang hakim masih berfungsi apabila sistem yang dinilai mempunyai insentif untuk mencari dan mengeksploitasi kelemahannya. 1

Penyelidikan itu akan membandingkan tiga pendekatan utama:

1. Hakim manusia, yang memberikan penilaian secara langsung.
2. Hakim AI sepenuhnya, yang menawarkan kepantasan dan kebolehskalaan lebih tinggi.
3. Hakim hibrid, yang membahagikan atau menyelaraskan tugas penilaian antara manusia dan AI.

Matlamatnya bukan sekadar memperoleh skor tinggi dalam satu penanda aras yang sempit. Sampura mahu membina hakim yang kekal teguh merentasi pelbagai ujian dan terus berkesan apabila model yang diawasinya menjadi semakin mahir mengeksploitasi kelemahan penilaian. 1

Seperti apa pengawasan hibrid?

Sampura menggariskan beberapa kemungkinan reka bentuk untuk menggabungkan pertimbangan manusia dan AI:

• AI menganggarkan tahap keyakinannya dan menyerahkan kes yang tidak pasti kepada manusia.
• Sistem penghalaan menentukan sama ada keseluruhan tugas pengawasan diberikan kepada manusia atau penilai AI.
• Tugasan kompleks dipecahkan kepada bahagian lebih kecil, sebelum setiap subtugasan diserahkan kepada manusia atau mesin.
• Antara muka khas menyediakan alat yang membantu penilai manusia membuat keputusan dengan lebih pantas dan konsisten.

Pendekatan ini melihat penglibatan manusia sebagai sesuatu yang boleh dioptimumkan, bukan syarat yang perlu dipilih secara mutlak. Sesetengah kes mungkin murah dan boleh dipercayai jika disemak secara automatik, manakala kes lain wajar menerima perhatian manusia yang lebih perlahan tetapi mendalam.

Jadi, pertukaran sebenar bukan sekadar “manusia lawan AI”. Ia melibatkan ketepatan, kos, kelajuan dan ketahanan terhadap usaha sengaja untuk memperdayakan sistem penilaian. 1

Agenda jangka panjang Sampura

Selepas membangunkan hakim yang lebih baik, Sampura berkata ia mahu menguji sama ada hakim tersebut boleh mengurangkan penggodaman ganjaran ketika model dilatih — iaitu keadaan apabila model mencari jalan mudah untuk memperoleh ganjaran tanpa benar-benar mencapai matlamat yang dikehendaki.

Organisasi itu juga mahu mengkaji jumlah penglibatan manusia yang diperlukan, cara sistem pengawasan harus menyesuaikan diri apabila model asas belajar mengeksploitasinya dan sama ada hakim boleh digunakan untuk lebih daripada sekadar mengelaskan output. 1

Kerja yang lebih luas itu mungkin merangkumi penyediaan atau penilaian spesifikasi, arahan, rubrik dan kes ujian yang digunakan untuk melatih serta menilai sistem AI. Sampura berkata hasil penyelidikannya akan diterbitkan melalui kertas akademik, kod, dataset dan papan pendahulu. 1

Bahan pelancaran yang tersedia menyokong agenda umum berkaitan dataset, penanda aras, penghalaan dan bantuan kepada penilai manusia. Namun, ia tidak mengesahkan setiap label projek yang lebih khusus, termasuk dataset bernama “forward-looking harm” atau platform penarafan manusia sumber terbuka yang telah disahkan. Perkara tersebut wajar dianggap belum disahkan, bukannya produk yang telah diumumkan.

Mengapa pengambilan pekerja ini penting?

Sampura berkata ia sedang mengambil kakitangan teknikal terawal di London. Programnya memerlukan kepakaran dalam pembelajaran mesin, reka bentuk penilaian, interaksi manusia-komputer, operasi data dan pelaksanaan sistem. 1

Hantaran awam terdahulu menyebut pengambilan sekurang-kurangnya enam penyelidik tambahan dan gaji antara £100,000 hingga £290,000, tetapi angka tepat itu tidak disahkan dalam pengumuman pelancaran organisasi berkenaan. 1213

Bidang penilaian AI yang lebih luas turut bersaing untuk mendapatkan kumpulan pakar yang terhad. Iklan jawatan METR bagi peranan Member of Technical Staff, Evaluation Execution menyatakan julat gaji asas $285,548 hingga $503,116, selain membuka kemungkinan bayaran lebih tinggi untuk calon yang sangat berpengalaman. 18

Perbandingan ini menunjukkan cabaran yang dihadapi Sampura: membina pengawasan yang boleh dipercayai memerlukan penyelidikan teknikal serta penilaian dunia sebenar yang teliti, sedangkan organisasi yang mengusahakan masalah ini bersaing untuk mendapatkan ramai calon yang sama.

Sebahagian daripada kebimbangan lebih besar tentang kawalan AI

Pelancaran Sampura berlaku ketika kebimbangan semakin meningkat bahawa pembangunan AI mungkin bergerak lebih pantas daripada sistem yang bertujuan memantaunya. Pada Julai 2026, lebih 1,100 pekerja daripada syarikat AI utama menandatangani surat terbuka yang meminta kerajaan Amerika Syarikat menyokong alat teknikal dan tadbir urus antarabangsa. Alat itu boleh digunakan untuk memperlahankan pembangunan AI termaju secara sengaja jika diperlukan. Surat tersebut tidak menyeru agar pembangunan AI dihentikan serta-merta. 40

Perubahan besar turut berlaku dalam kalangan penyelidik kanan AI. Reuters melaporkan perubahan kepimpinan di bahagian AI Google serta pemergian jurutera dan penyelidik terkenal ke syarikat serta syarikat pemula lain. 49 Perkembangan ini memberikan konteks kepada penubuhan Sampura, tetapi tidak membuktikan bahawa organisasi bukan untung itu telah menyelesaikan masalah keselamatan AI.

Apa yang boleh — dan belum boleh — didakwa Sampura?

Bukti terkuat menunjukkan Sampura sebagai organisasi penyelidikan peringkat awal yang membina infrastruktur pengukuran dan pembuatan keputusan untuk pengawasan AI. Penanda aras dan kaedah penilaian hibridnya mungkin berguna kepada makmal AI, penilai bebas atau organisasi lain yang menguji tingkah laku model. 1

Namun, itu berbeza daripada membuktikan bahawa Sampura mampu mengawal sistem AI termaju. Sumbangan terdekatnya ialah menyiasat cara pengawasan patut direka dan diuji apabila model yang diawasi berkeupayaan tinggi, boleh menyesuaikan diri dan mungkin mempunyai insentif untuk melepasi penilaian secara manipulatif.

Pertaruhan utama Sampura ialah keselamatan pada skala besar memerlukan automasi — tetapi bukan automasi yang mengeluarkan manusia daripada pertimbangan paling penting.