Faraday 27 Miliar Parameter Diklaim Mengungguli Claude dan GPT-5.5 dalam Replikasi Riset

Inherent, laboratorium AI asal London yang didirikan oleh alumni Google DeepMind, memperkenalkan Faraday—agen AI berukuran 27 miliar parameter yang menurut perusahaan mampu mereproduksi temuan dari makalah ilmiah tanpa diberi jawabannya terlebih dahulu. Inherent juga menyatakan Faraday mengungguli Claude Opus 4.8 dari Anthropic dan GPT-5.5 dari OpenAI dalam tugas replikasi riset tersebut. 259

Klaim ini menarik karena Faraday jauh lebih kecil dibandingkan sejumlah model AI terdepan yang menjadi pembanding. Namun, hasilnya perlu dibaca secara spesifik: Faraday diuji untuk mereproduksi hasil yang sudah diketahui, bukan menemukan pengetahuan ilmiah baru secara mandiri.

Apa yang diuji melalui Replica?

Untuk melatih dan mengevaluasi Faraday, Inherent membuat Replica, benchmark yang disusun dari 100 makalah di bidang machine learning dan AI untuk sains. Makalah-makalah itu kemudian diubah menjadi 310 tugas replikasi. Dalam setiap tugas, agen diminta membuat ulang gambar atau grafik tertentu dari sebuah penelitian, dengan batasan waktu dan komputasi serta tanpa akses ke grafik asli. 34

Tantangannya lebih besar daripada sekadar meminta AI merangkum makalah atau menyalin bagan yang sudah diterbitkan. Agen harus memahami penelitian, menerapkan eksperimen yang diperlukan, menentukan cara memakai sumber daya yang terbatas, lalu menghasilkan keluaran yang cukup dekat dengan temuan asli agar dianggap berhasil mereplikasi penelitian.

Menurut Inherent, Faraday mengungguli Claude Opus 4.8 dan GPT-5.5 pada benchmark ini meski hanya menggunakan model berukuran 27 miliar parameter. 158 Perbandingan tersebut sebaiknya dipahami sebagai hasil pada benchmark khusus, bukan peringkat umum yang menunjukkan Faraday lebih unggul dalam semua pekerjaan ilmiah, pemrograman, atau penalaran.

Mengapa “selera riset” dianggap penting?

Inherent berpendapat bahwa kerja ilmiah yang baik tidak berhenti pada pencapaian hasil akhir. Peneliti juga harus mampu memilih eksperimen yang layak dilakukan, merancangnya secara masuk akal, menafsirkan hasil yang ambigu, serta mengubah strategi ketika pendekatan awal gagal. Perusahaan menyebut rangkaian penilaian ini sebagai research taste, atau “selera riset”. 47

Konsep tersebut penting karena keluaran yang tampak masuk akal belum tentu dihasilkan melalui proses ilmiah yang dapat diandalkan. Inherent mengatakan Faraday dilatih untuk membangun perilaku investigasi jangka panjang: merumuskan hipotesis, mengujinya, belajar dari kegagalan, dan memilih langkah berikutnya yang paling produktif. 4

Perusahaan melihat tugas replikasi sebagai lahan latihan untuk kemampuan itu. Ketika mencoba mengulang hasil penelitian, agen harus menemukan kembali banyak proses coba-coba praktis yang sering kali tidak dijelaskan secara lengkap dalam sebuah makalah. Menurut tesis Inherent, kemampuan menavigasi proses tersebut dapat menjadi pijakan bagi agen yang kelak menangani riset yang lebih terbuka. 49

Faraday memakai GPT-5.5 Codex sebagai alat

Faraday bukan diposisikan sebagai pengganti mandiri untuk agen pemrograman berkemampuan tinggi. Sebaliknya, Faraday berperan sebagai lapisan pengawas ilmiah yang mengarahkan GPT-5.5 Codex selama tugas replikasi. Inherent menggambarkan hubungan ini seperti ilmuwan manusia yang menggunakan asisten pemrograman: Faraday menyediakan perencanaan dan penilaian ilmiah, sementara Codex mengerjakan sebagian besar implementasi teknis. 39

Pendekatan tersebut menggeser perhatian dari ukuran model semata. Model yang lebih kecil tetap bisa memberi nilai tambah jika mampu menentukan apa yang harus dilakukan alat yang lebih besar, kapan strategi perlu diubah, dan bagaimana hasil eksperimen harus dievaluasi.

Dengan demikian, keunggulan yang diklaim Faraday sebagian merupakan keunggulan orkestrasi—perpaduan antara perencanaan ilmiah dan kemampuan pemrograman tingkat lanjut—bukan bukti bahwa model 27 miliar parameternya secara universal lebih mampu daripada sistem yang lebih besar.

Targetnya adalah rekan ilmiah, bukan ilmuwan otonom

Inherent mengatakan ingin membangun agen AI yang bekerja bersama peneliti sebagai rekan satu tim. Sistem yang dibayangkan dapat membantu merencanakan, menjalankan, mengkritik, dan mengulang eksperimen, sementara manusia tetap memegang arah penelitian dan pengawasan. 45

Faraday paling tepat dipahami sebagai tahap awal dari gagasan tersebut: model yang memberikan intuisi ilmiah dan mengelola proses riset di atas alat pemrograman serbaguna. Ambisi jangka panjang perusahaan adalah membuat agen yang ikut berkontribusi pada penemuan pengetahuan baru, tetapi hasil yang ditunjukkan saat ini masih berupa replikasi, bukan penemuan. 34

Batasan ini penting. Berhasil mereproduksi hasil yang sudah dikenal memang merupakan ujian berharga bagi keandalan ilmiah. Namun, hal itu belum membuktikan bahwa agen dapat merumuskan pertanyaan orisinal yang penting, menghasilkan hipotesis yang benar-benar baru, atau memvalidasi penemuan di dunia nyata.

Strategi Inherent di balik Faraday

Inherent muncul dari mode senyap dengan pendanaan awal yang dilaporkan mencapai 50 juta dolar AS. Laboratorium yang berbasis di London ini didirikan oleh alumni Google DeepMind dan memilih fokus pada aspek-aspek sains berbantuan AI yang mungkin tidak otomatis dikuasai model serbaguna: penilaian eksperimental, pengambilan keputusan jangka panjang, evaluasi, serta koordinasi antara manusia dan perangkat lunak. 25

Strategi itu juga menjelaskan keputusan Inherent untuk memanfaatkan sistem pemrograman eksternal. Alih-alih membangun seluruh kemampuan dalam satu model, perusahaan mencoba melatih lapisan khusus yang membuat alat AI terdepan lebih efektif untuk pekerjaan ilmiah. 39

Kesimpulan langsungnya cukup terukur, tetapi tetap signifikan: Inherent mengklaim model pengawas yang relatif kecil dan dilatih dengan reinforcement learning dapat mengungguli sistem AI terdepan yang lebih besar pada benchmark replikasi yang didefinisikan secara ketat.

Pertanyaan yang lebih besar masih terbuka: apakah pendekatan ini nantinya dapat menghasilkan kontribusi ilmiah orisinal yang konsisten dan dapat dipercaya? Untuk saat ini, Faraday menunjukkan kemajuan dalam memeriksa ulang pengetahuan yang sudah ada—belum dalam menciptakan pengetahuan baru.