AI Faraday 27 Bilion Parameter Dakwa Atasi Claude dan GPT-5.5 Dalam Ulangan Kajian

Inherent, makmal AI berpangkalan di London yang diasaskan oleh bekas warga Google DeepMind, mendakwa ejen Faraday dengan 27 bilion parameter boleh menghasilkan semula dapatan daripada kertas saintifik yang diterbitkan tanpa diberikan jawapan terlebih dahulu. Syarikat itu turut berkata Faraday mengatasi Claude Opus 4.8 keluaran Anthropic dan GPT-5.5 keluaran OpenAI dalam tugasan ulangan kajian tersebut. 259

Jika keputusan ini kekal dalam ujian yang lebih meluas dan bebas, ia sememangnya menarik. Namun, tajuk besar itu perlu dibaca dengan berhati-hati: Faraday diuji untuk menghasilkan semula keputusan yang sudah diketahui, bukannya menemui pengetahuan saintifik baharu secara bebas.

Bagaimana Faraday diuji

Inherent membangunkan Replica, penanda aras yang dihimpunkan daripada 100 kertas penyelidikan dalam bidang pembelajaran mesin dan AI untuk sains. Kertas-kertas itu kemudiannya dipecahkan kepada 310 tugasan ulangan. Bagi setiap tugasan, ejen perlu menghasilkan semula rajah tertentu daripada sesebuah kertas dengan masa dan sumber pengkomputeran yang terhad, tanpa melihat plot asal. 34

Ini lebih sukar daripada sekadar meminta model menerangkan kandungan kertas atau menyalin carta yang telah diterbitkan. Ejen perlu memahami kajian, melaksanakan eksperimen yang diperlukan, menentukan cara terbaik menggunakan sumber yang ada dan menghasilkan keputusan yang cukup hampir dengan dapatan asal untuk dianggap sebagai ulangan yang berjaya.

Inherent berkata Faraday mengatasi Claude Opus 4.8 dan GPT-5.5 dalam penanda aras ini walaupun menggunakan model 27 bilion parameter yang jauh lebih kecil. 158 Bagaimanapun, dakwaan itu harus difahami sebagai keputusan khusus untuk satu penanda aras — bukan kedudukan umum yang membuktikan Faraday lebih baik dalam semua kerja saintifik atau pengekodan.

Mengapa “naluri penyelidikan” menjadi tumpuan

Menurut Inherent, kerja saintifik yang baik bukan sekadar menghasilkan keputusan akhir. Seorang penyelidik perlu menentukan eksperimen yang berbaloi, mereka bentuknya dengan munasabah, mentafsir keputusan yang tidak jelas dan menukar hala tuju apabila sesuatu pendekatan tidak berhasil. Syarikat itu merujuk gabungan pertimbangan ini sebagai “research taste”, atau naluri penyelidikan. 47

Perbezaan ini penting kerana model mungkin menghasilkan output yang kelihatan meyakinkan tanpa mengikuti proses saintifik yang boleh dipercayai. Inherent berkata Faraday dilatih untuk membina tingkah laku penyelidikan jangka panjang: membentuk hipotesis, mengujinya, belajar daripada kegagalan dan memilih langkah seterusnya yang lebih berpotensi. 4

Bagi Inherent, proses mengulangi kajian ialah medan latihan yang sesuai. Untuk menghasilkan semula keputusan yang diterbitkan, ejen perlu menemui semula sebahagian besar proses cuba jaya praktikal yang mungkin tidak dihuraikan sepenuhnya dalam kertas kajian. Syarikat itu percaya kemahiran mengemudi proses ini boleh menjadi asas untuk membawa ejen daripada mengesahkan dapatan sedia ada kepada penyelidikan yang lebih terbuka. 49

Faraday menggunakan GPT-5.5 Codex sebagai alat

Faraday bukan diposisikan sebagai pengganti kendiri kepada ejen pengekodan yang berkuasa. Sebaliknya, ia berfungsi sebagai lapisan penyelia saintifik yang mengarahkan GPT-5.5 Codex milik OpenAI sepanjang tugasan ulangan. Inherent menyamakan susunan ini dengan seorang saintis manusia yang menggunakan pembantu pengekodan: Faraday menyediakan perancangan dan pertimbangan saintifik, manakala Codex mengendalikan sebahagian besar kerja pelaksanaan. 39

Reka bentuk ini mengalihkan perhatian daripada saiz model semata-mata. Model yang lebih kecil masih boleh menambah nilai dengan menentukan perkara yang perlu dilakukan oleh alat yang lebih besar, masa untuk menukar strategi dan cara menilai keputusan. Oleh itu, kelebihan yang dilaporkan Faraday sebahagiannya ialah kelebihan penyelarasan — gabungan perancangan saintifik dengan keupayaan pengekodan canggih — bukan bukti bahawa model 27 bilion parameternya secara umum lebih berkebolehan daripada sistem yang lebih besar.

Sasaran akhirnya ialah rakan sepasukan saintifik

Inherent berkata matlamatnya adalah membina ejen AI yang bekerjasama dengan penyelidik sebagai rakan sepasukan. Sistem sebegitu akan membantu merancang, menjalankan, mengkritik dan mengulangi eksperimen, sementara manusia kekal menentukan hala tuju serta memberikan pengawasan. 45

Faraday paling sesuai dilihat sebagai versi awal idea tersebut: model yang dilatih untuk menyediakan intuisi saintifik dan mengurus proses penyelidikan di atas alat pengekodan umum. Cita-cita jangka panjang syarikat itu adalah membangunkan ejen yang boleh menyumbang kepada penemuan pengetahuan baharu, tetapi keputusan semasa hanya menunjukkan keupayaan mengulangi kajian, bukan membuat penemuan. 34

Batasan ini penting. Menghasilkan semula keputusan yang diketahui ialah ujian berharga untuk menilai kebolehpercayaan saintifik, namun ia belum membuktikan bahawa ejen mampu merumuskan persoalan asal yang penting, menghasilkan hipotesis yang benar-benar baharu atau mengesahkan penemuan dalam dunia sebenar.

Strategi Inherent dalam perlumbaan AI saintifik

Inherent muncul daripada mod senyap dengan laporan pembiayaan pusingan benih bernilai AS$50 juta dan memperkenalkan dirinya sebagai makmal penyelidikan London yang diasaskan oleh bekas warga Google DeepMind. 25 Pendekatannya adalah memberi tumpuan kepada aspek sains berbantukan AI yang mungkin tidak dipelajari secara automatik oleh model umum: pertimbangan eksperimen, pembuatan keputusan jangka panjang, penilaian dan penyelarasan antara manusia dengan alat perisian.

Strategi itu turut menjelaskan mengapa syarikat berkenaan menonjolkan penggunaan sistem pengekodan luaran oleh Faraday. Daripada membina setiap keupayaan dalam satu model, Inherent cuba melatih lapisan khusus yang menjadikan alat AI sedia ada lebih berguna untuk kerja saintifik. 39

Kesimpulan paling munasabah buat masa ini adalah sederhana tetapi signifikan: Inherent mendakwa model penyelia yang agak kecil dan dilatih melalui pembelajaran pengukuhan boleh mengatasi sistem AI terkemuka yang lebih besar dalam penanda aras ulangan kajian yang ditakrifkan dengan jelas. Persoalan lebih besar — sama ada pendekatan ini benar-benar mampu menghasilkan sumbangan saintifik asli dan boleh dipercayai — masih belum terjawab.