BootLoops 1.0 Membuat Perhitungan AI Lebih Mudah Diperiksa

BootLoops 1.0 adalah perangkat sumber terbuka yang membantu model bahasa mengerjakan kalkulasi ilmiah dengan pemeriksaan yang terstruktur. Fisikawan Harvard Matthew Schwartz mengembangkannya bersama Claude, tetapi perangkat ini tidak terikat pada satu model tertentu. Tujuannya bukan menjamin semua jawaban AI benar, melainkan membuat hasil tertentu lebih mudah diuji. 112

Bagaimana BootLoops memeriksa kalkulasi

BootLoops menggabungkan perangkat lunak ilmiah dengan protokol yang menetapkan seperti apa hasil yang layak dianggap sudah diperiksa. Salah satu caranya adalah membandingkan hasil dengan jalur komputasi independen, termasuk pada titik yang tidak digunakan untuk mencocokkan hasil. Protokolnya juga meminta positive control—uji pembanding yang menunjukkan bahwa pemeriksaan memang bisa mendeteksi hasil yang keliru. 211

Ada pula aturan pencatatan asal-usul hasil. Jika suatu alat ikut membantu mencocokkan jawaban, alat yang sama tidak semestinya menjadi satu-satunya pihak yang mengesahkan jawaban tersebut. 2

Pendekatan ini cocok untuk tugas dengan keluaran yang jelas, seperti kalkulasi fisika-matematika. Lolos dari serangkaian uji memberi bukti bahwa suatu hasil memenuhi pemeriksaan tersebut, tetapi tidak membuktikan semua klaim dari model benar atau pertanyaan risetnya penting. 25

Hasil yang dilaporkan bersama Claude

Tim Schwartz melaporkan perhitungan 30 integral fisika-matematika. Sebanyak 15 hasil disebut baru, termasuk integral Feynman eliptik. Tim tersebut juga menyelesaikan persoalan yang oleh Schwartz disebut “masalah terakhir” Watson, terkait rangkaian kalkulasi yang dimulai matematikawan George Watson. 14164

Dalam upaya yang lebih luas, dilaporkan ada 36 manuskrip dengan 19 rekan penulis dari 18 bidang, termasuk ekologi dan genetika populasi. Angka ini merujuk pada keluaran riset yang dilaporkan, bukan berarti setiap hasil telah melalui verifikasi independen sampai tuntas: Schwartz mengatakan beberapa di antaranya masih diperiksa. 3154

Mengapa keahlian manusia tetap dibutuhkan

Schwartz memakai istilah “ketidakcocokan impedansi” untuk menggambarkan kesenjangan antara kebutuhan ilmuwan dan hal-hal yang paling mampu dikerjakan model bahasa saat ini. AI dapat membantu pada tugas komputasi yang ruang lingkup dan cara pengujiannya sudah jelas. Namun, riset juga menuntut kemampuan memilih pertanyaan yang layak dijawab dan menilai apakah sebuah temuan benar-benar berarti. 15

Menurut Schwartz, Claude menemukan hubungan lintas bidang yang secara teknis bisa benar, tetapi belum tentu penting secara ilmiah. Pakar di bidang terkait membantu mengarahkan pekerjaan ke pertanyaan yang bermakna bagi bidang tersebut. Di sinilah “selera ilmiah”—kepekaan untuk mengenali pertanyaan dan hasil yang bernilai—menjadi penting. 5

Pemeriksaan komputasi dapat membantu memastikan suatu kalkulasi lolos dari uji tertentu. Namun, penilaian manusia tetap diperlukan untuk menentukan apa yang perlu dihitung dan bagaimana menafsirkan hasilnya. Verifikasi keluaran juga tidak sama dengan menilai apakah kesimpulannya relevan atau layak digunakan.

Apa yang bisa dan tidak bisa dibuktikan BootLoops

BootLoops menyediakan cara untuk menata kerja berbantuan AI di sekitar tugas yang dapat diuji, pemeriksaan independen, dan keahlian manusia. Hasil yang dilaporkan menunjukkan potensi pendekatan ini, tetapi bukan jaminan bahwa semua keluaran benar atau pengganti pemeriksaan lanjutan. Untuk keputusan berisiko tinggi, satu kalkulasi yang lolos uji belum cukup: pertanyaan, asumsi, interpretasi, dan konsekuensinya tetap perlu ditelaah manusia. 245