Unit yang dievaluasi bukan hanya model fondasi. Yang diuji adalah keseluruhan solver, termasuk model, lapisan orkestrasi atau harness, alat, memori, dan kebijakan kontrol yang digunakan untuk menjalankan investigasi.

Mengapa berbeda dari benchmark berbasis kunci jawaban?

Pada benchmark konvensional, pertanyaan, input yang tersedia, dan jawaban yang diharapkan biasanya telah ditentukan sejak awal. TRACES memulai dari ambisi dunia nyata yang harus diterjemahkan menjadi investigasi yang dapat dikerjakan. Solver berinteraksi dengan lingkungan, mengambil tindakan, memanggil alat ilmiah atau komputasional, lalu menerima umpan balik seperti hasil eksperimen atau verifikasi.

Alur evaluasinya menjadi lebih panjang:

1. Menyusun atau menyempurnakan hipotesis.
2. Memilih tindakan atau memanggil alat yang relevan.
3. Mengamati bukti atau umpan balik yang dihasilkan.
4. Mengidentifikasi kesalahan dan kelemahan pendekatan.
5. Memperbaiki metode serta menguji alternatif.
6. Menyampaikan kesimpulan sesuai kekuatan dan keterbatasan bukti.

Dengan demikian, benchmark ini merekam lintasan investigasi, bukan sekadar menilai apakah keluaran akhir menyerupai jawaban referensi. Pendekatan tersebut sangat relevan ketika pertanyaan ilmiah yang diuji belum memiliki jawaban pasti yang dapat dijadikan standar kebenaran konvensional.

Enam kemampuan yang dinilai

Nama TRACES merangkum enam dimensi verifikasi proses, yang juga disebut HDS6:

• Tools (Alat): Apakah solver mampu memilih, menggunakan, dan menafsirkan alat eksternal atau alat ilmiah yang relevan dengan benar?
• Repair (Perbaikan): Apakah solver dapat menemukan kegagalan dan merevisi pekerjaannya setelah menerima umpan balik?
• Alternatives (Alternatif): Apakah solver mempertimbangkan hipotesis yang saling bersaing, lalu mempertahankan, menolak, atau menyempurnakannya berdasarkan bukti?
• Coherence (Koherensi): Apakah solver menjaga alur penalaran yang konsisten dan saling terhubung selama investigasi?
• Evidence (Bukti): Apakah klaimnya berlandaskan pengamatan, keluaran alat, dan hasil eksperimen?
• Scope (Ruang lingkup): Apakah solver membatasi klaim hanya pada hal-hal yang benar-benar didukung oleh bukti yang tersedia?

Keenam dimensi ini dimaksudkan untuk membedakan investigasi yang dapat diandalkan dari tebakan yang disampaikan dengan penuh keyakinan. Dimensi tersebut juga memungkinkan penilai mengukur kualitas proses solver ketika jawaban definitif belum tersedia.

Asal-usul dan skala awal TRACES

Kerangka Apodex Discovery menetapkan sejumlah kebutuhan untuk mengevaluasi proses penemuan terbuka: masalah yang dirumuskan dengan baik, lingkungan yang berlandaskan kondisi nyata, mekanisme verifikasi, serta putaran yang memungkinkan sistem memperbaiki pekerjaannya. TRACES merupakan implementasi benchmark dari pendekatan tersebut.

Untuk mencari masalah yang layak diuji, Apodex menyatakan telah meninjau 561 industri di 16 sektor dan mengumpulkan 423 masalah dunia nyata bernilai tinggi. Dari daftar tersebut, rilis awal TRACES memilih 20 masalah untuk evaluasi berbasis eksekusi.

Materi yang tersedia menyebut contoh bidang berikut:

• Desain kapsid AAV
• Analisis uji klinis
• Penggunaan ulang dan reformulasi obat
• Pelatihan serta sistem LLM

Contoh-contoh itu menunjukkan cakupan yang ingin dijangkau benchmark ini. Namun, materi yang tersedia belum menetapkan daftar publik lengkap mengenai seluruh tugas atau domain yang termasuk dalam rilis awal.

Mengapa evaluasi proses penting bagi AI otonom?

Sistem AI semakin banyak digunakan—atau diusulkan—untuk menghasilkan hipotesis, memilih arah penelitian, menganalisis hasil eksperimen, dan membantu merancang alur kerja berulang. Dalam konteks seperti ini, kemampuan menghasilkan teks yang lancar tidaklah cukup. Sistem harus mengetahui apa yang perlu diuji, memahami hasil yang diperoleh, memulihkan diri dari kesalahan, dan menghindari klaim yang melampaui dukungan buktinya.

TRACES mencoba mengisi celah tersebut dengan memperlakukan penelitian ilmiah sebagai proses interaktif. Solver yang mencapai hasil berguna melalui bukti yang dapat ditelusuri dan revisi yang tepat jelas berbeda dari solver yang menghasilkan kesimpulan serupa tanpa jalur penalaran yang kuat.

Namun, pendekatan ini tidak menghapus kebutuhan akan pengawasan manusia. Peneliti dan pakar bidang tetap perlu menetapkan tujuan serta batasan, menilai risiko etis dan praktis, memvalidasi asumsi dan bukti, serta memutuskan apakah suatu kesimpulan cukup kuat untuk dijadikan dasar tindakan di dunia nyata. Penekanan TRACES pada lintasan investigasi yang dapat diperiksa dan klaim yang terukur justru penting karena memberi penilai lebih banyak hal untuk ditinjau daripada sekadar pernyataan akhir yang sulit diaudit.

Bagaimana tim dapat berpartisipasi?

Pengumuman publik Apodex menyebutkan ajakan terbuka untuk mengirimkan sistem solver maupun masalah ilmiah.

Pengajuan solver harus merepresentasikan sistem lengkap yang digunakan untuk menyelidiki suatu tugas, bukan hanya model dasarnya. Komponennya mencakup model, harness atau lapisan orkestrasi, alat, memori, dan kebijakan kontrol yang mengatur investigasi.

Sementara itu, usulan masalah perlu dapat dituangkan ke dalam lingkungan yang bisa dieksekusi dan diverifikasi. Artinya, pengusul harus mendefinisikan apa yang dapat diamati dan dilakukan solver, umpan balik yang diterimanya, serta cara memeriksa klaim antara maupun klaim akhir berdasarkan kriteria keberhasilan yang jelas.

Kesimpulan

TRACES mengubah pertanyaan utama dalam benchmark AI dari “Apakah AI memberikan jawaban yang diharapkan?” menjadi “Apakah AI menjalankan investigasi yang disiplin dan berlandaskan bukti?”

Pendekatan ini lebih dekat dengan kebutuhan penemuan ilmiah dibandingkan pengujian statis berbasis kunci jawaban. Namun, ada batasan penting: skor proses dapat memperbaiki cara AI dievaluasi, tetapi tidak dengan sendirinya membuktikan bahwa sebuah penemuan yang dihasilkan AI aman, bermanfaat, atau siap diterapkan. Penilaian ilmiah oleh manusia tetap tidak tergantikan.

Unit yang dievaluasi bukan hanya model fondasi. Yang diuji adalah keseluruhan solver, termasuk model, lapisan orkestrasi atau harness, alat, memori, dan kebijakan kontrol yang digunakan untuk menjalankan investigasi.

Mengapa berbeda dari benchmark berbasis kunci jawaban?

Pada benchmark konvensional, pertanyaan, input yang tersedia, dan jawaban yang diharapkan biasanya telah ditentukan sejak awal. TRACES memulai dari ambisi dunia nyata yang harus diterjemahkan menjadi investigasi yang dapat dikerjakan. Solver berinteraksi dengan lingkungan, mengambil tindakan, memanggil alat ilmiah atau komputasional, lalu menerima umpan balik seperti hasil eksperimen atau verifikasi.

Alur evaluasinya menjadi lebih panjang:

1. Menyusun atau menyempurnakan hipotesis.
2. Memilih tindakan atau memanggil alat yang relevan.
3. Mengamati bukti atau umpan balik yang dihasilkan.
4. Mengidentifikasi kesalahan dan kelemahan pendekatan.
5. Memperbaiki metode serta menguji alternatif.
6. Menyampaikan kesimpulan sesuai kekuatan dan keterbatasan bukti.

Dengan demikian, benchmark ini merekam lintasan investigasi, bukan sekadar menilai apakah keluaran akhir menyerupai jawaban referensi. Pendekatan tersebut sangat relevan ketika pertanyaan ilmiah yang diuji belum memiliki jawaban pasti yang dapat dijadikan standar kebenaran konvensional.

Enam kemampuan yang dinilai

Nama TRACES merangkum enam dimensi verifikasi proses, yang juga disebut HDS6:

• Tools (Alat): Apakah solver mampu memilih, menggunakan, dan menafsirkan alat eksternal atau alat ilmiah yang relevan dengan benar?
• Repair (Perbaikan): Apakah solver dapat menemukan kegagalan dan merevisi pekerjaannya setelah menerima umpan balik?
• Alternatives (Alternatif): Apakah solver mempertimbangkan hipotesis yang saling bersaing, lalu mempertahankan, menolak, atau menyempurnakannya berdasarkan bukti?
• Coherence (Koherensi): Apakah solver menjaga alur penalaran yang konsisten dan saling terhubung selama investigasi?
• Evidence (Bukti): Apakah klaimnya berlandaskan pengamatan, keluaran alat, dan hasil eksperimen?
• Scope (Ruang lingkup): Apakah solver membatasi klaim hanya pada hal-hal yang benar-benar didukung oleh bukti yang tersedia?

Keenam dimensi ini dimaksudkan untuk membedakan investigasi yang dapat diandalkan dari tebakan yang disampaikan dengan penuh keyakinan. Dimensi tersebut juga memungkinkan penilai mengukur kualitas proses solver ketika jawaban definitif belum tersedia.

Asal-usul dan skala awal TRACES

Kerangka Apodex Discovery menetapkan sejumlah kebutuhan untuk mengevaluasi proses penemuan terbuka: masalah yang dirumuskan dengan baik, lingkungan yang berlandaskan kondisi nyata, mekanisme verifikasi, serta putaran yang memungkinkan sistem memperbaiki pekerjaannya. TRACES merupakan implementasi benchmark dari pendekatan tersebut.

Untuk mencari masalah yang layak diuji, Apodex menyatakan telah meninjau 561 industri di 16 sektor dan mengumpulkan 423 masalah dunia nyata bernilai tinggi. Dari daftar tersebut, rilis awal TRACES memilih 20 masalah untuk evaluasi berbasis eksekusi.

Materi yang tersedia menyebut contoh bidang berikut:

• Desain kapsid AAV
• Analisis uji klinis
• Penggunaan ulang dan reformulasi obat
• Pelatihan serta sistem LLM

Contoh-contoh itu menunjukkan cakupan yang ingin dijangkau benchmark ini. Namun, materi yang tersedia belum menetapkan daftar publik lengkap mengenai seluruh tugas atau domain yang termasuk dalam rilis awal.

Mengapa evaluasi proses penting bagi AI otonom?

Sistem AI semakin banyak digunakan—atau diusulkan—untuk menghasilkan hipotesis, memilih arah penelitian, menganalisis hasil eksperimen, dan membantu merancang alur kerja berulang. Dalam konteks seperti ini, kemampuan menghasilkan teks yang lancar tidaklah cukup. Sistem harus mengetahui apa yang perlu diuji, memahami hasil yang diperoleh, memulihkan diri dari kesalahan, dan menghindari klaim yang melampaui dukungan buktinya.

TRACES mencoba mengisi celah tersebut dengan memperlakukan penelitian ilmiah sebagai proses interaktif. Solver yang mencapai hasil berguna melalui bukti yang dapat ditelusuri dan revisi yang tepat jelas berbeda dari solver yang menghasilkan kesimpulan serupa tanpa jalur penalaran yang kuat.

Namun, pendekatan ini tidak menghapus kebutuhan akan pengawasan manusia. Peneliti dan pakar bidang tetap perlu menetapkan tujuan serta batasan, menilai risiko etis dan praktis, memvalidasi asumsi dan bukti, serta memutuskan apakah suatu kesimpulan cukup kuat untuk dijadikan dasar tindakan di dunia nyata. Penekanan TRACES pada lintasan investigasi yang dapat diperiksa dan klaim yang terukur justru penting karena memberi penilai lebih banyak hal untuk ditinjau daripada sekadar pernyataan akhir yang sulit diaudit.

Bagaimana tim dapat berpartisipasi?

Pengumuman publik Apodex menyebutkan ajakan terbuka untuk mengirimkan sistem solver maupun masalah ilmiah.

Pengajuan solver harus merepresentasikan sistem lengkap yang digunakan untuk menyelidiki suatu tugas, bukan hanya model dasarnya. Komponennya mencakup model, harness atau lapisan orkestrasi, alat, memori, dan kebijakan kontrol yang mengatur investigasi.

Sementara itu, usulan masalah perlu dapat dituangkan ke dalam lingkungan yang bisa dieksekusi dan diverifikasi. Artinya, pengusul harus mendefinisikan apa yang dapat diamati dan dilakukan solver, umpan balik yang diterimanya, serta cara memeriksa klaim antara maupun klaim akhir berdasarkan kriteria keberhasilan yang jelas.

Kesimpulan

TRACES mengubah pertanyaan utama dalam benchmark AI dari “Apakah AI memberikan jawaban yang diharapkan?” menjadi “Apakah AI menjalankan investigasi yang disiplin dan berlandaskan bukti?”

Pendekatan ini lebih dekat dengan kebutuhan penemuan ilmiah dibandingkan pengujian statis berbasis kunci jawaban. Namun, ada batasan penting: skor proses dapat memperbaiki cara AI dievaluasi, tetapi tidak dengan sendirinya membuktikan bahwa sebuah penemuan yang dihasilkan AI aman, bermanfaat, atau siap diterapkan. Penilaian ilmiah oleh manusia tetap tidak tergantikan.