AI Terbaik untuk Matematika? Gemini Memimpin AIME, tapi Bukan Jawaban Tunggal

Catatan penting: benchmark publik bisa tercemar

AIME adalah sinyal yang berguna, tetapi bukan ujian yang benar-benar tertutup. Vals AI mencatat bahwa pertanyaan dan jawaban AIME tersedia untuk publik, sehingga ada risiko model pernah melihatnya saat pretraining.

Vals AI juga melaporkan bahwa model cenderung lebih baik pada soal 2024 yang lebih lama dibanding set 2025 yang lebih baru; ini menimbulkan pertanyaan tentang kontaminasi data dan generalisasi yang sebenarnya. Artinya, skor AIME yang nyaris sempurna adalah sinyal kuat, tetapi bukan jaminan model akan sama andalnya pada soal baru, privat, atau tidak biasa.

Cara memilih berdasarkan kebutuhan

Uji kecil sendiri lebih berguna daripada hanya melihat leaderboard

Untuk belajar, tutoring, latihan lomba, atau workflow kuantitatif, gunakan leaderboard sebagai saringan awal, bukan keputusan final. Setelah itu, jalankan evaluasi sederhana:

1. Berikan soal baru yang sama ke tiap model.
2. Minta jawaban akhir sekaligus penurunan langkah demi langkah.
3. Jika cocok, minta verifikasi lewat substitusi, metode alternatif, atau pemeriksaan numerik.
4. Catat penalaran yang keliru, bukan hanya jawaban akhir yang salah.
5. Pilih model yang akurat, mudah dipahami, dan konsisten pada jenis soal Anda.

Ini penting karena kebutuhan matematika tidak selalu sama. Model yang sangat kuat untuk soal kompetisi berjawaban singkat belum tentu paling pas untuk mengajar konsep, manipulasi simbolik, pembuktian panjang, atau pekerjaan kuantitatif berbasis kode.

Kesimpulan

Untuk benchmark matematika bergaya AIME, Gemini 3.1 Pro Preview adalah pilihan paling jelas dalam daftar Vals AI, dengan akurasi 98,13%. Untuk pertanyaan yang lebih luas, yaitu AI terbaik untuk matematika, bukti yang tersedia tidak menunjuk satu pemenang universal: model terdepan sudah berdekatan di benchmark kompetisi, peringkat bisa berubah antar-leaderboard, dan data AIME yang publik membuat uji dengan soal segar tetap penting sebelum terlalu percaya pada satu angka.