FlashProve adalah prototipe sumber terbuka Anthropic untuk inferensi yang dapat dibuktikan. Penyedia model lebih dulu membuat komitmen kriptografis atas bobot model, lalu menghasilkan bukti bahwa token jawaban yang diperiksa memenuhi aturan yang disepakati berdasarkan bobot tersebut. Pengguna dapat memeriksa bukti tanpa melihat bobot modelnya.
10
29
Yang penting, FlashProve membuktikan klaim tertentu pada tingkat token—bukan bahwa model aman, semua detail penyajian model berlangsung dengan jujur, atau setiap jenis keluaran hasil sampling dibuat persis seperti yang diklaim.
10
29
Apa yang bisa dibuktikan FlashProve?
Bukti yang lolos verifikasi dapat dikaitkan dengan komitmen bobot tertentu, bukan hanya mengandalkan label nama model yang ditampilkan sebuah layanan. Hal ini berpotensi membantu mengungkap penggantian model dan mempersulit sebagian upaya pembajakan percakapan: jawaban yang tidak cocok dengan komitmen yang diharapkan dapat ditolak. Anthropic juga menyebut penggunaan untuk evaluasi keselamatan, yakni memeriksa bahwa model yang diuji sama dengan model yang kemudian disajikan kepada pelanggan.
10
40
Namun, manfaat itu bergantung pada kemampuan pengguna mengetahui komitmen mana yang layak dipercaya. Bukti hanya diperiksa terhadap komitmen dan berkas publik yang disediakan untuk verifikasi; dengan sendirinya, bukti itu tidak memastikan bahwa komitmen tersebut benar-benar terkait dengan model yang diiklankan penyedia. Membuktikan identitas model juga bukan sertifikasi keselamatan: model yang autentik tetap bisa memberikan jawaban keliru atau berbahaya.
30
32
Dua tahap: komitmen sekali, bukti untuk setiap jawaban
1. Komitmen luring. Penyedia menjalankan program komitmen FlashProve pada bobot model, lalu menerbitkan bahan komitmen. Komitmen ini memuat sidik jari 32 byte yang disebut ID komitmen dan mengikat bukti pada satu set bobot tertentu. Bobot modelnya sendiri tetap dirahasiakan.
30
39
2. Bukti daring. Untuk setiap jawaban, penyedia membuat bukti bahwa token yang diperiksa memenuhi kebijakan penerimaan berdasarkan bobot yang telah dikomitmenkan. Kebijakan bawaan exact-match mensyaratkan setiap token yang diperiksa merupakan pilihan greedy model—yakni token dengan skor tertinggi pada langkah tersebut. Alternatif clipped-gap yang didokumentasikan memeriksa apakah skor token memenuhi aturan selisih skor tertentu. Ini berbeda dari membuktikan bahwa token diambil secara jujur dari distribusi acak yang telah ditentukan.
20
32
3. Verifikasi oleh pengguna. Pengguna memeriksa bukti dengan mencocokkannya terhadap ID komitmen yang diharapkan dan berkas komitmen publik terkait, serta permintaan, klaim token, dan kebijakan yang digunakan. Verifikasinya berjalan di CPU, tanpa perlu akses ke bobot privat atau GPU.
29
30
34
Pemisahan ini membuat FlashProve berpotensi relevan bagi penyedia model tertutup: mereka dapat menawarkan cara untuk memeriksa klaim inferensi tanpa memberikan parameter model kepada pengguna. Namun, ini adalah kemungkinan penggunaan, bukan bukti bahwa layanan komersial telah menerapkan FlashProve.
16
29
Apa yang ditunjukkan demonstrasi Llama 4 Maverick?
FlashProve didemonstrasikan pada Llama 4 Maverick milik Meta, model mixture-of-experts dengan sekitar 400 miliar parameter. Angka kinerjanya perlu dibaca dengan konteks: throughput tersebut diukur pada sekumpulan permintaan, bukan aliran percakapan satu pengguna.
3
7
- Throughput pembuatan bukti: Sekitar 110 token per detik pada satu Nvidia H100 untuk kumpulan 24 permintaan, masing-masing dengan jendela 1.024 token. Pemrosesan kumpulan itu memakan waktu sekitar 223 detik.
1
7
- Ukuran bukti: Sekitar 18,78 MB—biasanya dibulatkan menjadi 19 MB—untuk setiap permintaan 1.024 token.
1
7
- Verifikasi: Sekitar 17 detik pada CPU 24-thread dalam tolok ukur yang dilaporkan; proses dengan satu thread memakan waktu sekitar 21 detik.
1
19
- Penyiapan komitmen: Tahap komitmen satu kali yang dilaporkan memakan waktu sekitar 39 menit; bahan komitmen yang diterbitkan berukuran kira-kira 6,5 MB.
7
13
Repositori FlashProve juga menyertakan verifikator Lean dan hasil soundness yang diperiksa mesin. Namun, cakupan klaimnya terbatas: soundness yang didokumentasikan berlaku untuk verifikator Lean dan klaim exact-match dengan asumsi yang disebutkan. Kebijakan clipped-gap mendukung klaim yang lebih sempit. Ini bukan bukti bahwa semua implementasi, penerapan, atau mode decoding tercakup oleh jaminan yang sama.
32
33
Biaya dan batasan yang perlu diperhatikan
Pembuatan bukti membutuhkan komputasi besar. Beban kerja yang dilaporkan menggunakan sekitar 70–95 kali waktu GPU dibandingkan inferensi biasa dengan vLLM. Itu merupakan tambahan biaya yang signifikan untuk sistem yang dirancang agar jawaban disertai bukti.
1
8
Jendela demonstrasinya terbatas. Repositori menyebut jendela konteks 1.024 token untuk demonstrasi model ukuran penuh. Hasil tersebut tidak membuktikan dukungan untuk konteks yang lebih panjang.
23
Throughput kumpulan tidak sama dengan kecepatan respons satu pengguna. Angka utama merupakan throughput gabungan untuk 24 permintaan, yang memerlukan sekitar 223 detik untuk diproses. Dalam layanan nyata, waktu menunggu hingga kumpulan permintaan terkumpul dapat menambah latensi pengguna.
1
Jaminan decoding berlaku untuk aturan tertentu. Exact-match memeriksa pilihan greedy. Opsi clipped-gap bukan bukti bahwa token keluaran diambil secara jujur dari distribusi sampling acak tertentu. Kedua kebijakan itu juga tidak membuktikan bahwa jawaban model aman, benar, atau berguna.
20
32
Siapa yang mengembangkan FlashProve, dan bagaimana status rilisnya?
FlashProve dikembangkan oleh Frontier Red Team Anthropic bersama kolaborator dari EPFL, MIT, dan StarkWare. Daftar penulis mencakup peneliti Anthropic Roy Rinberg dan Alex Allain, serta kriptografer Alessandro Chiesa dan kolaborator lainnya.
10
31
Kodenya dirilis dengan lisensi Apache 2.0. Namun, repositorinya menyebut FlashProve sebagai artefak riset yang tidak dipelihara dan tidak menerima kontribusi. Jadi, lisensi sumber terbuka itu tidak berarti proyeknya menerima kiriman perubahan dari publik.
21
31
35
Laporan menyebut Anthropic tidak berencana menerapkan FlashProve di Anthropic maupun di tempat lain. Jika digabungkan dengan keterangan pemeliharaan di repositori, statusnya lebih tepat dipahami sebagai prototipe riset untuk mengeksplorasi inferensi yang dapat diverifikasi—bukan produk jadi atau layanan produksi yang didukung.
15
35