FlashProve ialah prototaip sumber terbuka Anthropic untuk inferens yang boleh dibuktikan. Penyedia model terlebih dahulu membuat komitmen kriptografi terhadap satu set pemberat model, kemudian menghasilkan bukti bahawa token respons yang ditetapkan memenuhi peraturan yang dipersetujui di bawah pemberat tersebut. Pengguna boleh menyemak bukti itu tanpa melihat pemberat model. Namun, skopnya khusus: FlashProve membuktikan dakwaan pada peringkat token yang telah ditakrifkan—bukan bahawa model itu selamat, setiap aspek penyampaian model dilakukan dengan jujur, atau semua jenis output yang disampel dijana seperti yang didakwa.
10
29
Apa yang boleh dan tidak boleh dibuktikan oleh FlashProve
Respons yang disahkan boleh dikaitkan dengan komitmen pemberat tertentu, bukan sekadar bergantung pada nama model yang dipaparkan oleh sesuatu perkhidmatan. Ini berpotensi membantu mengesan penggantian model dan menyukarkan sesetengah cubaan merampas atau mengubah hala perbualan: respons yang tidak sepadan dengan komitmen yang dijangka boleh ditolak. Anthropic turut menyebut kegunaan dalam penilaian keselamatan—untuk menyemak sama ada model yang diuji ialah model yang sama dengan model yang kemudian disediakan kepada pelanggan.
10
40
Namun, pengguna perlu tahu komitmen mana yang patut dipercayai. Bukti hanya disemak terhadap komitmen dan fail awam yang diberikan untuk pengesahan; dengan sendirinya, ia tidak membuktikan bahawa sesuatu komitmen benar-benar milik model yang diiklankan oleh penyedia. Mengesahkan identiti model juga bukan pensijilan keselamatan: model yang sah tetap boleh memberikan jawapan berbahaya atau tidak tepat.
30
32
Dua fasa: buat komitmen sekali, buktikan setiap respons
1. Komitmen luar talian. Penyedia menjalankan alat pembuat komitmen FlashProve pada pemberat model dan menerbitkan bahan komitmen. Komitmen itu merangkumi cap jari 32 bait yang dipanggil ID komitmen, yang mengikat bukti kepada satu set pemberat tertentu. Pemberat model itu sendiri kekal sulit.
30
39
2. Bukti dalam talian. Bagi setiap respons, penyedia menghasilkan bukti bahawa token yang disemak memenuhi dasar penerimaan di bawah pemberat yang telah dikomitkan. Dasar lalai padanan tepat mensyaratkan setiap token yang diperiksa ialah pilihan tamak (greedy choice) model. Pilihan lain yang didokumenkan, jurang terhad (clipped-gap), menyemak sama ada skor token memenuhi peraturan jurang skor yang diterima. Ini bukan dakwaan yang sama dengan membuktikan bahawa token disampel secara jujur daripada taburan rawak tertentu.
20
32
3. Pengesahan oleh pengguna. Pengguna menyemak bukti menggunakan ID komitmen yang dijangka dan fail komitmen awam berkaitan, bersama permintaan, dakwaan tentang token dan dasar yang hendak disemak. Pengesah berjalan pada CPU; ia tidak memerlukan akses kepada pemberat sulit atau GPU.
29
30
34
Pemisahan ini menjadikan reka bentuk tersebut berpotensi berguna kepada penyedia model tertutup: mereka boleh menawarkan cara untuk menyemak dakwaan inferens tanpa menyerahkan parameter model kepada pengguna. Itu ialah kemungkinan penggunaan, bukannya bukti bahawa perkhidmatan komersial telah menggunakan FlashProve.
16
29
Apa yang ditunjukkan oleh demonstrasi Llama 4 Maverick
FlashProve diuji menggunakan Llama 4 Maverick Meta, model mixture-of-experts dengan kira-kira 400 bilion parameter. Angka prestasi yang dilaporkan perlu dilihat dalam konteks: kadar pemprosesan itu dicapai pada sekumpulan permintaan, bukan dalam aliran sembang seorang pengguna.
3
7
- Kadar pembuktian: Kira-kira 110 token sesaat menggunakan satu Nvidia H100 untuk sekumpulan 24 permintaan, setiap satunya dengan tetingkap 1,024 token. Pemprosesan kumpulan itu mengambil kira-kira 223 saat.
1
7
- Saiz bukti: Kira-kira 18.78 MB—lazimnya dibundarkan kepada 19 MB—bagi setiap permintaan 1,024 token.
1
7
- Pengesahan: Kira-kira 17 saat pada CPU 24 bebenang dalam penanda aras yang dilaporkan; larian menggunakan satu bebenang mengambil kira-kira 21 saat.
1
19
- Persediaan komitmen: Fasa komitmen sekali sahaja dilaporkan mengambil kira-kira 39 minit; bahan komitmen yang diterbitkan bersaiz lebih kurang 6.5 MB.
7
13
Repositori ini turut menyertakan pengesah Lean dan hasil kesahihan yang disemak mesin, tetapi skopnya penting. Dakwaan kesahihan yang didokumenkan meliputi pengesah Lean dan dakwaan padanan tepat di bawah andaian yang dinyatakan; dasar jurang terhad menyokong dakwaan yang lebih sempit. Ini tidak bermakna setiap pelaksanaan, penggunaan atau mod penyahkodan dilindungi oleh jaminan yang sama.
32
33
Kos dan batasan yang perlu diketahui
Penjanaan bukti mahal. Beban kerja pembuktian yang dilaporkan menggunakan kira-kira 70 hingga 95 kali masa GPU berbanding inferens vLLM biasa. Itu ialah kos tambahan yang besar bagi sistem yang bertujuan melampirkan bukti pada respons.
1
8
Tetingkap demonstrasi pendek. Repositori menyatakan bahawa demonstrasi model bersaiz penuh menggunakan tetingkap konteks 1,024 token. Hasil ini tidak membuktikan sokongan untuk konteks yang lebih panjang.
23
Kadar kelompok tidak sama dengan masa menunggu pengguna. Angka utama ialah kadar keseluruhan bagi kumpulan 24 permintaan yang mengambil kira-kira 223 saat untuk diproses. Dalam perkhidmatan sebenar, masa menunggu untuk mengumpulkan permintaan bagi membentuk satu kelompok boleh menambah lagi kependaman.
1
Jaminan penyahkodan ada hadnya. Padanan tepat menyemak pilihan tamak model. Pilihan jurang terhad pula bukan bukti bahawa token output diambil secara jujur daripada taburan pensampelan rawak tertentu. Kedua-dua dasar tidak membuktikan bahawa jawapan model selamat, benar atau berguna.
20
32
Siapa yang membangunkannya, dan apakah statusnya?
Pasukan Frontier Red Team Anthropic membangunkan FlashProve bersama rakan kerjasama dari EPFL, MIT dan StarkWare. Antara penulis yang disenaraikan ialah penyelidik Anthropic Roy Rinberg dan Alex Allain, serta ahli kriptografi Alessandro Chiesa, bersama beberapa rakan penyelidik lain.
10
31
Kodnya dikeluarkan di bawah lesen Apache 2.0. Namun, repositori melabelkan FlashProve sebagai artifak penyelidikan yang tidak diselenggara dan tidak menerima sumbangan. Lesen sumber terbuka tidak bermakna projek ini sedang menerima perubahan daripada penyumbang.
21
31
35
Laporan menyatakan Anthropic tidak bercadang untuk menggunakan FlashProve di Anthropic atau di tempat lain. Bersama-sama notis penyelenggaraan dalam repositori, hal ini menunjukkan FlashProve ialah prototaip penyelidikan untuk meneroka inferens yang boleh disahkan—bukan produk siap atau perkhidmatan produksi yang disokong.
15
35