FlashProve, Anthropic’in kanıtlanabilir çıkarım (provable inference) için geliştirdiği açık kaynaklı bir araştırma prototipi. Sistem, önce belirli bir model ağırlıkları kümesine kriptografik bir taahhüt oluşturuyor; ardından yanıt token’larının bu ağırlıklar altında kararlaştırılmış bir kurala uyduğunu gösteren bir kanıt üretiyor. İstemci, model ağırlıklarını görmeden bu kanıtı kontrol edebiliyor. Önemli sınır şu: FlashProve, tanımlanmış token düzeyindeki bir iddiayı kanıtlıyor; modelin güvenli olduğunu, hizmetin tüm çalışma sürecinin dürüst yürütüldüğünü ya da örneklemeyle üretilmiş her yanıtın iddia edildiği şekilde oluşturulduğunu değil.
10
29
Neyi doğrulayabilir, neyi doğrulayamaz?
FlashProve ile yanıt, yalnızca hizmetin model adına güvenmek yerine belirli bir ağırlık taahhüdüyle eşleştirilebilir. Böylece başka bir modelin kullanılması daha kolay fark edilebilir; beklenen taahhütle doğrulanmayan yanıt reddedilebilir. Bu yaklaşım, bazı sohbet ele geçirme girişimlerini zorlaştırabilir. Anthropic ayrıca, güvenlik değerlendirmesinde test edilen modelle müşterilere sunulan modelin aynı olup olmadığını kontrol etme olasılığına da dikkat çekiyor.
10
40
Fakat istemcinin hangi taahhüde güveneceğini bilmesi gerekir. Kanıt, doğrulama için sunulan taahhüt ve açık dosyalar üzerinden kontrol edilir; bu taahhüdün gerçekten sağlayıcının tanıttığı modele ait olduğunu tek başına kanıtlamaz. Model kimliğini doğrulamak da güvenlik sertifikası anlamına gelmez: özgün model yine de zararlı ya da yanlış yanıtlar üretebilir.
30
32
İki aşamalı çalışma biçimi
1. Çevrimdışı taahhüt: Sağlayıcı, model ağırlıkları üzerinde FlashProve’un taahhüt aracını çalıştırır ve doğrulama materyalini yayımlar. Taahhüt, belirli bir ağırlık kümesine bağlanan 32 baytlık bir parmak izi, yani “taahhüt kimliği” içerir. Ağırlıkların kendisi gizli kalır.
30
39
2. Yanıt için çevrimiçi kanıt: Sağlayıcı, yanıtın kontrol edilen token’larının bu ağırlıklar altında kabul edilen bir kurala uyduğunu gösteren kanıt üretir. Varsayılan exact-match kuralı, kontrol edilen her token’ın modelin en yüksek puan verdiği seçeneği, yani greedy seçimini, kullanmasını gerektirir. Belgelenen clipped-gap seçeneği ise token puanlarının kabul edilen bir puan farkı kuralına uyup uymadığını denetler. Bu, token’ların belirli bir rastgele dağılımdan dürüstçe örneklendiğini kanıtlamakla aynı şey değildir.
20
32
3. İstemcinin doğrulaması: İstemci, kanıtı beklenen taahhüt kimliği ve ilgili açık taahhüt dosyalarıyla birlikte; istek, token iddiası ve seçilen kurala göre kontrol eder. Doğrulayıcı CPU üzerinde çalışır; gizli ağırlıklara veya GPU’ya ihtiyaç duymaz.
29
30
34
Bu ayrım, FlashProve’u kapalı model sağlayıcıları için potansiyel olarak kullanışlı kılıyor: sağlayıcılar, model parametrelerini müşterilere vermeden çıkarıma ilişkin bir iddianın kontrol edilmesini sağlayabilir. Bu olası bir kullanım alanı; ticari bir hizmetin FlashProve’u devreye aldığına dair kanıt değil.
16
29
Llama 4 Maverick testinde bildirilen sonuçlar
FlashProve, Meta’nın yaklaşık 400 milyar parametreli, uzman karışımlı (mixture-of-experts) Llama 4 Maverick modeli üzerinde gösterildi. Performans rakamlarını değerlendirirken, ölçümün tek bir kullanıcının sohbet akışında değil, bir istek grubu üzerinde yapıldığını unutmamak gerekiyor.
3
7
- Kanıt üretim hızı: Tek bir Nvidia H100 üzerinde, her biri 1.024 token’lık pencere kullanan 24 isteklik grup için saniyede yaklaşık 110 token. Grubun tamamlanması yaklaşık 223 saniye sürdü.
1
7
- Kanıt boyutu: 1.024 token’lık istek başına yaklaşık 18,78 MB; genellikle 19 MB olarak yuvarlanıyor.
1
7
- Doğrulama süresi: Bildirilen testte 24 iş parçacıklı CPU’da yaklaşık 17 saniye; tek iş parçacığında yaklaşık 21 saniye.
1
19
- İlk taahhüt işlemi: Bir defalık çevrimdışı aşama yaklaşık 39 dakika sürdü; yayımlanan taahhüt materyali yaklaşık 6,5 MB’tı.
7
13
Depoda ayrıca Lean ile yazılmış bir doğrulayıcı ve makine tarafından denetlenmiş tutarlılık sonuçları bulunuyor. Ancak bu garantinin kapsamı önemli: belgelenen soundness (yanlış iddiaları kabul etmeme) sonucu, belirtilen varsayımlar altında Lean doğrulayıcısı ve exact-match iddiaları için geçerli. Clipped-gap kuralı daha sınırlı bir iddiayı destekliyor. Bu sonuç, her uygulamanın, dağıtım biçiminin ya da çözümleme yönteminin aynı güvence altında olduğu anlamına gelmiyor.
32
33
Başlıca maliyetler ve sınırlar
Kanıt üretmek pahalı. Bildirilen iş yükünde kanıt üretimi, sıradan vLLM çıkarımına kıyasla GPU süresinin yaklaşık 70–95 katını gerektiriyor. Yanıtlara doğrulama kanıtı eklemeyi amaçlayan bir sistem için bu önemli bir ek maliyet.
1
8
Gösterilen bağlam penceresi kısa. Tam boyutlu model demosu için depoda 1.024 token’lık bağlam penceresi belirtiliyor. Bu sonuç, daha uzun bağlamlarda da çalıştığını göstermiyor.
23
Toplu işlem, bekleme süresini gizleyebilir. Öne çıkan hız, 223 saniyede işlenen 24 istekten oluşan bir grubun toplam hızıdır. Bir hizmette grubu oluşturmak için beklemek, kullanıcının yanıt gecikmesini daha da artırabilir.
1
Doğrulanan üretim biçimi belli. Exact-match, modelin greedy seçimlerini kontrol eder. Clipped-gap seçeneği ise çıktı token’larının belirli bir rastgele örnekleme dağılımından dürüstçe çekildiğini kanıtlamaz. İki kural da yanıtın güvenli, doğru veya yararlı olduğunu göstermez.
20
32
Geliştiriciler, lisans ve projenin durumu
FlashProve’u Anthropic’in Frontier Red Team ekibi, EPFL, MIT ve StarkWare’den araştırmacılarla birlikte geliştirdi. Listelenen yazarlar arasında Anthropic araştırmacıları Roy Rinberg ve Alex Allain’in yanı sıra kriptografi araştırmacısı Alessandro Chiesa ve diğer katkıda bulunanlar yer alıyor.
10
31
Kod Apache 2.0 lisansıyla yayımlandı. Ancak GitHub deposu FlashProve’u bakımı yapılmayan ve katkı kabul etmeyen bir araştırma ürünü olarak tanımlıyor. Açık kaynak lisansı, projeye değişiklik önerilerinin kabul edildiği anlamına gelmiyor.
21
31
35
Haberlere göre Anthropic, FlashProve’u kendi bünyesinde ya da başka bir yerde kullanıma sunmayı planlamıyor. Depodaki bakım notuyla birlikte değerlendirildiğinde bu tablo, FlashProve’un desteklenen bir üretim hizmeti veya tamamlanmış ürün değil, doğrulanabilir çıkarımı araştırmaya yönelik bir prototip olduğunu gösteriyor.
15
35