FlashProve är Anthropics prototyp med öppen källkod för verifierbar inferens: en leverantör binder sig kryptografiskt till en uppsättning modellvikter och skapar sedan ett bevis för att vissa svarstoken uppfyller en överenskommen regel under just de vikterna. Klienten kan kontrollera beviset utan att få se vikterna. Den viktiga reservationen är att FlashProve bevisar ett avgränsat påstående om token – inte att modellen är säker, att alla detaljer i driften varit korrekta eller att varje sorts slumpmässigt genererat svar har skapats på det utlovade sättet.
10
29
Vad FlashProve kan – och inte kan – visa
Ett verifierat svar kan knytas till en viss viktbindning i stället för att man enbart litar på tjänstens namn på modellen. Det skulle kunna avslöja om en annan modell satts in och göra vissa försök att kapa en chatt svårare: ett svar som inte godkänns mot den förväntade viktbindningen kan avvisas. Anthropic lyfter också fram användning vid säkerhetsutvärderingar: att kontrollera att modellen som testas är densamma som senare erbjuds kunder.
10
40
Det förutsätter att klienten vet vilken viktbindning den ska lita på. Beviset kontrolleras mot den angivna bindningen och de offentliga filer som hör till verifieringen; i sig visar det inte att bindningen verkligen tillhör den modell som leverantören säger sig erbjuda. Och en verifierad modellidentitet är ingen säkerhetscertifiering: även en äkta modell kan ge skadliga eller felaktiga svar.
30
32
Två faser: bind vikterna en gång, bevisa svaren löpande
1. Bindning i förväg. Leverantören kör FlashProves bindningsprogram på modellvikterna och publicerar material för verifiering. Bindningen innehåller ett fingeravtryck på 32 byte, kallat bindnings-ID, som knyter beviset till en bestämd uppsättning vikter. Själva vikterna hålls hemliga.
30
39
2. Bevis för svaret. För varje svar skapar leverantören ett bevis för att de kontrollerade tokenen uppfyller en godkännanderegel under de bundna vikterna. FlashProves standardregel, exakt matchning, kräver att varje kontrollerad token är modellens giriga val – alltså den token modellen bedömer som mest sannolik i det läget. Det dokumenterade alternativet clipped gap kontrollerar om tokenpoängen ligger inom en godkänd poängskillnad. Det är ett annat påstående än att bevisa att tokenen samplades ärligt från en angiven slumpfördelning.
20
32
3. Klienten verifierar. Klienten kontrollerar beviset mot det förväntade bindnings-ID:t och tillhörande offentliga filer, samt mot förfrågan, tokenpåståendet och den valda regeln. Verifieringen körs på en CPU och kräver varken tillgång till de hemliga vikterna eller en GPU.
29
30
34
Det är därför upplägget kan vara intressant för leverantörer av slutna modeller: de kan erbjuda ett sätt att kontrollera ett påstående om inferensen utan att lämna ut modellparametrarna. Det är en möjlig användning – inte ett belägg för att en kommersiell tjänst har infört FlashProve.
16
29
Vad demonstrationen med Llama 4 Maverick visade
FlashProve demonstrerades med Metas Llama 4 Maverick, en mixture-of-experts-modell med omkring 400 miljarder parametrar. Prestandasiffrorna behöver sättas i sitt sammanhang: genomströmningen uppmättes över en bunt förfrågningar, inte i en enskild användares chatt.
3
7
- Bevisgenerering: Cirka 110 token per sekund på en Nvidia H100, för en bunt med 24 förfrågningar som var och en hade ett fönster på 1 024 token. Hela bunten tog omkring 223 sekunder.
1
7
- Bevisstorlek: Cirka 18,78 MB – ofta avrundat till 19 MB – för varje förfrågan på 1 024 token.
1
7
- Verifiering: Cirka 17 sekunder på en CPU med 24 trådar i det rapporterade testet; en körning med en tråd tog omkring 21 sekunder.
1
19
- Förberedande bindning: Den rapporterade engångsfasen tog cirka 39 minuter. Det publicerade bindningsmaterialet var ungefär 6,5 MB.
7
13
Kodförrådet innehåller också en verifierare i Lean och maskinellt kontrollerade resultat om korrekthet. Men omfattningen spelar roll: det dokumenterade korrekthetsresultatet gäller Lean-verifieraren och påståenden om exakt matchning under angivna antaganden. Regeln clipped gap stöder ett snävare påstående. Det innebär inte att samma garanti täcker varje implementation, driftsättning eller avkodningsmetod.
32
33
Avvägningar och begränsningar
Bevisgenereringen är dyr. I det rapporterade testet krävde arbetet med att skapa bevis ungefär 70–95 gånger så mycket GPU-tid som vanlig inferens med vLLM. Det är en betydande merkostnad för ett system som ska kunna lägga till ett bevis till svar.
1
8
Det demonstrerade kontextfönstret är kort. Kodförrådet anger ett fönster på 1 024 token för demonstrationen med den fullstora modellen. Resultatet visar alltså inte att längre kontexter stöds.
23
Genomströmning i bunt säger inte allt om väntetiden. Den uppmärksammade takten är den sammanlagda genomströmningen för en bunt med 24 förfrågningar, som tog omkring 223 sekunder att behandla. I en tjänst kan väntan på att samla ihop en bunt dessutom förlänga tiden innan användaren får svar.
1
Garantin beror på hur svaret avkodas. Exakt matchning kontrollerar modellens giriga val. Alternativet clipped gap bevisar inte att svarstoken samplades ärligt från en viss slumpfördelning. Ingen av reglerna bevisar att svaret är säkert, sant eller användbart.
20
32
Vem utvecklade FlashProve – och vad har släppts?
Anthropics Frontier Red Team utvecklade FlashProve tillsammans med samarbetspartner från EPFL, MIT och StarkWare. Bland de namngivna författarna finns Anthropic-forskarna Roy Rinberg och Alex Allain samt kryptografen Alessandro Chiesa, tillsammans med andra medarbetare.
10
31
Koden har släppts under licensen Apache 2.0. Men kodförrådet beskriver FlashProve som en forskningsartefakt som inte underhålls och inte tar emot bidrag. En öppen källkodslicens ska alltså inte förväxlas med en inbjudan att skicka in ändringar till projektet.
21
31
35
Enligt rapportering har Anthropic inga planer på att införa FlashProve, vare sig hos Anthropic eller någon annanstans. Tillsammans med beskedet om att projektet inte underhålls beskriver det FlashProve som en forskningsprototyp för att utforska verifierbar inferens – inte som en färdig produkt eller en produktionslösning med löpande stöd.
15
35