FlashProve is het open-sourceprototype van Anthropic voor controleerbare AI-inferentie: een aanbieder legt eenmalig vast op welke modelgewichten hij zich beroept en kan daarna cryptografisch bewijzen dat bepaalde antwoordtokens aan een afgesproken regel voldoen. Een gebruiker kan dat bewijs controleren zonder de gewichten zelf te zien. De belangrijke kanttekening: FlashProve bewijst een afgebakende uitspraak over tokens. Het bewijst niet dat een model veilig is, dat elke stap in de dienstverlening eerlijk verliep of dat ieder type willekeurig gegenereerd antwoord precies zo tot stand kwam als beweerd.
10
29
Wat FlashProve wel en niet aantoont
Een gecontroleerd antwoord kan worden gekoppeld aan een specifieke vastlegging van modelgewichten. Dat biedt meer houvast dan alleen de modelnaam die een dienst bij een antwoord vermeldt. Het kan helpen om modelvervanging te signaleren en sommige pogingen tot het kapen van een chat lastiger te maken: een antwoord dat niet overeenkomt met de verwachte vastlegging, kan worden afgewezen. Anthropic noemt ook een mogelijke toepassing bij veiligheidstests: controleren of het model dat wordt getest hetzelfde is als het model dat later aan klanten wordt aangeboden.
10
40
Daarvoor moet de gebruiker wel weten welke vastlegging te vertrouwen is. Het bewijs wordt gecontroleerd aan de hand van de opgegeven vastlegging en bijbehorende openbare bestanden; op zichzelf bewijst het niet dat die vastlegging echt hoort bij het model dat een aanbieder zegt te gebruiken. En modelidentiteit is geen veiligheidscertificaat: ook een authentiek model kan schadelijke of onjuiste antwoorden geven.
30
32
Twee stappen: eerst vastleggen, daarna bewijzen
1. Eenmalige voorbereiding. De aanbieder voert FlashProve uit op de modelgewichten en publiceert materiaal waarmee de vastlegging kan worden gecontroleerd. Die bevat een vingerafdruk van 32 bytes, de zogeheten commitment ID. Zo wordt het bewijs aan een specifieke set gewichten gebonden, terwijl de gewichten zelf geheim blijven.
30
39
2. Bewijs per antwoord. Voor een antwoord maakt de aanbieder een bewijs dat de gecontroleerde tokens onder die vastgelegde gewichten aan een gekozen acceptatieregel voldoen. De standaardregel, exact match, vereist dat elke gecontroleerde token de keuze is die het model volgens een hebzuchtige (greedy) decodeermethode zou maken. De gedocumenteerde optie clipped gap controleert of tokenscores binnen een toegestane marge vallen. Dat is iets anders dan bewijzen dat tokens eerlijk zijn getrokken uit een opgegeven willekeurige verdeling.
20
32
3. Controle door de gebruiker. De gebruiker controleert het bewijs met de verwachte commitment-ID en de bijbehorende openbare bestanden, plus de aanvraag, de tokenclaim en de gekozen acceptatieregel. De controle draait op een CPU; daarvoor zijn de geheime modelgewichten of een GPU niet nodig.
29
30
34
Juist die scheiding kan interessant zijn voor aanbieders van gesloten modellen: zij kunnen een manier bieden om een claim over een antwoord te controleren zonder hun modelparameters aan klanten te geven. Dat is een mogelijke toepassing, geen bewijs dat een commerciële dienst FlashProve al gebruikt.
16
29
Wat de demonstratie met Llama 4 Maverick liet zien
FlashProve werd getest met Meta’s Llama 4 Maverick, een mixture-of-expertsmodel met ongeveer 400 miljard parameters. De gerapporteerde snelheden vragen om context: de doorvoer werd gemeten over een batch verzoeken, niet tijdens één individuele chatsessie.
3
7
- Bewijssnelheid: ongeveer 110 tokens per seconde op één Nvidia H100, bij een batch van 24 verzoeken met elk een venster van 1.024 tokens. De batch duurde ongeveer 223 seconden.
1
7
- Bewijsgrootte: circa 18,78 MB — vaak afgerond tot 19 MB — per verzoek van 1.024 tokens.
1
7
- Controle: ongeveer 17 seconden op een CPU met 24 threads in de gerapporteerde benchmark; met één thread duurde het ongeveer 21 seconden.
1
19
- Eenmalige voorbereiding: de commitmentfase duurde volgens de benchmark ongeveer 39 minuten. Het gepubliceerde commitmentmateriaal was ongeveer 6,5 MB groot.
7
13
De repository bevat ook een Lean-verifier en machinaal gecontroleerde resultaten over soundness, oftewel de eigenschap dat een onjuist bewijs niet zomaar wordt geaccepteerd. De reikwijdte doet ertoe: de gedocumenteerde soundnessclaim betreft de Lean-verifier en exact-matchclaims onder bepaalde aannames. Voor clipped-gap geldt een beperktere claim. Dat is geen garantie dat elke implementatie, uitrol of decodeermethode onder dezelfde formele onderbouwing valt.
32
33
De kosten en beperkingen
Bewijzen kost veel rekenkracht. Volgens de gerapporteerde cijfers vraagt het bewijswerk ongeveer 70 tot 95 keer zoveel GPU-tijd als gewone inferentie met vLLM. Dat is een forse extra belasting voor een systeem dat bewijs aan antwoorden wil toevoegen.
1
8
De demonstratie heeft een korte context. Voor de test met het volledige model noemt de repository een contextvenster van 1.024 tokens. De resultaten tonen dus niet aan dat FlashProve ook langere contexten ondersteunt.
23
Batchdoorvoer zegt niet alles over wachttijd. De opvallende snelheid is de totale doorvoer voor een batch van 24 verzoeken, die ongeveer 223 seconden nodig had. In een echte dienst kan ook de tijd die nodig is om een batch samen te stellen de wachttijd voor gebruikers verhogen.
1
De garantie hangt af van de decodeermethode. Exact match controleert of tokens overeenkomen met de greedy keuzes van het model. De optie clipped gap bewijst niet dat tokens eerlijk zijn getrokken uit een specifieke willekeurige verdeling. Geen van beide regels bewijst dat een antwoord veilig, waar of nuttig is.
20
32
Wie maakte FlashProve, en wat is de status?
FlashProve is ontwikkeld door Anthropic’s Frontier Red Team, samen met onderzoekers en medewerkers van EPFL, MIT en StarkWare. Bij de genoemde auteurs staan onder anderen Anthropic-onderzoekers Roy Rinberg en Alex Allain en cryptograaf Alessandro Chiesa.
10
31
De code is uitgebracht onder de Apache 2.0-licentie. De repository noemt FlashProve echter een onderzoeksproject dat niet wordt onderhouden en geen bijdragen accepteert. Een open-sourcelicentie betekent hier dus niet dat het project actief wijzigingen van buitenaf verwelkomt.
21
31
35
Volgens berichtgeving is Anthropic niet van plan FlashProve bij Anthropic of elders in te zetten. Samen met de melding over het onderhoud maakt dat de status duidelijk: het is een onderzoeksprototype om controleerbare AI-inferentie te verkennen, geen afgerond product of ondersteunde productiedienst.
15
35