FlashProve er Anthropics open source-prototype til verificerbar inferens: En udbyder binder sig kryptografisk til et sæt modelvægte og kan derefter lave et bevis for, at bestemte tokens i et svar opfylder en aftalt regel under netop de vægte. Klienten kan kontrollere beviset uden at få adgang til selve vægtene. Den vigtige begrænsning er, at FlashProve dokumenterer en afgrænset påstand om tokens – ikke at modellen er sikker, at alle detaljer i driften er håndteret korrekt, eller at enhver form for stikprøvebaseret tekst er genereret, som udbyderen hævder.
10
29
Hvad FlashProve kan – og ikke kan – vise
Et verificeret svar kan knyttes til et bestemt vægtcommitment i stedet for alene at bero på tjenestens eget modelnavn. Det kan gøre det lettere at opdage, hvis en tjeneste har skiftet modellen ud, og gøre visse former for chatkapring sværere: Et svar, der ikke kan verificeres mod det forventede commitment, kan afvises. Anthropic nævner også sikkerhedsevaluering som et muligt anvendelsesområde: Man kan kontrollere, om den model, der blev testet, er den samme som den, der senere leverer svar til kunder.
10
40
Det kræver dog, at klienten ved, hvilket commitment den skal stole på. Beviset kontrolleres mod commitmentet og de offentlige filer, der stilles til rådighed til verifikation; det fastslår ikke i sig selv, at commitmentet faktisk tilhører udbyderens annoncerede model. Og en bekræftet modelidentitet er ikke en sikkerhedsgodkendelse: En ægte model kan stadig give skadelige eller forkerte svar.
30
32
To trin: Bind vægtene én gang, bevis hvert svar
1. Commitment offline. Udbyderen kører FlashProves committer på modellens vægte og offentliggør commitment-materiale. Commitmentet indeholder et fingeraftryk på 32 byte, kaldet et commitment-ID, som binder beviset til et bestemt sæt vægte. Selve vægtene forbliver hemmelige.
30
39
2. Bevis online. For hvert svar laver udbyderen et bevis for, at de kontrollerede tokens opfylder en acceptregel under de bundne vægte. FlashProves standardregel, exact-match, kræver, at hvert kontrolleret token er modellens grådige valg – altså det token, modellen vurderer højest i den givne kontekst. Den dokumenterede mulighed clipped-gap kontrollerer i stedet, om token-scorerne opfylder en accepteret regel for scoreforskelle. Det er ikke det samme som at bevise, at tokens blev udtrukket ærligt fra en bestemt tilfældig sandsynlighedsfordeling.
20
32
3. Klienten verificerer. Klienten kontrollerer beviset mod det forventede commitment-ID og de tilhørende offentlige commitment-filer samt forespørgslen, tokenpåstanden og den valgte regel. Verifikatoren kører på en CPU og behøver hverken adgang til de private modelvægte eller en GPU.
29
30
34
Den opdeling er grunden til, at idéen kan være relevant for udbydere af lukkede modeller: De kan tilbyde en måde at kontrollere en påstand om inferens på uden at udlevere modellens parametre. Det er en mulig anvendelse – ikke dokumentation for, at en kommerciel tjeneste har taget FlashProve i brug.
16
29
Hvad demonstrationen med Llama 4 Maverick viste
FlashProve blev demonstreret med Metas Llama 4 Maverick, en mixture-of-experts-model med omkring 400 milliarder parametre. Resultaterne skal læses med den rette sammenhæng: Hastigheden blev målt på en gruppe forespørgsler, ikke på én brugers løbende chat.
3
7
- Bevisgenerering: Omkring 110 tokens i sekundet på én Nvidia H100 for en gruppe på 24 forespørgsler, hver med et vindue på 1.024 tokens. Gruppen tog cirka 223 sekunder at behandle.
1
7
- Bevisstørrelse: Cirka 18,78 MB – ofte rundet op til 19 MB – for hver forespørgsel på 1.024 tokens.
1
7
- Verifikation: Omkring 17 sekunder på en CPU med 24 tråde i den rapporterede test; en kørsel med én tråd tog cirka 21 sekunder.
1
19
- Førstegangsopsætning: Den rapporterede, engangs commitment-fase tog omkring 39 minutter. Det offentliggjorte commitment-materiale fyldte cirka 6,5 MB.
7
13
Projektet indeholder også en Lean-verifikator og maskinelt kontrollerede resultater for soundness – altså en egenskab, der skal gøre det svært at få et ugyldigt bevis accepteret. Men rækkevidden er vigtig: Den dokumenterede soundness-påstand gælder Lean-verifikatoren og exact-match-påstande under angivne antagelser. For clipped-gap-reglen er påstanden snævrere. Det skal ikke læses som en garanti for, at alle implementeringer, driftsopsætninger eller måder at generere tekst på er dækket af samme bevis.
32
33
Prisen og begrænsningerne
Bevisgenerering kræver meget regnekraft. Den rapporterede arbejdsbyrde bruger omkring 70–95 gange så meget GPU-tid som almindelig inferens med vLLM. Det er en betydelig ekstraomkostning, hvis hvert svar skal ledsages af et bevis.
1
8
Demonstrationen bruger et kort vindue. Projektet beskriver et kontekstvindue på 1.024 tokens for demonstrationen med modellen i fuld størrelse. Resultatet dokumenterer derfor ikke støtte til længere kontekster.
23
Hastighed for en samlet gruppe er ikke det samme som ventetid for den enkelte. Det fremhævede tal gælder en gruppe på 24 forespørgsler, som tog cirka 223 sekunder at behandle. I en tjeneste kan ventetid, mens gruppen samles, komme oveni brugerens svartid.
1
Garantien afhænger af, hvordan teksten vælges. Exact-match kontrollerer modellens grådige valg. Clipped-gap er ikke et bevis for, at svar-tokens blev udtrukket ærligt fra en bestemt tilfældig fordeling. Ingen af reglerne beviser, at modellens svar er sikkert, sandt eller nyttigt.
20
32
Hvem står bag – og er det et færdigt produkt?
FlashProve er udviklet af Anthropics Frontier Red Team sammen med samarbejdspartnere fra EPFL, MIT og StarkWare. Blandt de navngivne forfattere er Anthropic-forskerne Roy Rinberg og Alex Allain samt kryptografen Alessandro Chiesa og andre samarbejdspartnere.
10
31
Koden er udgivet under licensen Apache 2.0. Men GitHub-projektet beskriver FlashProve som et forskningsresultat, der ikke vedligeholdes og ikke tager imod bidrag. At koden er open source, er altså ikke en invitation til at sende ændringer ind til projektet.
21
31
35
Ifølge omtalen har Anthropic ingen planer om at indføre FlashProve hos Anthropic eller andre steder. Sammen med projektets vedligeholdelsesbemærkning peger det på, at der er tale om en forskningsprototype til at undersøge verificerbar inferens – ikke et færdigt produkt eller en understøttet produktionstjeneste.
15
35