FlashProve er Anthropics åpne forskningsprototyp for verifiserbar inferens: En leverandør binder seg kryptografisk til et bestemt sett modellvekter og lager deretter et bevis på at utvalgte svarord følger en avtalt regel under disse vektene. Klienten kan kontrollere beviset uten å få se vektene. Viktig forbehold: FlashProve beviser en avgrenset påstand om bestemte ord og en bestemt regel. Det beviser ikke at modellen er trygg, at alle sider ved tjenesten er håndtert ærlig, eller at et tilfeldig generert svar ble produsert slik det hevdes.
10
29
Hva kan FlashProve vise?
Med et gyldig bevis kan et svar knyttes til en bestemt modellforpliktelse – altså et kryptografisk fingeravtrykk for et konkret sett vekter – i stedet for at klienten bare må stole på modellnavnet tjenesten oppgir. Det kan bidra til å avdekke om en leverandør har byttet ut modellen, og gjøre enkelte forsøk på å kapre en chat vanskeligere: Et svar som ikke kan verifiseres mot forventet modellforpliktelse, kan avvises. Anthropic trekker også fram sikkerhetstesting som en mulig bruk: Evaluatører kan kontrollere at modellen de tester, er den samme som senere tilbys kundene.
10
40
Dette forutsetter at klienten vet hvilken modellforpliktelse den har grunn til å stole på. Beviset kontrolleres mot forpliktelsen og de offentlige filene som er lagt fram for verifisering. Det fastslår ikke i seg selv at forpliktelsen faktisk tilhører modellen leverandøren sier den gjør. Og selv om modellidentiteten er bekreftet, er det ingen sikkerhetssertifisering: En ekte modell kan fortsatt gi skadelige eller feilaktige svar.
30
32
To trinn: bind vektene én gang, bevis hvert svar
1. Forpliktelse uten nettbasert svargenerering. Leverandøren kjører FlashProves forpliktelsesverktøy på modellvektene og publiserer materiale som kan brukes til kontroll. Forpliktelsen inneholder et fingeravtrykk på 32 byte, kalt en commitment ID, som knytter bevisene til ett bestemt vektssett. Selve vektene holdes skjult.
30
39
2. Bevis for hvert svar. For et svar lager leverandøren et bevis på at de kontrollerte ordene oppfyller en valgt akseptregel under de forpliktede vektene. Standardregelen, exact-match, krever at hvert kontrollert ord er modellens mest sannsynlige valg – det vil si modellens såkalte grådige valg. Alternativet clipped-gap sjekker om ordskårene holder seg innenfor en godkjent grense. Det er en annen påstand enn å bevise at ordene ble trukket ærlig fra en bestemt tilfeldig sannsynlighetsfordeling.
20
32
3. Klienten kontrollerer beviset. Klienten bruker forventet commitment ID og de tilhørende offentlige filene, sammen med forespørselen, påstanden om hvilke ord som ble generert, og akseptregelen. Verifikatoren kjører på en vanlig CPU og trenger verken de private modellvektene eller en GPU.
29
30
34
Denne oppdelingen kan være interessant for leverandører av lukkede modeller: De kan tilby en måte å kontrollere en påstand om inferens på uten å dele modellparameterne med kundene. Det er en mulig bruk, ikke dokumentasjon på at en kommersiell tjeneste har tatt FlashProve i bruk.
16
29
Hva viste demonstrasjonen med Llama 4 Maverick?
FlashProve ble demonstrert med Metas Llama 4 Maverick, en blanding-av-eksperter-modell med rundt 400 milliarder parametere. Ytelsestallene må leses med en viktig presisering: Gjennomstrømningen ble målt for en bunke forespørsler, ikke for én enkelt brukers chat.
3
7
- Bevisgenerering: Omtrent 110 ord i sekundet på én Nvidia H100, målt over 24 forespørsler med et vindu på 1 024 ord hver. Hele bunken tok rundt 223 sekunder.
1
7
- Bevisstørrelse: Omtrent 18,78 MB – ofte avrundet til 19 MB – per forespørsel på 1 024 ord.
1
7
- Kontroll av bevis: Rundt 17 sekunder på en CPU med 24 tråder i den rapporterte testen. En kjøring med én tråd tok rundt 21 sekunder.
1
19
- Førstegangsoppsett: Den rapporterte engangsfasen for å lage modellforpliktelsen tok rundt 39 minutter. De publiserte forpliktelsesfilene var på omtrent 6,5 MB.
7
13
Prosjektet har også en verifikator skrevet i Lean og maskinsjekkede resultater for lydhet – en egenskap som handler om at verifikatoren ikke godtar falske påstander. Men også her er avgrensningen viktig: Den dokumenterte lydhetsgarantien gjelder Lean-verifikatoren og exact-match-påstander under oppgitte forutsetninger. For clipped-gap støttes en snevrere påstand. Dette er ikke det samme som å bevise at alle implementasjoner, utrullinger eller måter å generere tekst på omfattes av samme garanti.
32
33
Kostnadene og begrensningene
Bevisgenerering er dyrt. Den rapporterte arbeidsmengden bruker omtrent 70–95 ganger så mye GPU-tid som vanlig inferens med vLLM. Det er betydelig ekstraarbeid for et system som skal legge bevis til svar.
1
8
Demonstrasjonen dekker et kort vindu. Repoet beskriver en kontekstramme på 1 024 ord for demonstrasjonen med full modellstørrelse. Resultatet dokumenterer derfor ikke støtte for lengre kontekster.
23
Bunkeytelse kan skjule ventetid. Tallet på rundt 110 ord i sekundet er samlet gjennomstrømning for 24 forespørsler, som tok rundt 223 sekunder å behandle. I en tjeneste kan venting på å samle nok forespørsler i en bunke komme i tillegg til tiden brukeren allerede venter.
1
Beviset avhenger av hvordan teksten genereres. Exact-match kontrollerer modellens grådige valg. Clipped-gap beviser ikke at ordene ble trukket ærlig fra en bestemt tilfeldig fordelingsmodell. Ingen av reglene viser at svaret er trygt, sant eller nyttig.
20
32
Hvem laget FlashProve, og hva slags utgivelse er det?
Anthropics Frontier Red Team utviklet FlashProve sammen med samarbeidspartnere fra EPFL, MIT og StarkWare. Blant de navngitte forfatterne er Anthropic-forskerne Roy Rinberg og Alex Allain, samt kryptografen Alessandro Chiesa og andre samarbeidspartnere.
10
31
Koden er utgitt under Apache 2.0-lisensen. Samtidig omtaler GitHub-repoet FlashProve som et forskningsarbeid som ikke vedlikeholdes og ikke tar imot bidrag. At koden har en åpen kildekodelisens, betyr altså ikke at prosjektet inviterer til innsending av endringer.
21
31
35
Ifølge omtalen har Anthropic ingen planer om å ta i bruk FlashProve, verken hos Anthropic eller andre steder. Sammen med repoets beskjed om manglende vedlikehold peker dette mot et forskningsverktøy for å utforske verifiserbar inferens – ikke et ferdig produkt eller en produksjonstjeneste med støtte.
15
35