FlashProve on Anthropicin avoimen lähdekoodin prototyyppi todennettavaa päättelyä varten. Palveluntarjoaja sitoutuu ensin tiettyihin tekoälymallin painoihin ja tuottaa sitten kryptografisen todisteen siitä, että vastauksen tarkistetut tokenit täyttävät sovitun ehdon näiden painojen perusteella. Asiakas voi tarkistaa todisteen näkemättä mallin painoja.
10
29
Tärkeä rajaus on, että FlashProve todistaa tarkasti määritellyn token-tason väitteen. Se ei todista, että malli olisi turvallinen, että kaikki palvelun toimintaan liittyvät yksityiskohdat olisivat olleet rehellisiä tai että satunnaisesti näytteistetty vastaus olisi tuotettu väitetyllä tavalla.
10
29
Mitä todiste kertoo – ja mitä se ei kerro?
FlashProven avulla vastauksen voi sitoa tiettyyn painositoumukseen sen sijaan, että luotettaisiin vain palvelun ilmoittamaan mallinimeen. Tämä voisi auttaa paljastamaan mallin vaihtamisen toiseen ja vaikeuttaa joitakin keskustelun kaappaamisyrityksiä: vastauksen voi hylätä, jos se ei läpäise tarkistusta odotetulla sitoumuksella. Anthropic nostaa esiin myös turvallisuusarvioinnin: todisteella voitaisiin tarkistaa, että arvioitu malli on sama kuin myöhemmin asiakkaille tarjottu malli.
10
40
Tämä edellyttää, että asiakas tietää, mihin sitoumukseen sen pitäisi luottaa. Todiste tarkistetaan sitoumusta ja julkisia varmennustiedostoja vasten, mutta se ei yksin todista, että sitoumus todella kuuluu palveluntarjoajan mainostamaan malliin. Mallin identiteetin varmistaminen ei myöskään ole turvallisuussertifikaatti: aito malli voi yhä antaa haitallisia tai virheellisiä vastauksia.
30
32
Kaksi vaihetta: ensin sitoumus, sitten vastaustodisteet
1. Sitoumus valmistellaan etukäteen. Palveluntarjoaja ajaa FlashProven sitoumuksen muodostavan ohjelman mallin painoille ja julkaisee sitoumukseen liittyvän aineiston. Sitoumukseen sisältyy 32 tavun tunniste eli commitment ID, joka sitoo todisteen tiettyyn painokokonaisuuteen. Itse painot pysyvät salassa.
30
39
2. Jokaisesta vastauksesta tuotetaan todiste. Palveluntarjoaja todistaa, että tarkistetut tokenit täyttävät valitun hyväksymissäännön sitoutettujen painojen perusteella. FlashProven oletussääntö, exact match, edellyttää, että kukin tarkistettu token on mallin ahneesti valitsema vaihtoehto. Dokumentoitu clipped-gap-vaihtoehto tarkistaa, täyttävätkö tokenien pisteet hyväksytyn piste-eron ehdon. Se ei ole sama asia kuin todiste siitä, että tokenit olisi arvottu rehellisesti tietystä satunnaisjakaumasta.
20
32
3. Asiakas tarkistaa todisteen. Tarkistukseen tarvitaan odotettu commitment ID, siihen liittyvät julkiset sitoustiedostot sekä pyyntö, token-väite ja tarkistettava hyväksymissääntö. Tarkistin toimii suorittimella eikä tarvitse salaisia mallipainoja tai grafiikkasuoritinta.
29
30
34
Tämä työnjako voi sopia myös suljettujen mallien tarjoajille: ne voisivat antaa asiakkaille keinon tarkistaa päättelyä koskeva väite luovuttamatta malliparametreja. Kyse on mahdollisesta käyttötavasta, ei näytöstä siitä, että jokin kaupallinen palvelu olisi ottanut FlashProven käyttöön.
16
29
Mitä Llama 4 Maverick -esittely osoitti?
FlashProvea esiteltiin Metan Llama 4 Maverick -mallilla. Se on noin 400 miljardin parametrin mixture-of-experts-malli. Tulosten lukemisessa on tärkeää huomata, että ilmoitettu läpimeno mitattiin pyyntöerällä, ei yhden käyttäjän keskustelun aikana.
3
7
- Todisteiden tuottaminen: noin 110 tokenia sekunnissa yhdellä Nvidia H100 -grafiikkasuorittimella, kun käsiteltiin 24 pyynnön erää. Kunkin pyynnön ikkuna oli 1 024 tokenia, ja koko erän käsittely kesti noin 223 sekuntia.
1
7
- Todisteen koko: noin 18,78 megatavua eli pyöristettynä 19 megatavua kutakin 1 024 tokenin pyyntöä kohti.
1
7
- Tarkistusaika: noin 17 sekuntia 24 säiettä käyttävällä suorittimella. Yhdellä säikeellä testin ilmoitettu aika oli noin 21 sekuntia.
1
19
- Kertaluonteinen sitoumusvaihe: noin 39 minuuttia. Julkaistu sitoumusmateriaali oli kooltaan noin 6,5 megatavua.
7
13
Projektissa on myös Lean-tarkistin ja koneellisesti tarkistetut soundness-tulokset. Niiden soveltamisala on kuitenkin rajattu: dokumentoitu soundness-väite koskee Lean-tarkistinta ja exact match -väitteitä ilmoitettujen oletusten puitteissa. Clipped-gap-sääntö tukee suppeampaa väitettä. Tuloksia ei pidä tulkita niin, että sama takuu kattaisi automaattisesti kaikki toteutukset, käyttöönotot tai generointitavat.
32
33
Rajoitukset ovat olennaisia
Todisteiden tuottaminen on kallista. Raportoiduissa testeissä todistaminen käytti noin 70–95 kertaa enemmän grafiikkasuorittimen laskenta-aikaa kuin tavallinen vLLM-päättely. Tämä on huomattava lisäkustannus, jos jokaisen vastauksen mukana halutaan toimittaa todiste.
1
8
Esittelyn konteksti-ikkuna oli lyhyt. Koko mallin esittelyssä käytettiin 1 024 tokenin konteksti-ikkunaa, joten tulos ei osoita, että prototyyppi tukisi pidempiä konteksteja.
23
Erän läpimeno ei kerro yksittäisen käyttäjän odotusajasta. Noin 110 tokenin sekuntivauhti kuvaa 24 pyynnön yhteisläpimenoa, ja erän käsittely kesti noin 223 sekuntia. Palvelussa myös odottaminen, kunnes pyyntöjä kertyy eräksi, voi lisätä käyttäjän kokemaa viivettä.
1
Generointitakuun sisältö riippuu säännöstä. Exact match tarkistaa mallin ahneet valinnat. Clipped-gap ei todista, että tulostokenit olisi arvottu rehellisesti tietystä satunnaisjakaumasta. Kumpikaan sääntö ei todista, että vastaus olisi turvallinen, tosi tai hyödyllinen.
20
32
Kuka kehitti FlashProven ja millä ehdoilla se julkaistiin?
FlashProven kehitti Anthropicin Frontier Red Team yhdessä EPFL:n, MIT:n ja StarkWaren yhteistyökumppaneiden kanssa. Tekijöihin kuuluvat Anthropicin tutkijat Roy Rinberg ja Alex Allain sekä kryptografi Alessandro Chiesa muiden yhteistyökumppaneiden ohella.
10
31
Koodi julkaistiin Apache 2.0 -lisenssillä. GitHub-projekti kuitenkin kuvaa FlashProven tutkimusartefaktiksi, jota ei ylläpidetä ja johon ei oteta kontribuutioita. Avoin lisenssi ei siis tarkoita, että projekti kutsuisi lähettämään siihen muutoksia.
21
31
35
Raportoinnin mukaan Anthropic ei suunnittele FlashProven käyttöönottoa Anthropicilla eikä muuallakaan. Yhdessä projektin ylläpitoa koskevan ilmoituksen kanssa tämä asettaa sen aseman selväksi: kyse on todennettavan päättelyn tutkimusprototyypistä, ei valmiista tuotteesta tai tuetusta tuotantopalvelusta.
15
35