FlashProve è il prototipo open source di Anthropic per l’inferenza verificabile: il fornitore si impegna crittograficamente a un insieme di pesi del modello e genera una prova che determinati token della risposta rispettano una regola concordata con quei pesi. Il cliente può controllare la prova senza vedere i pesi. La precisazione è importante: FlashProve dimostra una specifica affermazione sui token, non che il modello sia sicuro, che ogni dettaglio del servizio sia stato gestito correttamente o che ogni tipo di output campionato sia stato generato nel modo dichiarato.
10
29
Che cosa può dimostrare — e che cosa no
Una risposta verificata può essere ricondotta a uno specifico impegno sui pesi del modello, invece di affidarsi soltanto al nome del modello mostrato dal servizio. Questo potrebbe aiutare a individuare la sostituzione del modello e rendere più difficili alcuni tentativi di dirottamento di una chat: una risposta che non supera la verifica rispetto all’impegno atteso può essere rifiutata. Anthropic indica anche un possibile uso nelle valutazioni di sicurezza: controllare che il modello sottoposto ai test sia lo stesso poi offerto ai clienti.
10
40
Per farlo, però, il cliente deve sapere quale impegno considerare attendibile. La prova viene verificata rispetto a quell’impegno e ai file pubblici forniti per il controllo; da sola non dimostra che l’impegno appartenga davvero al modello pubblicizzato da un determinato fornitore. E verificare l’identità del modello non equivale a certificarne la sicurezza: anche un modello autentico può dare risposte dannose o sbagliate.
30
32
Due fasi: prima l’impegno, poi la prova delle risposte
1. Impegno offline. Il fornitore esegue il programma di commitment di FlashProve sui pesi del modello e pubblica i dati necessari alla verifica. L’impegno comprende un’impronta di 32 byte, chiamata commitment ID, che lega la prova a uno specifico insieme di pesi. I pesi restano riservati.
30
39
2. Prova online. Per una risposta, il fornitore genera una prova che i token controllati rispettano una politica di accettazione definita per quei pesi. La politica predefinita di corrispondenza esatta richiede che ogni token verificato sia la scelta greedy del modello, cioè il token con il punteggio più alto in quel passaggio. L’alternativa documentata, detta clipped-gap, controlla invece che i punteggi dei token rientrino in una regola accettata sul divario tra punteggi. È un’affermazione diversa dal dimostrare che i token siano stati campionati onestamente secondo una specifica distribuzione casuale.
20
32
3. Verifica del cliente. Il cliente controlla la prova rispetto al commitment ID atteso e ai relativi file pubblici, oltre che alla richiesta, ai token dichiarati e alla politica applicata. Il verificatore funziona su una CPU e non ha bisogno né dei pesi privati né di una GPU.
29
30
34
Questa separazione rende l’approccio potenzialmente interessante per chi offre modelli proprietari: un fornitore potrebbe permettere di verificare un’affermazione sull’inferenza senza consegnare ai clienti i parametri del modello. Si tratta di una possibile applicazione, non della prova che un servizio commerciale abbia già adottato FlashProve.
16
29
Che cosa ha mostrato la dimostrazione con Llama 4 Maverick
FlashProve è stato dimostrato con Llama 4 Maverick di Meta, un modello mixture-of-experts da circa 400 miliardi di parametri. I dati sulle prestazioni vanno letti nel loro contesto: la velocità riportata riguarda un gruppo di richieste elaborate insieme, non la conversazione di un singolo utente.
3
7
- Velocità di generazione delle prove: circa 110 token al secondo su una Nvidia H100, su un lotto di 24 richieste con una finestra di 1.024 token ciascuna. Il lotto ha richiesto circa 223 secondi.
1
7
- Dimensione della prova: circa 18,78 MB — spesso arrotondati a 19 MB — per ogni richiesta da 1.024 token.
1
7
- Verifica: circa 17 secondi su una CPU a 24 thread nel benchmark riportato; con un solo thread, circa 21 secondi.
1
19
- Preparazione dell’impegno: la fase iniziale, eseguita una tantum, ha richiesto circa 39 minuti; i dati pubblicati per il commitment erano di circa 6,5 MB.
7
13
Il repository comprende anche un verificatore in Lean e risultati di correttezza dimostrati formalmente e controllati automaticamente. Anche qui conta l’ambito: la garanzia documentata riguarda il verificatore Lean e le affermazioni di corrispondenza esatta, entro le ipotesi dichiarate; la politica clipped-gap sostiene un’affermazione più circoscritta. Non significa che ogni implementazione, distribuzione o modalità di decodifica goda della stessa garanzia.
32
33
Costi e limiti da tenere presenti
Generare le prove costa molto. Il carico di calcolo riportato richiede circa 70–95 volte il tempo GPU dell’inferenza ordinaria con vLLM. È un sovraccarico notevole per un sistema pensato per associare una prova alle risposte.
1
8
La finestra dimostrata è breve. Per la dimostrazione con il modello completo, il repository indica una finestra di contesto di 1.024 token: il risultato, quindi, non dimostra che siano supportati contesti più lunghi.
23
La velocità aggregata non racconta tutta l’attesa. Il dato principale riguarda 24 richieste elaborate insieme, un lotto che ha richiesto circa 223 secondi. In un servizio, il tempo necessario per raccogliere abbastanza richieste da formare un lotto potrebbe aggiungersi alla latenza percepita dall’utente.
1
La garanzia dipende dalla modalità di decodifica. La corrispondenza esatta verifica le scelte greedy. L’opzione clipped-gap non prova che i token siano stati estratti onestamente da una specifica distribuzione casuale. Nessuna delle due politiche dimostra che la risposta sia sicura, veritiera o utile.
20
32
Chi l’ha sviluppato e che stato ha il progetto
FlashProve è stato sviluppato dalla Frontier Red Team di Anthropic con collaboratori di EPFL, MIT e StarkWare. Tra gli autori indicati figurano i ricercatori di Anthropic Roy Rinberg e Alex Allain e il crittografo Alessandro Chiesa, insieme ad altri collaboratori.
10
31
Il codice è distribuito con licenza Apache 2.0. Il repository, tuttavia, descrive FlashProve come un artefatto di ricerca non mantenuto e non aperto a contributi: la licenza open source non va confusa con un invito a inviare modifiche al progetto.
21
31
35
Secondo quanto riportato, Anthropic non ha piani per distribuire FlashProve né all’interno dell’azienda né altrove. Insieme all’avviso sullo stato del repository, questo inquadra il progetto come un prototipo di ricerca sull’inferenza verificabile, non come un prodotto finito o un servizio pronto per la produzione.
15
35