FlashProve est un prototype open source d’Anthropic consacré à l’inférence vérifiable. Le fournisseur engage d’abord un ensemble de poids de modèle, puis produit une preuve cryptographique indiquant que les tokens d’une réponse respectent une règle convenue sous ces poids. Le client peut vérifier la preuve sans accéder aux poids. La nuance essentielle : FlashProve prouve une affirmation définie au niveau des tokens — pas que le modèle est sûr, que tous les détails du service ont été honnêtes, ni que n’importe quel texte généré par échantillonnage a été produit comme annoncé.
10
29
Ce que FlashProve peut établir — et ce qu’il ne peut pas
Une réponse vérifiée peut être rattachée à un engagement de poids précis, au lieu de reposer uniquement sur le nom de modèle affiché par un service. Cela pourrait aider à repérer une substitution de modèle et compliquer certaines tentatives de détournement de conversation : une réponse qui ne se vérifie pas par rapport à l’engagement attendu peut être rejetée. Anthropic évoque aussi un usage pour les évaluations de sûreté : vérifier que le modèle testé est bien celui qui est ensuite servi aux utilisateurs.
10
40
Il faut toutefois savoir quel engagement faire confiance. La preuve est vérifiée à partir de l’engagement et des fichiers publics fournis ; à elle seule, elle ne démontre pas que cet engagement correspond réellement au modèle annoncé par le fournisseur. Et prouver l’identité d’un modèle n’équivaut pas à le certifier sûr : un modèle authentique peut toujours produire des réponses erronées ou préjudiciables.
30
32
Le principe : engager les poids, puis prouver chaque réponse
1. Engagement hors ligne. Le fournisseur exécute le programme de FlashProve qui engage les poids du modèle, puis publie les éléments nécessaires à la vérification. L’engagement comprend une empreinte de 32 octets, appelée commitment ID, qui le lie à un ensemble précis de poids. Ceux-ci restent secrets.
30
39
2. Preuve en ligne. Pour une réponse, le fournisseur produit une preuve que les tokens vérifiés satisfont une politique d’acceptation sous les poids engagés. Par défaut, la politique exact-match exige que chaque token vérifié soit le choix glouton du modèle — autrement dit, celui auquel il attribue le score le plus élevé. L’option documentée clipped-gap vérifie une règle d’écart de scores acceptée : elle ne prouve pas que les tokens ont été échantillonnés honnêtement selon une distribution aléatoire spécifiée.
20
32
3. Vérification côté client. Le client compare la preuve à l’identifiant d’engagement attendu et aux fichiers publics associés. Il lui faut aussi la requête, l’affirmation portant sur les tokens et la politique à vérifier. La vérification fonctionne sur un processeur (CPU) ; elle ne nécessite ni les poids privés ni une carte graphique (GPU).
29
30
34
Cette séparation pourrait intéresser les fournisseurs de modèles fermés : ils peuvent proposer une vérification d’une affirmation sur l’inférence sans remettre leurs paramètres aux clients. Il s’agit d’une application possible, pas d’une preuve qu’un service commercial a déployé FlashProve.
16
29
Ce que montre la démonstration sur Llama 4 Maverick
FlashProve a été testé sur Llama 4 Maverick de Meta, un modèle à mélange d’experts d’environ 400 milliards de paramètres. Les chiffres de performance sont à lire avec leur contexte : le débit annoncé a été mesuré sur un lot de requêtes, et non sur le flux de discussion d’un utilisateur unique.
3
7
- Débit de génération des preuves : environ 110 tokens par seconde sur un seul Nvidia H100, pour un lot de 24 requêtes avec une fenêtre de 1 024 tokens chacune. Le traitement du lot a pris environ 223 secondes.
1
7
- Taille des preuves : environ 18,78 Mo — souvent arrondis à 19 Mo — par requête de 1 024 tokens.
1
7
- Vérification : environ 17 secondes sur un CPU à 24 threads dans le test rapporté ; une exécution sur un seul thread a pris environ 21 secondes.
1
19
- Préparation de l’engagement : la phase initiale, effectuée une seule fois, a duré environ 39 minutes ; les éléments d’engagement publiés occupaient environ 6,5 Mo.
7
13
Le dépôt comprend également un vérificateur en Lean et des résultats de correction vérifiés par machine, mais leur portée est à préciser. La garantie documentée concerne le vérificateur Lean et les affirmations exact-match, sous les hypothèses indiquées ; la politique clipped-gap ne permet qu’une affirmation plus limitée. Cela ne signifie pas que toutes les implémentations, tous les déploiements ou tous les modes de décodage bénéficient de la même garantie.
32
33
Les compromis et les limites
Produire une preuve coûte cher. La charge de calcul rapportée représente environ 70 à 95 fois le temps GPU d’une inférence ordinaire avec vLLM. C’est un surcoût important pour un système qui vise à joindre une preuve aux réponses.
1
8
La fenêtre testée est courte. Pour la démonstration avec le modèle complet, le dépôt décrit une fenêtre de contexte de 1 024 tokens. Le résultat ne démontre donc pas la prise en charge de contextes plus longs.
23
Le débit par lots ne reflète pas toute l’attente. Le chiffre mis en avant est un débit agrégé pour un lot de 24 requêtes, traité en environ 223 secondes. Dans un service, le temps nécessaire pour réunir assez de demandes avant de former un lot pourrait encore augmenter la latence ressentie par les utilisateurs.
1
La garantie dépend du mode de génération. La politique exact-match vérifie les choix gloutons. L’option clipped-gap ne prouve pas que les tokens ont été tirés honnêtement d’une distribution aléatoire précise. Aucune des deux politiques ne démontre qu’une réponse est sûre, vraie ou utile.
20
32
Qui l’a développé et quel est son statut ?
FlashProve a été développé par la Frontier Red Team d’Anthropic, avec des collaborateurs de l’EPFL, du MIT et de StarkWare. Parmi les auteurs cités figurent les chercheurs d’Anthropic Roy Rinberg et Alex Allain, ainsi que le cryptographe Alessandro Chiesa, aux côtés d’autres collaborateurs.
10
31
Le code est publié sous licence Apache 2.0. Le dépôt présente toutefois FlashProve comme un artefact de recherche non maintenu et n’acceptant pas de contributions : une licence open source ne signifie donc pas que le projet invite à lui soumettre des modifications.
21
31
35
Selon les informations rapportées, Anthropic ne prévoit pas de déployer FlashProve, ni chez lui ni ailleurs. Avec l’avis de non-maintenance du dépôt, cela situe le projet du côté du prototype de recherche sur l’inférence vérifiable, et non d’un produit fini ou d’un service de production pris en charge.
15
35