FlashProve ist ein quelloffener Forschungsprototyp von Anthropic für sogenannte nachweisbare Inferenz. Ein Anbieter bindet zunächst ein Modell an einen kryptografischen Fingerabdruck. Für eine Antwort kann er anschließend einen Beweis erstellen, dass die geprüften Tokens unter genau diesen Modellgewichten eine vereinbarte Regel erfüllen. Die Gewichte selbst bleiben geheim.
10
29
Wichtig ist die Einschränkung: FlashProve belegt eine klar definierte Aussage auf Token-Ebene. Es beweist nicht, dass ein Modell sicher ist, dass jeder technische Schritt beim Bereitstellen der Antwort korrekt ablief oder dass jede Art von zufällig erzeugter Ausgabe wie behauptet zustande kam.
10
29
Wofür ein solcher Nachweis nützlich sein könnte
Ein gültiger Beweis verknüpft eine Antwort mit einer bestimmten Gewichtsbindung – nicht bloß mit dem Modellnamen, den ein Dienst in seiner Oberfläche anzeigt. Stimmen Antwort und erwartete Bindung nicht überein, kann ein Client sie zurückweisen. Das könnte einen Austausch des angekündigten Modells erschweren und manche Formen der Chat-Manipulation aufdecken. Anthropic nennt außerdem die Sicherheitsprüfung als möglichen Anwendungsfall: Evaluierende könnten prüfen, ob das getestete Modell dasselbe ist, das später für Kunden eingesetzt wird.
10
40
Dafür muss der Client allerdings wissen, welcher Bindung er vertrauen soll. Der Beweis bestätigt die Übereinstimmung mit einer Gewichtsbindung und den zur Prüfung veröffentlichten Dateien. Für sich genommen beweist er nicht, dass diese Bindung tatsächlich zu dem Modell gehört, das ein Anbieter verspricht. Und eine bestätigte Modellidentität ist kein Sicherheitszertifikat: Auch ein authentisches Modell kann falsche oder schädliche Antworten ausgeben.
30
32
Erst die Gewichte binden, dann Antworten belegen
1. Einmalige Vorbereitung: Der Anbieter lässt FlashProves sogenanntes Committer-Programm auf die Modellgewichte laufen und veröffentlicht die zugehörigen Bindungsdaten. Dazu gehört eine 32 Byte lange Kennung, die Commitment ID. Sie bindet den Nachweis an einen bestimmten Gewichtssatz, ohne diesen offenzulegen.
30
39
2. Nachweis für eine Antwort: Für eine Antwort erzeugt der Anbieter einen Beweis, dass die geprüften Tokens unter den gebundenen Gewichten eine festgelegte Annahmeregel erfüllen. Standardmäßig gilt Exact Match: Jedes geprüfte Token muss die vom Modell bevorzugte Auswahl bei sogenanntem Greedy-Decoding sein. Eine dokumentierte Alternative namens Clipped Gap prüft, ob die Token-Bewertungen innerhalb akzeptierter Abstände liegen. Das ist jedoch nicht dasselbe wie der Nachweis, dass Tokens ehrlich aus einer bestimmten Zufallsverteilung gezogen wurden.
20
32
3. Prüfung durch den Client: Zur Prüfung braucht der Client den erwarteten Commitment-ID-Fingerabdruck und die dazugehörigen veröffentlichten Dateien sowie die Anfrage, den Token-Anspruch und die verwendete Annahmeregel. Der Prüfer läuft auf einer CPU; weder die geheimen Gewichte noch eine GPU sind dafür nötig.
29
30
34
Das könnte auch für Anbieter geschlossener Modelle interessant sein: Sie könnten einen überprüfbaren Nachweis für eine Inferenz anbieten, ohne ihre Modellparameter herauszugeben. Das ist eine mögliche Anwendung – kein Beleg dafür, dass ein kommerzieller Dienst FlashProve bereits einsetzt.
16
29
Was der Test mit Llama 4 Maverick zeigte
Anthropic demonstrierte FlashProve mit Metas Llama 4 Maverick, einem Mixture-of-Experts-Modell mit rund 400 Milliarden Parametern. Die Leistungszahlen sollte man im Zusammenhang lesen: Der angegebene Durchsatz stammt aus einem Stapel von Anfragen, nicht aus einem einzelnen Chatverlauf.
3
7
- Nachweiserstellung: Rund 110 Tokens pro Sekunde auf einer Nvidia H100 – gemessen über 24 Anfragen mit jeweils einem Fenster von 1.024 Tokens. Der gesamte Stapel dauerte etwa 223 Sekunden.
1
7
- Größe des Beweises: Rund 18,78 MB, meist auf 19 MB gerundet, pro Anfrage mit 1.024 Tokens.
1
7
- Verifikation: Im berichteten Test etwa 17 Sekunden auf einer CPU mit 24 Threads; mit einem Thread waren es rund 21 Sekunden.
1
19
- Einrichtung: Die einmalige Bindungsphase dauerte den Angaben zufolge etwa 39 Minuten. Die veröffentlichten Bindungsdaten waren rund 6,5 MB groß.
7
13
Das Repository enthält außerdem einen in Lean geschriebenen Prüfer und maschinell überprüfte Aussagen zur Korrektheit. Auch hier kommt es auf den Geltungsbereich an: Die dokumentierte Soundness-Aussage betrifft den Lean-Prüfer und Exact-Match-Ansprüche unter genannten Annahmen. Für die Clipped-Gap-Regel ist die belegte Aussage enger. Daraus folgt keine pauschale Garantie für jede Implementierung, Bereitstellung oder Decodiermethode.
32
33
Die Grenzen: Aufwand, Länge und Decodierung
Die Beweiserstellung ist teuer. Für sie wird den Angaben zufolge etwa 70- bis 95-mal so viel GPU-Zeit benötigt wie für eine gewöhnliche Inferenz mit vLLM. Für ein System, das Antworten mit zusätzlichen Nachweisen versehen soll, ist das ein erheblicher Mehraufwand.
1
8
Der demonstrierte Kontext ist kurz. Für den Test mit dem Modell in voller Größe nennt das Repository ein Kontextfenster von 1.024 Tokens. Die Ergebnisse belegen daher nicht, dass FlashProve auch längere Kontexte unterstützt.
23
Stapelverarbeitung kann die Wartezeit verdecken. Die oft zitierte Rate von rund 110 Tokens pro Sekunde ist ein Gesamtdurchsatz für 24 Anfragen, deren Verarbeitung etwa 223 Sekunden dauerte. Bei einem Dienst kann zusätzlich Zeit anfallen, während Anfragen für einen Stapel gesammelt werden.
1
Der Nachweis hängt von der Decodierregel ab. Bei Exact Match geht es um Greedy-Auswahlen. Die Clipped-Gap-Option beweist nicht, dass die Antworttokens ehrlich gemäß einer vorgegebenen Zufallsverteilung gezogen wurden. Keine der beiden Regeln bescheinigt, dass eine Antwort sicher, wahr oder hilfreich ist.
20
32
Wer FlashProve entwickelt hat – und was der Status ist
Entwickelt wurde FlashProve von Anthropics Frontier Red Team gemeinsam mit Forschenden und Kryptografie-Experten von EPFL, MIT und StarkWare. Zu den genannten Autoren zählen die Anthropic-Forscher Roy Rinberg und Alex Allain sowie der Kryptograf Alessandro Chiesa und weitere Mitwirkende.
10
31
Der Code steht unter der Apache-2.0-Lizenz. Das heißt aber nicht, dass das Projekt aktiv weiterentwickelt wird: Im Repository wird FlashProve als Forschungsartefakt bezeichnet, das nicht gewartet wird und keine Beiträge annimmt.
21
31
35
Berichten zufolge plant Anthropic nicht, FlashProve bei sich oder andernorts einzusetzen. Zusammen mit dem Hinweis im Repository spricht das für einen Forschungsprototyp zur Erkundung nachweisbarer Inferenz – nicht für ein fertiges Produkt oder einen unterstützten Dienst.
15
35