FlashProve je open-source prototyp společnosti Anthropic pro takzvanou ověřitelnou inferenci: poskytovatel se nejprve kryptograficky zaváže ke konkrétní sadě vah modelu a pro jednotlivé odpovědi pak vytváří důkaz, že kontrolované tokeny splňují dohodnuté pravidlo právě pod těmito vahami. Klient může důkaz ověřit, aniž by dostal přístup k samotným vahám.
10
29
Důležitá výhrada: FlashProve dokládá konkrétní tvrzení o tokenech a zvoleném pravidle. Neprokazuje, že je model bezpečný, že poskytovatel poctivě dodržel každý detail nasazení ani že každý typ náhodně generovaného výstupu vznikl přesně deklarovaným způsobem.
10
29
Co lze ověřit — a co ne
Ověřenou odpověď lze svázat s konkrétním závazkem k vahám modelu, místo aby klient spoléhal jen na název modelu uvedený službou. To může pomoci odhalit záměnu za jiný model a ztížit některé pokusy o únos konverzace: odpověď, která neprojde ověřením vůči očekávanému závazku, lze odmítnout. Anthropic uvádí také možné využití při bezpečnostním testování — ověřit, že zákazníkům následně slouží stejný model, jaký hodnotitelé testovali.
10
40
K tomu je ale třeba vědět, kterému závazku důvěřovat. Důkaz lze ověřit vůči zadanému závazku a veřejným souborům potřebným k ověření; sám o sobě nedokládá, že závazek skutečně patří k modelu, za který ho poskytovatel vydává. A ověřená identita není bezpečnostní certifikát: i autentický model může vytvořit škodlivou nebo chybnou odpověď.
30
32
Jak fungují dvě fáze: závazek a důkaz k odpovědi
1. Jednorázový závazek. Poskytovatel spustí nad vahami modelu nástroj FlashProve pro vytvoření závazku a zveřejní materiály potřebné k jeho ověřování. Závazek obsahuje 32bajtový otisk, označovaný jako ID závazku, který jej váže ke konkrétní sadě vah. Samotné váhy zůstávají skryté.
30
39
2. Důkaz při odpovědi. Pro každou odpověď poskytovatel vytvoří důkaz, že kontrolované tokeny splňují zvolenou přijímací politiku pod závaznými vahami. Výchozí politika exact-match vyžaduje, aby každý kontrolovaný token byl tím, který by model vybral jako nejpravděpodobnější — tedy svou „greedy“ volbou. Dokumentovaná alternativa clipped-gap ověřuje, zda skóre tokenů splňuje stanovené pravidlo pro rozdíl ve skóre. To je jiné tvrzení než důkaz, že tokeny byly poctivě náhodně vzorkovány z určitého rozdělení.
20
32
3. Ověření klientem. Klient potřebuje očekávané ID závazku a související veřejné soubory, důkaz, požadavek, tvrzení o kontrolovaných tokenech a příslušnou politiku. Ověřovač běží na procesoru; nepotřebuje přístup k neveřejným vahám ani grafickou kartu.
29
30
34
Právě toto oddělení by mohlo být zajímavé pro poskytovatele uzavřených modelů: mohou nabídnout ověřitelný doklad o inferenci, aniž by klientům předali parametry modelu. Jde ale o možnou aplikaci, nikoli o důkaz, že FlashProve nasadila nějaká komerční služba.
16
29
Co ukázala demonstrace s modelem Llama 4 Maverick
FlashProve Anthropic předvedla na modelu Meta Llama 4 Maverick — směsné expertní architektuře (mixture of experts, MoE) s přibližně 400 miliardami parametrů. Uváděné výsledky je třeba číst v kontextu: propustnost vycházela z dávky požadavků, nikoli z průběžného chatu jednoho uživatele.
3
7
- Rychlost generování důkazů: Přibližně 110 tokenů za sekundu na jedné kartě Nvidia H100 při dávce 24 požadavků, každý s oknem o délce 1 024 tokenů. Zpracování dávky trvalo zhruba 223 sekund.
1
7
- Velikost důkazu: Přibližně 18,78 MB, obvykle zaokrouhlovaných na 19 MB, pro jeden požadavek o 1 024 tokenech.
1
7
- Ověření: V uvedeném benchmarku asi 17 sekund na procesoru využívajícím 24 vláken; při běhu na jednom vlákně přibližně 21 sekund.
1
19
- Příprava závazku: Jednorázová fáze vytvoření závazku trvala podle zveřejněných údajů asi 39 minut; veřejné materiály k závazku měly zhruba 6,5 MB.
7
13
Repozitář obsahuje také ověřovač napsaný v Lean a strojově ověřené výsledky o jeho korektnosti. Rozsah záruky je ale podstatný: zdokumentované tvrzení o korektnosti se týká ověřovače v Lean a tvrzení exact-match za uvedených předpokladů. U politiky clipped-gap je tvrzení užší. Neznamená to, že stejná záruka automaticky pokrývá každou implementaci, nasazení nebo způsob generování.
32
33
Hlavní náklady a omezení
Generování důkazů je výpočetně náročné. Podle zveřejněných měření vyžaduje přibližně 70 až 95krát více času GPU než běžná inference ve vLLM. Pro systém, který má k odpovědím přidávat ověřitelný důkaz, jde o značnou režii.
1
8
Předvedené okno je krátké. Repozitář popisuje demonstraci plnohodnotného modelu s kontextovým oknem 1 024 tokenů. Výsledek tedy nedokládá podporu delších kontextů.
23
Propustnost dávky nemusí vystihovat čekání uživatele. Uváděná rychlost je souhrnný výsledek pro 24 požadavků, jejichž zpracování trvalo přibližně 223 sekund. V reálné službě může výslednou odezvu prodloužit i čekání na sestavení dávky.
1
Záruka závisí na způsobu generování. Exact-match ověřuje volby modelu podle pravidla greedy. Varianta clipped-gap nedokazuje, že výstupní tokeny byly poctivě vybrány z konkrétního náhodného rozdělení. Ani jedna z politik nezaručuje, že odpověď je bezpečná, pravdivá nebo užitečná.
20
32
Kdo FlashProve vytvořil a v jakém je stavu
Na vývoji se podílel tým Frontier Red Team společnosti Anthropic spolu s odborníky a spolupracovníky z EPFL, MIT a StarkWare. Mezi uvedenými autory jsou výzkumníci Anthropic Roy Rinberg a Alex Allain a kryptograf Alessandro Chiesa, stejně jako další spolupracovníci.
10
31
Kód vyšel pod licencí Apache 2.0. Repozitář však označuje FlashProve za výzkumný artefakt, který se neudržuje a nepřijímá příspěvky. Open-source licence tedy neznamená, že projekt vyzývá komunitu k zasílání změn.
21
31
35
Podle zveřejněných informací Anthropic neplánuje FlashProve nasadit — ani ve vlastních službách, ani jinde. Spolu s upozorněním v repozitáři to projekt staví do role výzkumného prototypu pro zkoumání ověřitelné inference, nikoli hotového produktu nebo podporované produkční služby.
15
35