FlashProve to otwartoźródłowy prototyp Anthropic do weryfikowalnego wnioskowania. Dostawca najpierw wiąże się kryptograficznie z konkretnym zestawem wag modelu, a następnie może tworzyć dowody, że wskazane tokeny odpowiedzi spełniają ustaloną regułę dla tych wag. Klient sprawdza dowód bez dostępu do samych wag. Ważne zastrzeżenie: FlashProve potwierdza określone twierdzenie o tokenach — nie dowodzi, że model jest bezpieczny, że cały proces obsługi był uczciwy ani że każdy rodzaj losowanej odpowiedzi powstał w deklarowany sposób.
10
29
Co FlashProve może wykazać, a czego nie
Zweryfikowana odpowiedź może być powiązana z konkretnym zobowiązaniem do wag (weight commitment), zamiast opierać się wyłącznie na nazwie modelu podanej przez usługę. Mogłoby to pomóc wykrywać podmianę modelu i utrudnić niektóre próby przejęcia lub modyfikowania rozmowy: odpowiedź, która nie przejdzie weryfikacji względem oczekiwanego zobowiązania, można odrzucić. Anthropic wskazuje też na możliwe zastosowanie przy audytach bezpieczeństwa — sprawdzenie, czy testowany model jest tym samym, który później obsługuje klientów.
10
40
Warunkiem jest jednak to, by klient wiedział, któremu zobowiązaniu ufać. Dowód weryfikuje odpowiedź względem zobowiązania i publicznych plików przekazanych do sprawdzenia; sam z siebie nie potwierdza, że dane zobowiązanie rzeczywiście należy do modelu reklamowanego przez dostawcę. A potwierdzenie tożsamości modelu nie jest certyfikatem bezpieczeństwa: autentyczny model nadal może podawać szkodliwe lub błędne odpowiedzi.
30
32
Dwa etapy: najpierw zobowiązanie, potem dowody odpowiedzi
1. Zobowiązanie przygotowane z wyprzedzeniem. Dostawca uruchamia program FlashProve na wagach modelu i publikuje materiały potrzebne do późniejszej weryfikacji. Zobowiązanie zawiera 32-bajtowy odcisk, zwany identyfikatorem zobowiązania (commitment ID), który wiąże dowód z konkretnym zestawem wag. Same wagi pozostają nieujawnione.
30
39
2. Dowód dla odpowiedzi. Dla każdej odpowiedzi dostawca generuje dowód, że sprawdzane tokeny spełniają wybraną politykę akceptacji dla tych zobowiązanych wag. Domyślna polityka exact-match wymaga, by każdy sprawdzany token był wyborem modelu w trybie zachłannym (greedy). Udokumentowana alternatywa, clipped-gap, sprawdza, czy wyniki tokenów mieszczą się w zaakceptowanych granicach różnicy punktacji. To inne twierdzenie niż dowód, że tokeny zostały uczciwie wylosowane z określonego rozkładu.
20
32
3. Weryfikacja po stronie klienta. Klient sprawdza dowód względem oczekiwanego identyfikatora zobowiązania i powiązanych z nim publicznych plików, a także względem żądania, deklaracji dotyczącej tokenów i wybranej polityki. Weryfikator działa na procesorze CPU; nie potrzebuje prywatnych wag ani GPU.
29
30
34
Taki podział może być interesujący dla dostawców zamkniętych modeli: mogą udostępniać sposób sprawdzenia twierdzenia o wnioskowaniu bez przekazywania klientom parametrów modelu. To potencjalne zastosowanie, a nie dowód, że jakakolwiek komercyjna usługa już wdrożyła FlashProve.
16
29
Co pokazała demonstracja na Llama 4 Maverick
FlashProve zademonstrowano na modelu Meta Llama 4 Maverick, liczącym około 400 miliardów parametrów i wykorzystującym architekturę mixture-of-experts. Podawane wyniki warto czytać z kontekstem: przepustowość zmierzono dla partii zapytań, a nie pojedynczej rozmowy użytkownika.
3
7
- Szybkość generowania dowodów: około 110 tokenów na sekundę na jednym układzie Nvidia H100, dla partii 24 zapytań, każde z oknem 1024 tokenów. Przetworzenie partii zajęło około 223 sekund.
1
7
- Rozmiar dowodu: około 18,78 MB — często zaokrąglane do 19 MB — dla jednego zapytania obejmującego 1024 tokeny.
1
7
- Weryfikacja: w opisywanym teście około 17 sekund na CPU z 24 wątkami; przy jednym wątku około 21 sekund.
1
19
- Przygotowanie zobowiązania: jednorazowy etap przygotowawczy trwał około 39 minut, a opublikowane materiały zobowiązania miały około 6,5 MB.
7
13
Repozytorium zawiera też weryfikator w Lean oraz formalnie sprawdzone wyniki dotyczące jego poprawności, ale zakres tych gwarancji jest istotny. Udokumentowany wynik dotyczy weryfikatora Lean i twierdzeń typu exact-match przy określonych założeniach; polityka clipped-gap wspiera węższe twierdzenie. Nie oznacza to, że identyczna gwarancja obejmuje każdą implementację, wdrożenie i metodę dekodowania.
32
33
Koszty i ograniczenia
Generowanie dowodów jest kosztowne obliczeniowo. Według podanych wyników wymaga około 70–95 razy więcej czasu pracy GPU niż zwykłe wnioskowanie z użyciem vLLM. To znaczny narzut, jeśli dowód miałby towarzyszyć każdej odpowiedzi.
1
8
Pokazana demonstracja obejmuje krótkie okno. Repozytorium opisuje demonstrację pełnowymiarowego modelu z oknem kontekstu 1024 tokenów. Wynik nie potwierdza więc obsługi dłuższego kontekstu.
23
Wysoka przepustowość dla partii nie oznacza krótkiego czekania. Podawana szybkość to łączny wynik dla 24 zapytań, których przetworzenie zajęło około 223 sekund. W usłudze czas oczekiwania na zebranie odpowiednio dużej partii mógłby dodatkowo wydłużyć opóźnienie odczuwane przez użytkownika.
1
Gwarancja zależy od sposobu dekodowania. Exact-match sprawdza zachłanne wybory modelu. Opcja clipped-gap nie dowodzi, że tokeny wylosowano uczciwie z konkretnego rozkładu. Żadna z tych polityk nie potwierdza, że odpowiedź jest bezpieczna, prawdziwa lub przydatna.
20
32
Kto stworzył FlashProve i na jakich warunkach go udostępniono
FlashProve opracował zespół Anthropic Frontier Red Team we współpracy z badaczami z EPFL, MIT i StarkWare. Wśród wymienionych autorów są badacze Anthropic Roy Rinberg i Alex Allain oraz kryptograf Alessandro Chiesa, a także inni współpracownicy.
10
31
Kod udostępniono na licencji Apache 2.0. Repozytorium określa jednak FlashProve jako artefakt badawczy, który nie jest utrzymywany, a jego twórcy nie przyjmują kontrybucji. Otwarta licencja nie oznacza więc, że projekt zaprasza do zgłaszania zmian.
21
31
35
Według doniesień Anthropic nie planuje wdrożyć FlashProve — ani we własnych usługach, ani gdzie indziej. W połączeniu z informacją o braku utrzymania repozytorium przedstawia to projekt jako prototyp badawczy do eksplorowania weryfikowalnego wnioskowania, a nie gotowy produkt czy wspieraną usługę produkcyjną.
15
35