O FlashProve é um protótipo de código aberto da Anthropic para o que a empresa chama de inferência verificável. A ideia é vincular uma resposta a um conjunto específico de pesos de modelo por meio de uma prova criptográfica — sem revelar os pesos. Um cliente pode conferir se os tokens verificados obedecem a uma regra combinada para aqueles pesos.
10
29
A ressalva é importante: a prova confirma uma afirmação definida sobre os tokens, não que o modelo seja seguro, que todos os detalhes do serviço tenham sido honestos ou que qualquer tipo de geração por amostragem tenha ocorrido como alegado.
20
32
O que a prova pode demonstrar
Se o serviço apresentar uma prova válida, o cliente poderá conferir a resposta em relação a um compromisso de pesos específico, em vez de depender apenas do nome do modelo exibido na interface. Isso pode ajudar a detectar a substituição por outro modelo e dificultar algumas tentativas de adulterar uma conversa: uma resposta que não passar na verificação esperada pode ser rejeitada. A Anthropic também aponta uma possível aplicação em avaliações de segurança, ao permitir verificar se o modelo testado é o mesmo que depois atende aos clientes.
10
40
Mas a verificação só faz sentido se o cliente souber qual compromisso deve aceitar. A prova é checada contra o compromisso e os arquivos públicos apresentados para a verificação; ela não demonstra, por si só, que aquele compromisso pertence de fato ao modelo anunciado pelo provedor. E confirmar a identidade do modelo não equivale a certificar sua segurança: um modelo autêntico ainda pode produzir respostas incorretas ou prejudiciais.
30
32
Como funcionam as etapas
1. Compromisso feito uma vez. O provedor executa o programa de compromisso do FlashProve sobre os pesos do modelo e publica os dados necessários. O compromisso inclui uma impressão digital de 32 bytes, chamada commitment ID, que vincula a prova a um conjunto específico de pesos. Os pesos não são divulgados.
30
39
2. Prova para cada resposta. Para uma resposta, o provedor gera uma prova de que os tokens verificados atendem a uma política de aceitação sob aqueles pesos. Na política padrão, chamada exact-match, cada token precisa ser a escolha gananciosa (greedy) do modelo — isto é, o token com maior pontuação naquele passo. A alternativa documentada, clipped-gap, verifica se as pontuações dos tokens obedecem a uma regra de diferença aceita. Essa é uma afirmação diferente de provar que os tokens foram sorteados honestamente segundo uma distribuição aleatória especificada.
20
32
3. Verificação pelo cliente. O cliente compara a prova com o commitment ID esperado e os arquivos públicos correspondentes, além de conferir a solicitação, a afirmação sobre os tokens e a política usada. A verificação roda em uma CPU e não exige acesso aos pesos privados nem a uma GPU.
29
30
34
Essa separação pode ser útil para provedores de modelos fechados: eles poderiam oferecer uma forma de conferir uma afirmação sobre a inferência sem entregar os parâmetros do modelo. Trata-se de uma aplicação possível, não de evidência de que um serviço comercial já tenha implantado o FlashProve.
16
29
O que mostrou o teste com o Llama 4 Maverick
A demonstração foi feita com o Llama 4 Maverick, da Meta, um modelo mixture of experts com cerca de 400 bilhões de parâmetros. Os números de desempenho precisam ser lidos com contexto: a taxa de geração de provas foi medida em um lote de solicitações, não no fluxo de conversa de uma única pessoa.
3
7
- Geração de provas: cerca de 110 tokens por segundo em uma Nvidia H100, processando um lote de 24 solicitações, cada uma com uma janela de 1.024 tokens. O lote levou aproximadamente 223 segundos.
1
7
- Tamanho da prova: cerca de 18,78 MB — arredondados com frequência para 19 MB — por solicitação de 1.024 tokens.
1
7
- Verificação: cerca de 17 segundos em uma CPU com 24 threads no teste divulgado; com uma thread, a verificação levou cerca de 21 segundos.
1
19
- Preparação do compromisso: a etapa inicial, feita uma vez, levou aproximadamente 39 minutos. Os dados de compromisso publicados tinham cerca de 6,5 MB.
7
13
O repositório também inclui um verificador em Lean e resultados de correção verificados por máquina. O alcance dessa garantia, porém, é específico: a alegação documentada de correção diz respeito ao verificador em Lean e a afirmações de exact-match, sob as premissas declaradas. Para a política clipped-gap, a afirmação é mais restrita. Isso não significa que toda implementação, implantação ou forma de decodificação esteja coberta pela mesma garantia.
32
33
Custos e limitações
Gerar provas é caro. O trabalho de prova relatado usa cerca de 70 a 95 vezes mais tempo de GPU do que a inferência comum com vLLM. É um custo expressivo para um sistema que pretende anexar evidências às respostas.
1
8
A janela demonstrada é curta. O repositório descreve uma janela de contexto de 1.024 tokens para a demonstração com o modelo em escala completa. O resultado, portanto, não demonstra suporte a contextos mais longos.
23
A taxa em lote não mostra toda a espera. Os cerca de 110 tokens por segundo são uma taxa agregada para um lote de 24 solicitações, cujo processamento levou aproximadamente 223 segundos. Em um serviço, o tempo de espera para reunir solicitações em um lote poderia aumentar ainda mais a latência percebida pelo usuário.
1
A garantia depende da regra de decodificação. O exact-match verifica escolhas gananciosas. Já o clipped-gap não prova que os tokens foram sorteados honestamente de uma distribuição aleatória específica. Nenhuma das políticas certifica que a resposta do modelo seja segura, verdadeira ou útil.
20
32
Quem desenvolveu e qual é o status do projeto
O FlashProve foi desenvolvido pela Frontier Red Team da Anthropic com colaboradores da EPFL, do MIT e da StarkWare. Entre os autores listados estão os pesquisadores da Anthropic Roy Rinberg e Alex Allain, além do criptógrafo Alessandro Chiesa e outros colaboradores.
10
31
O código foi publicado sob a licença Apache 2.0. Isso não significa, porém, que o projeto esteja sendo mantido: o repositório o descreve como um artefato de pesquisa sem manutenção e que não aceita contribuições.
21
31
35
Segundo relatos, a Anthropic não planeja implantar o FlashProve, nem na própria empresa nem em outro lugar. Junto com o aviso do repositório, isso deixa claro o estágio do projeto: um protótipo de pesquisa para explorar a inferência verificável, não um produto final ou um serviço de produção com suporte.
15
35