FlashProve es un prototipo de Anthropic para la inferencia verificable: un proveedor fija criptográficamente los pesos de un modelo y luego genera una prueba de que ciertos tokens de una respuesta cumplen una regla acordada bajo esos pesos. El cliente puede comprobarla sin ver los parámetros privados. La precisión importa: FlashProve demuestra una afirmación concreta sobre tokens, no que el modelo sea seguro ni que cualquier forma de generar texto se haya seguido fielmente.
10
29
Qué puede demostrar —y qué no—
Una respuesta verificada puede vincularse a un compromiso de pesos específico, en lugar de depender solo del nombre de modelo que muestra un servicio. Esto podría ayudar a detectar una sustitución del modelo y dificultar algunos intentos de secuestrar una conversación: si la respuesta no verifica contra el compromiso esperado, el cliente puede rechazarla. Anthropic también señala un posible uso en evaluaciones de seguridad: comprobar que el modelo evaluado sea el mismo que luego se ofrece a los clientes.
10
40
Pero para eso el cliente necesita saber qué compromiso debe considerar confiable. La prueba se verifica contra ese compromiso y los archivos públicos asociados; por sí sola, no demuestra que el compromiso pertenezca realmente al modelo que el proveedor anuncia. Y confirmar la identidad del modelo no equivale a certificar su seguridad: un modelo auténtico también puede dar respuestas dañinas o equivocadas.
30
32
Dos etapas: primero el compromiso, luego las pruebas
1. Compromiso fuera de línea. El proveedor ejecuta el programa de compromiso de FlashProve sobre los pesos del modelo y publica el material necesario para verificarlos. El compromiso incluye una huella de 32 bytes, llamada commitment ID, que lo vincula a un conjunto específico de pesos, sin revelarlos.
30
39
2. Prueba en línea. Para cada respuesta, el proveedor genera una prueba de que los tokens examinados cumplen una política de aceptación bajo esos pesos. La opción predeterminada, exact match (coincidencia exacta), exige que cada token comprobado sea la elección voraz del modelo: el token con la puntuación más alta en ese paso. La alternativa documentada, clipped gap, comprueba una regla aceptada sobre las diferencias entre puntuaciones. No demuestra que los tokens se hayan muestreado honestamente de una distribución aleatoria específica.
20
32
3. Verificación por el cliente. El cliente comprueba la prueba usando el ID de compromiso esperado y los archivos públicos correspondientes, además de la solicitud, la afirmación sobre los tokens y la política elegida. El verificador funciona en una CPU; no necesita los pesos privados ni una GPU.
29
30
34
Esta separación podría interesar a proveedores de modelos cerrados: les permitiría ofrecer una forma de comprobar ciertas afirmaciones sobre la inferencia sin entregar los parámetros del modelo. Es una posible aplicación, no una señal de que un servicio comercial ya haya implementado FlashProve.
16
29
Qué mostró la prueba con Llama 4 Maverick
La demostración se hizo con Llama 4 Maverick, de Meta, un modelo de mezcla de expertos de alrededor de 400.000 millones de parámetros. Las cifras de rendimiento requieren contexto: la tasa de generación de pruebas se midió sobre un lote de solicitudes, no en el flujo de conversación de una sola persona.
3
7
- Rendimiento de generación: unos 110 tokens por segundo con una Nvidia H100, procesando un lote de 24 solicitudes con ventanas de 1.024 tokens cada una. El lote tardó unos 223 segundos.
1
7
- Tamaño de la prueba: cerca de 18,78 MB —a menudo redondeados a 19 MB— por solicitud de 1.024 tokens.
1
7
- Verificación: alrededor de 17 segundos en una CPU de 24 hilos; la ejecución con un hilo tomó unos 21 segundos en el benchmark informado.
1
19
- Preparación del compromiso: la fase inicial, que se hace una sola vez para ese conjunto de pesos, tardó unos 39 minutos; el material de compromiso publicado ocupó aproximadamente 6,5 MB.
7
13
El repositorio también incluye un verificador en Lean y resultados de solidez comprobados por máquina. El alcance, sin embargo, es específico: la afirmación formal documentada cubre el verificador Lean y las pruebas de coincidencia exacta bajo ciertos supuestos. La política clipped gap respalda una afirmación más acotada. No debe interpretarse como garantía de que todas las implementaciones, despliegues o formas de decodificación estén cubiertos del mismo modo.
32
33
Costes y límites prácticos
Generar pruebas es caro. Según las cifras reportadas, el proceso de prueba utiliza entre 70 y 95 veces más tiempo de GPU que la inferencia habitual con vLLM. Es un coste considerable si se quiere adjuntar evidencia a cada respuesta.
1
8
La ventana demostrada es limitada. Para la prueba a escala completa, el repositorio describe una ventana de contexto de 1.024 tokens. El resultado no demuestra que FlashProve admita contextos más largos.
23
El rendimiento por lotes no cuenta toda la espera. La tasa destacada corresponde a 24 solicitudes procesadas en unos 223 segundos. En un servicio, esperar a reunir solicitudes para formar un lote podría sumar latencia para quien está esperando una respuesta.
1
La garantía depende de cómo se decodifican los tokens. La coincidencia exacta comprueba elecciones voraces. La alternativa clipped gap no prueba que los tokens se hayan extraído honestamente de una distribución de muestreo aleatorio concreta. Ninguna de las dos políticas certifica que la respuesta sea segura, veraz o útil.
20
32
Quién lo desarrolló y en qué estado está
FlashProve fue desarrollado por el Frontier Red Team de Anthropic con colaboradores de EPFL, MIT y StarkWare. Entre los autores figuran los investigadores de Anthropic Roy Rinberg y Alex Allain, y el criptógrafo Alessandro Chiesa, además de otros colaboradores.
10
31
El código se publicó bajo la licencia Apache 2.0. Aun así, el repositorio lo describe como un artefacto de investigación sin mantenimiento y que no acepta contribuciones: que sea de código abierto no significa que el equipo esté invitando a enviar cambios al proyecto.
21
31
35
Según los reportes, Anthropic no tiene planes de desplegar FlashProve, ni dentro de la compañía ni en otro lugar. Junto con el aviso de mantenimiento del repositorio, esto lo sitúa como un prototipo de investigación para explorar la inferencia verificable, no como un producto terminado ni un servicio de producción con soporte.
15
35