AI 서비스가 유명 모델 이름을 내걸더라도, 실제로 그 모델을 썼는지 이용자가 답변만 보고 확인하기는 어렵다. 앤트로픽의 FlashProve는 이 문제에 암호학적 증명을 적용한 오픈소스 시제품이다. 서비스 제공자는 모델 가중치를 공개하지 않은 채, 특정 답변의 토큰이 미리 약정한 가중치와 정해진 규칙에 부합한다고 증명할 수 있다.
10
29
다만 증명의 범위를 정확히 볼 필요가 있다. FlashProve가 증명하는 것은 정해진 토큰 단위의 주장이지, 모델이 안전하거나 답변이 사실이라는 보증은 아니다. 또 모든 방식의 무작위 생성 결과가 주장대로 만들어졌다는 점까지 입증하는 것도 아니다.
10
29
무엇을 확인할 수 있나
답변을 모델 이름표만 믿고 받아들이는 대신, 이용자는 답변이 특정 **가중치 커밋먼트(weight commitment)**와 맞는지 확인할 수 있다. 따라서 서비스가 다른 모델로 바꿔치기했을 가능성을 드러내거나, 일부 대화 가로채기 시도에서 예상한 모델의 증명이 없는 답변을 거부하는 데 쓰일 수 있다. 앤트로픽은 안전성 평가에서 시험한 모델과 실제 이용자에게 제공되는 모델이 같은지 확인하는 사례도 제시했다.
10
40
하지만 검증자가 신뢰할 만한 커밋먼트를 알고 있어야 한다. 증명은 제출된 커밋먼트와 공개 검증 자료를 기준으로 확인할 뿐, 그 커밋먼트가 광고된 모델의 것임을 저절로 입증하지는 않는다. 무엇보다 모델이 진짜라고 확인돼도 그 답변이 안전하거나 정확하다는 뜻은 아니다.
30
32
한 번 약정하고, 답변마다 증명한다
1. 오프라인 약정: 제공자는 FlashProve의 커미터를 모델 가중치에 실행하고, 커밋먼트 자료를 공개한다. 여기에는 특정 가중치 집합을 가리키는 32바이트 지문인 커밋먼트 ID가 포함된다. 가중치 자체는 공개하지 않는다.
30
39
2. 응답별 증명 생성: 답변을 제공할 때, 선택한 승인 정책에 따라 확인 대상 토큰이 약정된 가중치 아래에서 규칙을 만족한다는 증명을 만든다. 기본값인 정확 일치(exact-match) 정책은 확인하는 각 토큰이 모델의 탐욕적 선택(greedy choice)이었음을 요구한다. 문서화된 대안인 클리핑 갭(clipped-gap) 정책은 토큰 점수가 허용한 점수 차이 규칙을 만족하는지 확인한다. 이는 특정 무작위 분포에 따라 토큰이 정직하게 추출됐다는 증명과는 다른 주장이다.
20
32
3. 이용자 검증: 이용자는 증명과 함께 예상한 커밋먼트 ID, 공개 커밋먼트 자료, 요청 내용, 토큰에 관한 주장과 적용 정책을 확인한다. 검증기는 CPU에서 실행되며 비공개 가중치나 GPU가 필요하지 않다.
29
30
34
이 방식은 가중치를 공개하기 어려운 폐쇄형 모델 제공자에게도 잠재적인 활용 여지를 준다. 고객에게 모델 파라미터를 넘기지 않고 추론 결과에 대한 확인 수단을 제공할 수 있기 때문이다. 다만 이는 가능한 활용 사례이지, 상용 서비스가 FlashProve를 도입했다는 뜻은 아니다.
16
29
Llama 4 Maverick 시연에서 나온 수치
FlashProve는 메타의 약 4,000억 파라미터 혼합 전문가(MoE) 모델인 Llama 4 Maverick으로 시연됐다. 성능 수치는 배치 처리 결과라는 점을 함께 봐야 한다. 한 사용자의 대화가 초당 110토큰으로 처리됐다는 의미는 아니다.
3
7
- 증명 생성 처리량: 엔비디아 H100 한 장에서 요청 24개를 묶어 처리했을 때 초당 약 110토큰. 요청마다 1,024토큰 창을 사용했고 배치 처리에는 약 223초가 걸렸다.
1
7
- 증명 파일 크기: 1,024토큰 요청당 약 18.78MB, 보통 약 19MB로 표기된다.
1
7
- 검증 시간: 보고된 벤치마크에서 CPU 24스레드 기준 약 17초, 1스레드 기준 약 21초였다.
1
19
- 초기 커밋먼트 작업: 일회성 약정 단계는 약 39분이 걸렸고, 공개 커밋먼트 자료는 약 6.5MB였다.
7
13
저장소에는 Lean 검증기와 기계 검증된 건전성(soundness) 결과도 포함돼 있다. 다만 Lean으로 증명된 건전성 주장은 명시된 가정 아래 정확 일치 방식의 주장에 관한 것이다. 클리핑 갭 정책에서 보장하는 내용은 더 좁다. 이를 모든 구현, 배포 환경, 디코딩 방식이 같은 보장을 받는다는 뜻으로 확대해석해서는 안 된다.
32
33
비용과 기술적 한계
증명 생성에 연산 자원이 많이 든다. 보고된 FlashProve 작업은 일반 vLLM 추론보다 GPU 사용 시간이 약 70~95배에 달한다. 답변에 증거를 붙이는 시스템으로 쓰려면 상당한 부담이다.
1
8
시연 범위는 1,024토큰이다. 저장소가 설명하는 전체 규모 시연은 1,024토큰 문맥 창을 사용했다. 따라서 이 결과만으로 더 긴 문맥을 지원한다고 볼 수는 없다.
23
배치 처리량은 대기 시간을 가릴 수 있다. 초당 약 110토큰이라는 수치는 요청 24개를 묶은 처리량이며, 해당 배치를 처리하는 데 약 223초가 걸렸다. 실제 서비스에서는 배치를 구성하기 위해 기다리는 시간까지 이용자 지연에 더해질 수 있다.
1
디코딩 방식에 따라 증명의 의미가 달라진다. 정확 일치는 탐욕적 선택을 확인한다. 클리핑 갭은 출력 토큰이 특정 무작위 분포에서 정직하게 추출됐음을 증명하지 않는다. 어느 정책도 답변이 안전하고 참이며 유용한지 보증하지 않는다.
20
32
개발진과 공개 상태
FlashProve는 앤트로픽의 Frontier Red Team이 EPFL, MIT, StarkWare 연구자들과 협력해 개발했다. 공개된 저자에는 앤트로픽 연구자 Roy Rinberg와 Alex Allain, 암호학자 Alessandro Chiesa 등이 포함된다.
10
31
코드는 Apache 2.0 라이선스로 공개됐다. 그러나 저장소는 FlashProve를 유지보수하지 않으며 기여도 받지 않는 연구 산출물로 설명한다. 오픈소스 라이선스가 프로젝트에 변경 사항을 제출해 달라는 뜻은 아니다.
21
31
35
보도에 따르면 앤트로픽은 FlashProve를 자사나 다른 곳에 배포할 계획이 없다고 밝혔다. 저장소의 유지보수 안내와 함께 보면, FlashProve는 검증 가능한 추론을 탐색하기 위한 연구용 시제품이지 완성된 제품이나 지원 중인 상용 서비스가 아니다.
15
35