FlashProve là nguyên mẫu mã nguồn mở của Anthropic về suy luận có thể kiểm chứng. Nhà cung cấp cam kết mật mã với một bộ trọng số mô hình, rồi tạo bằng chứng rằng các token cụ thể trong câu trả lời đáp ứng quy tắc đã thỏa thuận dưới bộ trọng số đó. Khách hàng có thể kiểm tra bằng chứng mà không cần xem trọng số. Điểm cần phân biệt: FlashProve chứng minh một tuyên bố cụ thể ở cấp độ token — chứ không chứng minh mô hình an toàn, mọi khâu phục vụ đều trung thực, hay mọi kiểu tạo văn bản ngẫu nhiên đều diễn ra đúng như tuyên bố.
10
29
FlashProve có thể chứng minh điều gì?
Thay vì chỉ dựa vào tên mô hình mà dịch vụ hiển thị, người dùng có thể kiểm tra câu trả lời dựa trên một cam kết trọng số cụ thể. Cách này có thể giúp phát hiện việc tráo mô hình, đồng thời khiến một số hình thức chiếm quyền cuộc trò chuyện khó hơn: nếu câu trả lời không xác minh được với cam kết dự kiến, phía nhận có thể từ chối nó. Anthropic cũng nêu khả năng dùng cơ chế này trong đánh giá an toàn, để kiểm tra mô hình được thử nghiệm có phải là mô hình sau đó phục vụ khách hàng hay không.
10
40
Tuy nhiên, người dùng cần biết trước nên tin cam kết nào. Bằng chứng chỉ được kiểm tra đối chiếu với cam kết và các tệp công khai dùng cho việc xác minh; tự nó không chứng minh cam kết đó thực sự thuộc về mô hình mà nhà cung cấp quảng bá. Và xác thực danh tính mô hình không đồng nghĩa với chứng nhận an toàn: một mô hình đúng danh tính vẫn có thể đưa ra câu trả lời sai hoặc có hại.
30
32
Hai giai đoạn: cam kết một lần, tạo bằng chứng cho từng câu trả lời
1. Tạo cam kết ngoại tuyến. Nhà cung cấp chạy công cụ tạo cam kết của FlashProve trên trọng số mô hình rồi công bố dữ liệu cam kết. Trong đó có một dấu vân tay dài 32 byte, gọi là commitment ID, gắn bằng chứng với một bộ trọng số cụ thể. Trọng số vẫn được giữ kín.
30
39
2. Tạo bằng chứng trực tuyến. Với mỗi câu trả lời, nhà cung cấp tạo bằng chứng rằng các token được kiểm tra đáp ứng một chính sách chấp nhận dưới bộ trọng số đã cam kết. Chính sách mặc định, exact-match, yêu cầu mỗi token được kiểm tra phải là lựa chọn mà mô hình ưu tiên nhất theo cách giải mã tham lam. Phương án clipped-gap được tài liệu mô tả kiểm tra điểm số token theo một quy tắc khoảng cách điểm chấp nhận được; đây là một tuyên bố khác với việc chứng minh token được lấy mẫu trung thực từ một phân phối ngẫu nhiên đã chỉ định.
20
32
3. Khách hàng xác minh. Phía nhận kiểm tra bằng chứng bằng commitment ID dự kiến và các tệp cam kết công khai liên quan, cùng với yêu cầu, tuyên bố về token và chính sách được áp dụng. Trình xác minh chạy trên CPU, không cần truy cập trọng số bí mật hay dùng GPU.
29
30
34
Quy trình tách biệt này có thể hữu ích với nhà cung cấp mô hình đóng: họ có thể đưa ra cách kiểm tra một tuyên bố về suy luận mà không giao tham số mô hình cho khách hàng. Đây là một ứng dụng tiềm năng, không phải bằng chứng rằng dịch vụ thương mại nào đã triển khai FlashProve.
16
29
Thử nghiệm trên Llama 4 Maverick cho thấy gì?
FlashProve được trình diễn với Llama 4 Maverick của Meta, mô hình hỗn hợp chuyên gia (mixture-of-experts) có khoảng 400 tỷ tham số. Các con số hiệu năng cần được đặt đúng bối cảnh: thông lượng được đo trên một lô yêu cầu, không phải luồng trò chuyện của một người dùng đơn lẻ.
3
7
- Tốc độ tạo bằng chứng: Khoảng 110 token mỗi giây trên một GPU Nvidia H100, với lô 24 yêu cầu, mỗi yêu cầu có cửa sổ 1.024 token. Xử lý cả lô mất khoảng 223 giây.
1
7
- Kích thước bằng chứng: Khoảng 18,78 MB — thường được làm tròn thành 19 MB — cho mỗi yêu cầu 1.024 token.
1
7
- Thời gian xác minh: Khoảng 17 giây trên CPU 24 luồng trong phép đo được báo cáo; chạy một luồng mất khoảng 21 giây.
1
19
- Thiết lập cam kết: Giai đoạn cam kết một lần mất khoảng 39 phút; dữ liệu cam kết được công bố có dung lượng khoảng 6,5 MB.
7
13
Kho mã còn có trình xác minh Lean và các kết quả soundness được kiểm chứng bằng máy. Phạm vi bảo đảm cần được hiểu chính xác: tuyên bố soundness được tài liệu hóa áp dụng cho trình xác minh Lean và các tuyên bố exact-match theo những giả định đã nêu; chính sách clipped-gap hỗ trợ một tuyên bố hẹp hơn. Điều này không có nghĩa mọi cách triển khai, môi trường vận hành hay chế độ giải mã đều được bảo đảm như nhau.
32
33
Những đánh đổi và giới hạn
Tạo bằng chứng tốn kém. Khối lượng tính toán được báo cáo dùng lượng thời gian GPU cao gấp khoảng 70–95 lần so với suy luận thông thường bằng vLLM. Đây là mức phụ phí đáng kể nếu muốn gắn bằng chứng vào từng câu trả lời.
1
8
Cửa sổ thử nghiệm còn ngắn. Kho mã mô tả cửa sổ ngữ cảnh 1.024 token cho phần trình diễn với mô hình đầy đủ, nên kết quả chưa chứng minh FlashProve hỗ trợ ngữ cảnh dài hơn.
23
Thông lượng theo lô không phản ánh hết thời gian chờ. Con số nổi bật là tốc độ tổng hợp của lô 24 yêu cầu, vốn mất khoảng 223 giây để xử lý. Trong một dịch vụ thực tế, thời gian chờ gom đủ yêu cầu thành lô có thể làm tăng độ trễ người dùng.
1
Bảo đảm phụ thuộc vào cách giải mã. Exact-match kiểm tra lựa chọn tham lam của mô hình. Tùy chọn clipped-gap không chứng minh token được lấy mẫu trung thực từ một phân phối ngẫu nhiên cụ thể. Cả hai chính sách đều không chứng minh câu trả lời an toàn, chính xác hay hữu ích.
20
32
Ai phát triển FlashProve, và dự án đang ở giai đoạn nào?
FlashProve do Frontier Red Team của Anthropic phát triển cùng các cộng tác viên từ EPFL, MIT và StarkWare. Danh sách tác giả có các nhà nghiên cứu Anthropic Roy Rinberg và Alex Allain, cùng nhà mật mã học Alessandro Chiesa và những cộng tác viên khác.
10
31
Mã được phát hành theo giấy phép Apache 2.0. Tuy vậy, kho dự án gọi FlashProve là một sản phẩm nghiên cứu không được duy trì và không nhận đóng góp; có giấy phép mã nguồn mở không đồng nghĩa dự án đang mời gửi thay đổi.
21
31
35
Các bài đưa tin cho biết Anthropic không có kế hoạch triển khai FlashProve tại Anthropic hay nơi nào khác. Cùng với thông báo về tình trạng bảo trì trong kho mã, điều này cho thấy đây là nguyên mẫu nghiên cứu để khám phá cách kiểm chứng suy luận — chưa phải sản phẩm hoàn chỉnh hay dịch vụ sản xuất được hỗ trợ.
15
35