FlashProve, Anthropic का ओपन-सोर्स प्रोटोटाइप है, जिसका मकसद AI के इन्फ़रेंस को प्रमाणित करना है—यानी यह जाँचना कि जवाब तय किए गए मॉडल-वज़न के तहत बना। सेवा देने वाला पहले मॉडल के वज़न पर एक क्रिप्टोग्राफ़िक कमिटमेंट करता है, फिर जवाब के तय टोकनों के बारे में प्रमाण देता है। जाँच करने वाले को मॉडल के वज़न देखने की ज़रूरत नहीं होती।
यहाँ एक अहम बारीकी है: FlashProve एक सीमित, टोकन-स्तर के दावे की पुष्टि करता है। यह अपने-आप यह साबित नहीं करता कि मॉडल सुरक्षित है, सेवा देने की हर प्रक्रिया ईमानदार थी, या हर तरह का सैंपल किया हुआ जवाब दावे के मुताबिक ही बना।
10
29
यह क्या दिखा सकता है—और क्या नहीं
FlashProve के ज़रिए किसी जवाब को सिर्फ़ सेवा पर दिखाए गए मॉडल-नाम के बजाय वज़न के एक खास कमिटमेंट से जोड़ा जा सकता है। इससे मॉडल बदलकर जवाब देने की कोशिश पकड़ने और चैट हाईजैकिंग के कुछ तरीकों को मुश्किल बनाने में मदद मिल सकती है: अगर जवाब अपेक्षित कमिटमेंट के साथ सत्यापित न हो, तो क्लाइंट उसे अस्वीकार कर सकता है। Anthropic ने इसका एक संभावित उपयोग सुरक्षा-मूल्यांकन में भी बताया है—यह जाँचना कि जिस मॉडल का परीक्षण हुआ, वही बाद में ग्राहकों को दिया जा रहा है।
10
40
लेकिन इन उपयोगों के लिए क्लाइंट को पहले से पता होना चाहिए कि किस कमिटमेंट पर भरोसा करना है। प्रमाण यह जाँचता है कि जवाब दिए गए कमिटमेंट और सत्यापन के लिए उपलब्ध सार्वजनिक फ़ाइलों से मेल खाता है या नहीं; अकेले इससे यह साबित नहीं होता कि कमिटमेंट सचमुच उसी मॉडल का है जिसका नाम सेवा ने बताया है। और मॉडल की पहचान साबित होना, सुरक्षा प्रमाणपत्र मिलने जैसा नहीं है—असली मॉडल भी नुकसानदेह या ग़लत जवाब दे सकता है।
30
32
दो चरण: पहले कमिटमेंट, फिर जवाब का प्रमाण
1. ऑफ़लाइन कमिटमेंट। सेवा देने वाला FlashProve के कमिटर को मॉडल-वज़न पर चलाता है और कमिटमेंट से जुड़ी सामग्री प्रकाशित करता है। इसमें 32-बाइट का एक फ़िंगरप्रिंट होता है, जिसे कमिटमेंट ID कहा जाता है। यह किसी खास वज़न-समूह से प्रमाण को बाँधता है, जबकि वज़न छिपे रहते हैं।
30
39
2. हर जवाब के लिए ऑनलाइन प्रमाण। सेवा देने वाला ऐसा प्रमाण बनाता है कि जाँचे गए टोकन, कमिट किए गए वज़न के तहत चुनी गई स्वीकृति-नीति पर खरे उतरते हैं। FlashProve की डिफ़ॉल्ट एक्ज़ैक्ट-मैच नीति में हर जाँचा गया टोकन मॉडल की greedy पसंद होना चाहिए—यानी उस चरण में मॉडल का सबसे अधिक स्कोर वाला विकल्प। दस्तावेज़ में दी गई क्लिप्ड-गैप नीति टोकन के स्कोर के अंतर को तय नियम से जाँचती है। यह इस बात का प्रमाण नहीं है कि टोकन किसी तय यादृच्छिक वितरण से ईमानदारी से सैंपल किए गए।
20
32
3. क्लाइंट द्वारा सत्यापन। क्लाइंट प्रमाण को अपेक्षित कमिटमेंट ID और उससे जुड़ी सार्वजनिक फ़ाइलों के साथ-साथ अनुरोध, टोकन-दावे और नीति के आधार पर जाँचता है। सत्यापन CPU पर चल सकता है; उसे निजी वज़न या GPU की ज़रूरत नहीं होती।
29
30
34
यही अलगाव बंद मॉडल बनाने वाली कंपनियों के लिए इसे दिलचस्प बना सकता है: वे मॉडल के पैरामीटर दिए बिना इन्फ़रेंस-दावे की जाँच का तरीका दे सकती हैं। यह एक संभावित इस्तेमाल है—इसका मतलब यह नहीं कि किसी व्यावसायिक सेवा ने FlashProve लागू कर दिया है।
16
29
Llama 4 Maverick के परीक्षण में क्या दिखा
FlashProve का प्रदर्शन Meta के लगभग 400 अरब पैरामीटर वाले Llama 4 Maverick पर दिखाया गया। यह mixture-of-experts मॉडल है। बताए गए आँकड़ों को संदर्भ के साथ पढ़ना ज़रूरी है: टोकन-प्रति-सेकंड की रफ़्तार एक साथ चलाए गए अनुरोधों के बैच की थी, किसी एक उपयोगकर्ता की चैट की नहीं।
3
7
- प्रमाण बनाने की रफ़्तार: एक Nvidia H100 पर लगभग 110 टोकन प्रति सेकंड—24 अनुरोधों के बैच में, जहाँ हर अनुरोध की विंडो 1,024 टोकन की थी। पूरे बैच को लगभग 223 सेकंड लगे।
1
7
- प्रमाण का आकार: हर 1,024-टोकन अनुरोध के लिए लगभग 18.78 MB, जिसे आम तौर पर 19 MB कहा गया।
1
7
- सत्यापन का समय: रिपोर्ट किए गए बेंचमार्क में 24-थ्रेड CPU पर लगभग 17 सेकंड; एक थ्रेड पर लगभग 21 सेकंड।
1
19
- शुरुआती कमिटमेंट: एक बार की कमिटमेंट प्रक्रिया में लगभग 39 मिनट लगे और प्रकाशित कमिटमेंट सामग्री का आकार करीब 6.5 MB था।
7
13
रिपॉज़िटरी में Lean वेरिफ़ायर और मशीन से जाँचे गए soundness परिणाम भी हैं, लेकिन इनके दायरे की सीमा समझना ज़रूरी है। दर्ज soundness दावा, बताई गई धारणाओं के तहत, Lean वेरिफ़ायर और एक्ज़ैक्ट-मैच दावों से जुड़ा है; क्लिप्ड-गैप नीति के लिए दावा सीमित है। इसे इस बात का प्रमाण नहीं समझना चाहिए कि हर कार्यान्वयन, तैनाती या decoding mode को वही गारंटी मिलती है।
32
33
लागत और सीमाएँ
प्रमाण बनाना महँगा है। रिपोर्ट के मुताबिक, FlashProve में प्रमाण तैयार करने के लिए सामान्य vLLM इन्फ़रेंस की तुलना में लगभग 70–95 गुना GPU समय लगता है। हर जवाब के साथ सत्यापन योग्य सबूत जोड़ने की सोच के लिए यह बड़ा अतिरिक्त खर्च है।
1
8
दिखाया गया संदर्भ छोटा है। पूरे आकार के प्रदर्शन के लिए रिपॉज़िटरी 1,024-टोकन संदर्भ-विंडो बताती है। इससे लंबे संदर्भों का समर्थन साबित नहीं होता।
23
बैच की रफ़्तार का मतलब कम इंतज़ार नहीं। बताई गई रफ़्तार 24 अनुरोधों के बैच का कुल प्रदर्शन है, जिसे पूरा होने में करीब 223 सेकंड लगे। वास्तविक सेवा में बैच भरने के इंतज़ार से उपयोगकर्ता को जवाब मिलने में और देर हो सकती है।
1
डिकोडिंग की गारंटी खास नियम तक सीमित है। एक्ज़ैक्ट-मैच नीति greedy पसंद की जाँच करती है। क्लिप्ड-गैप विकल्प यह साबित नहीं करता कि आउटपुट टोकन किसी निर्दिष्ट यादृच्छिक सैंपलिंग वितरण से ईमानदारी से चुने गए। इनमें से कोई भी नीति यह साबित नहीं करती कि जवाब सुरक्षित, सच या उपयोगी है।
20
32
इसे किसने बनाया, और क्या यह तैयार उत्पाद है?
FlashProve को Anthropic की Frontier Red Team ने EPFL, MIT और StarkWare के सहयोगियों के साथ विकसित किया। सूचीबद्ध लेखकों में Anthropic के शोधकर्ता Roy Rinberg और Alex Allain, और क्रिप्टोग्राफ़र Alessandro Chiesa समेत अन्य सहयोगी शामिल हैं।
10
31
कोड Apache 2.0 लाइसेंस के तहत जारी किया गया है। लेकिन रिपॉज़िटरी इसे ऐसा शोध-आर्टिफ़ैक्ट बताती है जिसका रखरखाव नहीं हो रहा और जिसमें योगदान स्वीकार नहीं किए जा रहे। इसलिए ओपन-सोर्स लाइसेंस को परियोजना में बदलाव भेजने के खुले निमंत्रण के रूप में नहीं पढ़ना चाहिए।
21
31
35
रिपोर्टों के मुताबिक, Anthropic की FlashProve को अपनी कंपनी में या कहीं और तैनात करने की योजना नहीं है। रिपॉज़िटरी के रखरखाव संबंधी नोटिस के साथ देखें तो इसे तैयार उत्पाद या समर्थित प्रोडक्शन सेवा के बजाय प्रमाणित इन्फ़रेंस पर शोध करने वाला प्रोटोटाइप कहना ज़्यादा सही है।
15
35