उत्तरप्रकाशित16 स्रोत
Gemini की डबल-ब्लाइंड परीक्षा: Google को नहीं दिखे सवाल, परीक्षकों को नहीं मिले मॉडल वेट्स
27 अगस्त 2026 को घोषित इस पायलट को Google DeepMind ने किसी proprietary frontier class AI मॉडल का दुनिया का पहला डबल ब्लाइंड मूल्यांकन बताया। टेस्ट में MLCommons के निजी AILuminate प्रॉम्प्ट इस्तेमाल हुए, जिनमें साइबर हमले, रासायनिक और जैविक खतरे, घृणास्पद भाषण, आत्म हानि और हिंसक अपराध से जुड़ी श्रेणियां शामिल थीं।...
प्रकाशितकर्ताGPT-5.6 Luna से संपादितGPT Image 1.5 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- 27 अगस्त 2026 को घोषित इस पायलट को Google DeepMind ने किसी proprietary frontier class AI मॉडल का दुनिया का पहला डबल ब्लाइंड मूल्यांकन बताया।
- टेस्ट में MLCommons के निजी AILuminate प्रॉम्प्ट इस्तेमाल हुए, जिनमें साइबर हमले, रासायनिक और जैविक खतरे, घृणास्पद भाषण, आत्म हानि और हिंसक अपराध से जुड़ी श्रेणियां शामिल थीं।
- यह तरीका बेंचमार्क की गोपनीयता और मॉडल वेट्स की सुरक्षा के बीच पुराने समझौते को कम करता है, लेकिन स्वतंत्र पुनरुत्पादन, कानूनी सुरक्षा, बेंचमार्क प्रबंधन और बड़े स्तर पर इस्तेमाल की चुनौतियां अभी बनी हुई हैं।
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: What was Google DeepMind’s first double-blind evaluation of a proprietary frontier AI model, conducted with the Singapore AI Safety Institut. Article summary: Google DeepMind’s pilot was a “double-blind evaluation” of Gemini 2.5 Flash-Lite: confidential, never-before-used MLCommons AILuminate prompts were run against the proprietary model without Google receiving the prompts a. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
Google DeepMind ने 27 अगस्त 2026 को Gemini 2.5 Flash-Lite के एक पायलट मूल्यांकन की जानकारी दी, जिसे उसने किसी proprietary, frontier-class AI मॉडल का दुनिया का पहला डबल-ब्लाइंड मूल्यांकन बताया। इस परियोजना में Singapore AI Safety Institute, OpenMined, AVERI और MLCommons भी शामिल थे।12
13
इस व्यवस्था में बाहरी मूल्यांकनकर्ताओं के गोपनीय टेस्ट प्रॉम्प्ट Google को नहीं दिखे और Google के मॉडल वेट्स मूल्यांकनकर्ताओं को नहीं दिए गए। दोनों पक्षों की संवेदनशील सामग्री एक हार्डवेयर-सुरक्षित वातावरण के भीतर मिली, जहां तय प्रक्रिया के अनुसार परीक्षण हुआ।
Gemini पायलट में क्या परखा गया?
पायलट में MLCommons के AILuminate सुरक्षा बेंचमार्क परिवार से चुने गए छोटे निजी सेट का इस्तेमाल किया गया। AVERI के अनुसार, ये प्रॉम्प्ट पहले Google DeepMind के सामने उजागर नहीं हुए थे। इनसे मॉडल के व्यवहार को साइबर हमले में सहायता, रासायनिक और जैविक खतरों, घृणास्पद भाषण, आत्म-हानि तथा हिंसक अपराध के लिए उकसाने जैसे क्षेत्रों में परखा गया।1
बेंचमार्क सामग्री पूरी प्रक्रिया के दौरान गोपनीय रही। AVERI ने प्रॉम्प्ट एन्क्रिप्ट किए, सुरक्षित वातावरण ने मॉडल और मूल्यांकन प्रक्रिया चलाई, और प्राप्त उत्तरों को सहमत मानदंडों के आधार पर डिक्रिप्ट करके ग्रेड किया गया।
यह पायलट सार्वजनिक लीडरबोर्ड या सामान्य मॉडल-स्कोर जारी करने के लिए नहीं था। न तो मूल प्रॉम्प्ट प्रकाशित किए गए और न ही प्रमुख संख्यात्मक परिणाम। इसका उद्देश्य मुख्य रूप से यह दिखाना था कि ऐसी मूल्यांकन पद्धति तकनीकी रूप से काम कर सकती है।1
डबल-ब्लाइंड सेटअप कैसे काम करता है?
मूल्यांकन Google Cloud Confidential Computing के Confidential Space में एक A3 Confidential VM पर चलाया गया। तकनीकी रिपोर्ट के अनुसार, Intel TDX ने होस्ट मेमोरी को एन्क्रिप्ट और अलग-थलग रखा, जबकि NVIDIA H100 Confidential GPU ने GPU मेमोरी में मौजूद मॉडल वेट्स को हार्डवेयर-आधारित एन्क्रिप्शन से सुरक्षित किया। मूल्यांकनकर्ताओं के प्रॉम्प्ट और Google की मॉडल सामग्री एन्क्रिप्टेड कनेक्शन के जरिए इस सुरक्षित वातावरण में पहुंचाई गई।13
इस डिजाइन में एन्क्रिप्टेड डेटा पाथ, हार्डवेयर फायरवॉल, सीमित अवधि वाला enclave lifecycle और OpenMined की PySyft policy layer भी शामिल थी। मॉडल, inference code, प्रॉम्प्ट और मूल्यांकन कोड केवल स्वीकृत enclave के भीतर एक साथ आए। वहीं तय computation चला और सीमित, अनुमत आउटपुट बाहर भेजे गए।13
Remote attestation क्यों जरूरी था?
सिर्फ एन्क्रिप्शन से यह साबित नहीं होता कि अंदर कौन-सा सॉफ्टवेयर चल रहा है। Remote attestation इस समस्या को संबोधित करने के लिए इस्तेमाल किया गया। अपनी संरक्षित सामग्री भेजने से पहले Google और मूल्यांकनकर्ता घोषित workload की जांच कर सकते थे तथा hardware और enclave configuration की पहचान करने वाले attestation quote को सत्यापित कर सकते थे। इस पुष्टि के बाद ही एन्क्रिप्टेड प्रॉम्प्ट और मॉडल सामग्री enclave को उपलब्ध कराई गई।13
प्रक्रिया पूरी होने पर enclave ने अनुमत मूल्यांकन आउटपुट लौटाए और उसे बंद कर दिया गया। इस भरोसे के मॉडल में Google enclave के भीतर मौजूद प्रॉम्प्ट नहीं पढ़ सकता था और बाहरी मूल्यांकनकर्ता मॉडल वेट्स निकाल नहीं सकते थे। यह केवल इस अनुबंध पर निर्भर रहने से मजबूत व्यवस्था है कि कोई पक्ष डेटा लॉग या दोबारा इस्तेमाल नहीं करेगा—हालांकि इससे हर तरह की भरोसे की आवश्यकता खत्म नहीं होती।13
यह तरीका किस समस्या को हल करने की कोशिश करता है?
AI मूल्यांकन में बेंचमार्क contamination एक लगातार बनी हुई समस्या है। यदि मॉडल ने टेस्ट प्रॉम्प्ट को प्रशिक्षण, fine-tuning या पहले के परीक्षणों के दौरान देख लिया हो, तो परिणाम उसकी वास्तविक क्षमता का कम भरोसेमंद संकेत बन सकते हैं। MLCommons के अनुसार, विश्वसनीय बेंचमार्क के लिए स्वच्छ डेटा, उसका स्पष्ट provenance, सावधानीपूर्वक sampling और इतनी पारदर्शिता जरूरी है कि दूसरे लोग समझ सकें कि परिणाम कैसे तैयार हुए।20
24
परंपरागत तरीकों में दो मुश्किल विकल्प दिखाई देते हैं:
- डेवलपर को प्रॉम्प्ट दे दें: इससे मूल्यांकन चलाना आसान होता है, लेकिन सुरक्षित रखे गए टेस्ट डेटा के लीक होने या भविष्य के प्रशिक्षण में शामिल हो जाने का खतरा रहता है।
- मूल्यांकनकर्ताओं को मॉडल वेट्स दे दें: इससे बेंचमार्क को सीधे मॉडल-डेवलपर के संपर्क से बचाया जा सकता है, लेकिन proprietary frontier मॉडल के लिए वेट्स साझा करना आम तौर पर स्वीकार्य नहीं होता।
- Confidential enclave का इस्तेमाल करें: मॉडल और बेंचमार्क हार्डवेयर-सुरक्षित वातावरण में साथ चलते हैं, जबकि कोई भी पक्ष दूसरे की गुप्त सामग्री को खुले रूप में हासिल नहीं करता।
इस तरह पायलट दोनों पक्षों की गोपनीयता बचाते हुए बाहरी मूल्यांकन कराने का एक संभावित रास्ता दिखाता है। लेकिन यह अपने-आप में यह साबित नहीं करता कि इससे निकाले गए सुरक्षा निष्कर्ष पूर्ण या अंतिम हैं।
पायलट की अहम सीमाएं
यह तकनीकी रूप से महत्वपूर्ण प्रदर्शन था, लेकिन इससे Gemini की सुरक्षा के बारे में निर्णायक स्वतंत्र प्रमाण नहीं मिलता।
पहली सीमा यह है कि मूल्यांकनकर्ता घोषित enclave workload और मॉडल interface को सत्यापित कर सकते थे, लेकिन Google के proprietary model weights या inference implementation की स्वतंत्र जांच नहीं कर सकते थे। इसलिए वे यह पूरी तरह audit नहीं कर सकते थे कि runtime हर पहलू में घोषित व्यवहार के मुताबिक ही चल रहा था।13
दूसरी सीमा end-to-end स्वतंत्र पुनरुत्पादन की थी। deployment और cloud infrastructure Google के नियंत्रण में रहे; किसी असंबद्ध पक्ष ने पूरे वातावरण को स्वतंत्र रूप से दोबारा बनाकर नहीं चलाया। Attestation प्रक्रिया भी Google Cloud के hardware, firmware, serving systems और attestation infrastructure पर निर्भर रही। हार्डवेयर-आधारित सत्यापन, केवल no-logging के संविदात्मक वादे से मजबूत है, लेकिन इससे पूरे cloud supply chain पर निर्भरता समाप्त नहीं होती।13
तीसरी सीमा यह रही कि निजी प्रॉम्प्ट और संख्यात्मक परिणाम सार्वजनिक नहीं किए गए। इससे भविष्य के परीक्षणों के लिए बेंचमार्क की उपयोगिता बची रहती है, लेकिन सार्वजनिक जांच, दूसरे मॉडलों से तुलना और निष्कर्षों का स्वतंत्र सत्यापन सीमित हो जाता है। AVERI ने इसे पूर्ण सार्वजनिक बेंचमार्क परिणाम के बजाय गुणात्मक और छोटे पैमाने का मात्रात्मक आकलन बताया है।1
यह अभी उद्योग मानक क्यों नहीं है?
सुरक्षित hardware मूल्यांकन समस्या का केवल एक हिस्सा हल करता है। डबल-ब्लाइंड टेस्टिंग को स्थायी उद्योग-प्रथा बनाने के लिए व्यापक शासन-व्यवस्था भी विकसित करनी होगी।
कानूनी और संस्थागत सुरक्षा: डेटा संभालने, अनुमत आउटपुट, खुलासे, दायित्व और पहुंच से जुड़े स्पष्ट नियम जरूरी होंगे—खासकर तब, जब मूल्यांकन में खतरनाक क्षमताएं शामिल हों।
बेंचमार्क stewardship: प्रॉम्प्ट का provenance, sampling, labeling, documentation, refresh procedures और contamination monitoring स्पष्ट होने चाहिए। MLCommons ने जोर दिया है कि बेंचमार्क केवल इसलिए भरोसेमंद नहीं बनता कि उसका डेटा गुप्त है; उसके निर्माण और लगातार रखरखाव की प्रक्रिया भी बचाव योग्य होनी चाहिए।20
25
स्वतंत्र पुनरुत्पादन: मॉडल प्रदाता और cloud operator से बाहर के पक्षों को build, attestation chain, execution policies और रिपोर्ट किए गए परिणामों का सार्थक सत्यापन करने में सक्षम होना चाहिए।
Scalability: उपयोगी मानक अलग-अलग मॉडल डेवलपर, architectures, cloud environments, evaluators, benchmark types और बार-बार होने वाले model releases के साथ काम करना चाहिए। यह केवल एक विशेष साझेदारी और एक hardware stack तक सीमित नहीं रह सकता।
Google DeepMind का Gemini पायलट benchmark trust की अंतिम मंजिल नहीं, बल्कि अधिक कठिन AI मूल्यांकन के लिए एक संभावित infrastructure है। यह दिखाता है कि confidential computing टेस्ट डेटा और proprietary मॉडल—दोनों की सुरक्षा के बीच टकराव को कम कर सकती है। लेकिन उद्योग-स्तर पर इसकी विश्वसनीयता enclave cryptography अकेले तय नहीं करेगी; इसके लिए स्वतंत्र निगरानी, मजबूत benchmark governance, कानूनी सुरक्षा, पुनरुत्पादकता और व्यावहारिक संचालन भी जरूरी होंगे।13
20
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"Gemini की डबल-ब्लाइंड परीक्षा: Google को नहीं दिखे सवाल, परीक्षकों को नहीं मिले मॉडल वेट्स" का संक्षिप्त उत्तर क्या है?
27 अगस्त 2026 को घोषित इस पायलट को Google DeepMind ने किसी proprietary frontier class AI मॉडल का दुनिया का पहला डबल ब्लाइंड मूल्यांकन बताया।
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
27 अगस्त 2026 को घोषित इस पायलट को Google DeepMind ने किसी proprietary frontier class AI मॉडल का दुनिया का पहला डबल ब्लाइंड मूल्यांकन बताया। टेस्ट में MLCommons के निजी AILuminate प्रॉम्प्ट इस्तेमाल हुए, जिनमें साइबर हमले, रासायनिक और जैविक खतरे, घृणास्पद भाषण, आत्म हानि और हिंसक अपराध से जुड़ी श्रेणियां शामिल थीं।
मुझे अभ्यास में आगे क्या करना चाहिए?
यह तरीका बेंचमार्क की गोपनीयता और मॉडल वेट्स की सुरक्षा के बीच पुराने समझौते को कम करता है, लेकिन स्वतंत्र पुनरुत्पादन, कानूनी सुरक्षा, बेंचमार्क प्रबंधन और बड़े स्तर पर इस्तेमाल की चुनौतियां अभी बनी हुई हैं।
सूत्र
deepmind.googlePiloting the world's first double-blind AI evaluations
storage.googleapis.comResolving the Dual Confidentiality Dilemma in AI Safety Auditing
averi.orgAVERI Pilot Report: The World's First Double-Blind Evaluation ...
mlcommons.orgHow to Tell When a Benchmark Is Worth Trusting | MLCommons