उत्तरप्रकाशित2 माह पहलेLast edited 2 माह पहले12 स्रोत

TamperBench अध्ययन: ओपन-वेट AI मॉडलों की सुरक्षा-कवच कितनी मजबूत है?

TamperBench ने 0.6 अरब से 8 अरब पैरामीटर वाले 21 ओपन वेट AI मॉडलों का परीक्षण किया। हर मॉडल को कम से कम एक ऐसे हमले से प्रभावित किया जा सका, जिससे वह हानिकारक जवाब देने के लिए काफी अधिक तैयार हो गया। कई मामलों में मॉडल की तर्क क्षमता काफी हद तक बरकरार रही; MMLU Pro सटीकता में गिरावट को 10% से अधिक न होने देने की शर्...

प्रकाशितकर्ताGPT Image 1.5 से चित्र बनाए गए

Studio Global AI के साथ खोजें और तथ्यों की जांच करें और ट्रेंडिंग पेज देखें

शोध उत्तर

मुख्य निष्कर्ष

TamperBench ने 0.6 अरब से 8 अरब पैरामीटर वाले 21 ओपन वेट AI मॉडलों का परीक्षण किया।
हर मॉडल को कम से कम एक ऐसे हमले से प्रभावित किया जा सका, जिससे वह हानिकारक जवाब देने के लिए काफी अधिक तैयार हो गया।
कई मामलों में मॉडल की तर्क क्षमता काफी हद तक बरकरार रही; MMLU Pro सटीकता में गिरावट को 10% से अधिक न होने देने की शर्त रखी गई थी।
सबसे गंभीर हमलों में competing objectives, backdoor और style modulation जैसे covert jailbreak tuning तरीके शामिल थे।

What did the TamperBench study presented at ACM KDD ’26 find about the robustness of safety protections in 21 open weight AI models—includinAI-generated editorial hero image for What did the TamperBench study presented at ACM KDD ’26 find about the robustness of safety protections in 21 open weight AI models—includin.
AI संकेत
Create a landscape editorial hero image for this Studio Global article: What did the TamperBench study presented at ACM KDD ’26 find about the robustness of safety protections in 21 open weight AI models—includin. Article summary: TamperBench found that none of the 21 tested open weight models had safety protections robust enough to withstand the evaluated tampering threats: every model could be made substantially more willing to produce harmful o. Topic tags: general web, ai safety, llm, ai, code. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with f
openai.com

TamperBench अध्ययन का निष्कर्ष सीधा लेकिन गंभीर है: परीक्षण किए गए 21 ओपन-वेट AI मॉडलों में से कोई भी मॉडल उन सभी छेड़छाड़-आधारित खतरों के सामने पर्याप्त रूप से मजबूत नहीं था, जिन्हें अध्ययन में परखा गया। हर मॉडल को इस तरह बदला जा सका कि वह हानिकारक सामग्री तैयार करने के लिए काफी अधिक इच्छुक हो जाए, जबकि उसकी तर्क-वितर्क क्षमता का बड़ा हिस्सा बना रहे। शोधकर्ताओं ने इसलिए मौजूदा सुरक्षा उपायों को ऐसे मॉडल के लिए पर्याप्त गारंटी नहीं माना, जिसके वेट्स उपयोगकर्ता बदल या दोबारा प्रशिक्षित कर सकते हैं। 2 5

किन मॉडलों और हमलों का परीक्षण हुआ?

TamperBench ने Llama, Qwen3 और Mistral परिवारों सहित 21 ओपन-वेट बड़े भाषा मॉडलों का मूल्यांकन किया। इन मॉडलों का आकार लगभग 0.6 अरब से 8 अरब पैरामीटर तक था। अध्ययन में सुरक्षा-वर्धित मॉडल संस्करणों को भी शामिल किया गया। 2 8

बेंचमार्क ने वेट-स्पेस fine-tuning और latent-representation tampering—यानी मॉडल के वेट्स या आंतरिक अभ्यावेदन में बदलाव—से जुड़े नौ हमलावर तरीकों को परखा। इनमें ये श्रेणियां शामिल थीं: 2

दिखने में सामान्य या benign fine-tuning;
सीधे तौर पर हानिकारक डेटा पर tuning;
कम मात्रा में हानिकारक डेटा मिलाकर किया गया covert poisoning-style jailbreak tuning;
multilingual tuning;
embedding और latent-space attacks।

हर model–attack संयोजन के लिए hyperparameter sweeps किए गए। शोधकर्ताओं ने ऐसे हमले चुने जो हानिकारक जवाबों की दर बढ़ाते हों, लेकिन बिना हमले वाले मॉडल की MMLU-Pro reasoning accuracy में गिरावट 10% से अधिक न हो। इसका मतलब है कि अध्ययन केवल ऐसे मामलों को नहीं देख रहा था जिनमें मॉडल की पूरी क्षमता नष्ट हो जाती है; लक्ष्य यह पता लगाना था कि सुरक्षा हटाने के बाद उपयोगी क्षमता कितनी बची रहती है। 2

कौन से हमले सबसे ज्यादा प्रभावी रहे?

Covert jailbreak-tuning हमले आम तौर पर सबसे गंभीर साबित हुए। खास तौर पर competing-objectives, backdoor और style-modulation variants को उल्लेखनीय रूप से प्रभावी पाया गया। इन तरीकों में प्रशिक्षण डेटा का बड़ा हिस्सा सामान्य रखा जा सकता है और उसमें अपेक्षाकृत छोटा हानिकारक घटक जोड़कर मॉडल के व्यवहार को बदला जा सकता है। 2

अध्ययन का मुख्य जोखिम यही है: सुरक्षा हटाने के बाद मॉडल जरूरी नहीं कि अनुपयोगी हो जाए। वह कोड, लेखन, विश्लेषण और तर्क जैसे सामान्य कामों में काफी सक्षम रहते हुए हानिकारक अनुरोधों को भी स्वीकार कर सकता है। शोधकर्ताओं ने Llama-3-8B-Instruct या Qwen3-8B-Instruct के लिए उपलब्ध संदर्भ में सटीक, मॉडल-विशिष्ट harmfulness वृद्धि के आंकड़े नहीं दिए हैं; इसलिए उन मॉडलों के लिए कोई निश्चित प्रतिशत बताना विश्वसनीय नहीं होगा।

क्या सुरक्षा-वर्धित मॉडल बच सके?

नहीं, कम-से-कम पूरी तरह नहीं। ReFAT और Circuit Breaking variants सहित अध्ययन में जांचे गए पांच defense-augmented models भी कमजोर पाए गए। इन उपायों ने कुछ परिस्थितियों में प्रतिरोध बढ़ाया, लेकिन नौ हमलों के पूरे समूह के सामने सुरक्षा हटने से रोकने की भरोसेमंद गारंटी नहीं दी। 2 5

TamperBench के अन्य निष्कर्षों में Triplet को कई मामलों में अपेक्षाकृत मजबूत और क्षमता-संरक्षण करने वाली सुरक्षा के रूप में बताया गया है। फिर भी व्यापक निष्कर्ष यही रहा कि कोई भी मौजूदा तरीका सभी जांचे गए tampering threats के विरुद्ध पर्याप्त नहीं था। 8

ओपन-वेट AI के लिए इसका क्या अर्थ है?

ओपन-वेट मॉडल शोध, स्वतंत्र ऑडिट और जवाबदेही के लिए महत्वपूर्ण हैं। लेकिन सामान्य pre-release alignment tests में अच्छा प्रदर्शन करना इस बात की गारंटी नहीं है कि मॉडल के वेट्स सार्वजनिक होने के बाद उसकी सुरक्षा बनी रहेगी। वेट्स कॉपी, fine-tune और दोबारा वितरित किए जा सकते हैं—और मूल डेवलपर हर downstream deployment पर नियंत्रण नहीं रखता। 2 5

शोधकर्ताओं ने यह भी चेतावनी दी है कि बंद commercial या API मॉडल पूरी तरह जोखिम-मुक्त नहीं माने जा सकते। हालांकि, ऐसे मॉडल प्रदाता fine-tuning और deployment प्रक्रिया को नियंत्रित करते हैं, इसलिए वे वे उपाय लागू कर सकते हैं जो खुले तौर पर वितरित वेट्स के मामले में बाद में लागू करना कठिन होता है। 2 5

यदि सुरक्षा हटाने के बावजूद मॉडल की क्षमता बनी रहती है, तो दुरुपयोग केवल किसी एक व्यक्ति के प्रयास तक सीमित नहीं रहेगा। बड़े पैमाने पर misinformation, अधिक प्रभावी phishing और scams, या खतरनाक तकनीकी मार्गदर्शन जैसे उपयोग संभव हो सकते हैं। 5

शोधकर्ताओं की सिफारिशें

अध्ययन के लेखक मजबूत tamper-resistance तकनीकों पर और शोध, मॉडल जारी करने से पहले TamperBench जैसे standardized adversarial evaluations, तथा AI की खरीद और आकलन के लिए अधिक evidence-based प्रक्रियाओं की मांग करते हैं। यह खास तौर पर उन क्षेत्रों में महत्वपूर्ण है जहां सरकारें और सार्वजनिक संस्थान स्वास्थ्य सेवा, fraud detection, शिक्षा और अन्य सेवाओं में AI का इस्तेमाल कर रहे हैं। 2 5

कुल मिलाकर, TamperBench का संदेश ओपन-वेट AI को खारिज करना नहीं है। संदेश यह है कि सार्वजनिक रूप से उपलब्ध मॉडल की सुरक्षा को स्थायी विशेषता मानने के बजाय, उसे बदलने योग्य वेट्स और संभावित downstream fine-tuning के संदर्भ में लगातार परखा जाना चाहिए।

Studio Global AI

अपना शोध जारी रखें

इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।

Studio Global AI के साथ खोजें और तथ्यों की जांच करें

लोग पूछते भी हैं