उत्तरप्रकाशितपिछला सप्ताहLast edited पिछला सप्ताह29 स्रोत

ओपन-वेट AI सुरक्षा बुरी तरह ध्वस्त है, और EU का धैर्य जवाब दे रहा है

Meta के Llama और Google के Gemma जैसे ओपन वेट मॉडलों पर जेलब्रेक हमले अब 100% के करीब सफलता दर हासिल कर रहे हैं, और बहु स्तरीय तरीके एकल प्रयासों की तुलना में 2 से 10 गुना अधिक प्रभावी साबित हो रहे हैं। EU AI एक्ट के सामान्य उद्देश्यीय AI (GPAI) नियमों का प्रवर्तन शुरू हो चुका है, और मेटा जैसे बड़े प्लेटफार्मों के ख...

Studio Global AI के साथ खोजें और तथ्यों की जांच करें और ट्रेंडिंग पेज देखें

816K0

Fragile AI safety shield on open-weight large language models with jailbreak vulnerability concept — How vulnerable are the safety guardrails on widely deployed open-weight AI models like Meta's Llama and Google's Gemma, and what do recent iRecent studies show that current safety alignment techniques on open-weight AI models are systematically fragile against adaptive jailbreak attacks.
AI संकेत
Create a landscape editorial hero image for this Studio Global article: How vulnerable are the safety guardrails on widely deployed open-weight AI models like Meta's Llama and Google's Gemma, and what do recent i. Article summary: The safety guardrails on widely deployed open-weight models like Meta's Llama and Google's Gemma are **highly vulnerable** to systematic jailbreak. Multiple recent academic studies and industry investigations show that c. Topic tags: general, academic, general web, user generated, government. Reference image context from search candidates: Reference image 1: visual subject "A report cover featuring a colorful visualization of data flows from open-source AI models like Meta's Llama and Google's Gemma, highlighting safety concerns related to guardrails" Reference image 2: visual subject "A digital illustration features a stylized kangaroo outline with circuit-lik
openai.com

सबूत अब सामने हैं, और ये बेहद हानिकारक हैं। 2026 की शुरुआत तक प्रकाशित अकादमिक अध्ययनों और उद्योग सुरक्षा आकलनों ने यह उजागर कर दिया है कि बड़े पैमाने पर तैनात ओपन-वेट मॉडलों के सुरक्षा कवच प्रणालीगत रूप से बेहद नाजुक हैं। अनुकूली, बहु-स्तरीय और फाइन-ट्यूनिंग आधारित हमले लगभग 100% सफलता दर के साथ सुरक्षा संरेखण (एलाइनमेंट) को ध्वस्त कर सकते हैं। जो कंपनियां इन मॉडलों को स्वयं होस्ट करती हैं और EU उपयोगकर्ताओं को सेवा देती हैं, उनके लिए अब EU AI एक्ट के तहत ठोस नियामक जोखिम पैदा हो गया है।

जेलब्रेक की समस्या वास्तव में कितनी बुरी है?

मुख्य आंकड़े बेहद कठोर और चौंकाने वाले हैं। ICLR 2025 के एक अध्ययन ने Llama-2-Chat (7B, 13B, और 70B), Gemma-7B, और अन्य प्रमुख सुरक्षा-संरेखित मॉडलों पर सरल अनुकूली तकनीकों का उपयोग करके, GPT-4 द्वारा मूल्यांकित, 100% हमला सफलता दर हासिल की । Adaptive Dense-to-Sparse Constrained Optimization (ADC) का उपयोग करने वाले एक NeurIPS पेपर ने परीक्षण किए गए आठ ओपन-वेट LLM में से सात पर उच्चतम हमला सफलता दर दर्ज की ।

जब हमलावर बहु-स्तरीय (मल्टी-टर्न) बातचीत का उपयोग करते हैं, तो वास्तविक दुनिया की भेद्यता और गहरी हो जाती है। सिस्को AI डिफेंस ने आठ ओपन-वेट मॉडलों का परीक्षण किया और पाया कि बहु-स्तरीय जेलब्रेक सफलता दर 25.86% से 92.78% के बीच थी — जो एकल-स्तरीय बेसलाइन की तुलना में 2 से 10 गुना की वृद्धि दर्शाती है । इस अध्ययन में Llama 3.3 70B, Gemma 1B और अन्य मॉडल प्रभावित पाए गए । शोधकर्ताओं का निष्कर्ष था कि "मौजूदा ओपन-वेट मॉडलों में विस्तारित बातचीत के दौरान सुरक्षा कवच बनाए रखने में एक प्रणालीगत अक्षमता" है ।

Studio Global AI

Search, cite, and publish your own answer

Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.

Studio Global AI के साथ खोजें और तथ्यों की जांच करें

लोग पूछते भी हैं