हगिंग फेस का डीपफेक संकट: नौ में से सात शीर्ष AI मॉडल सिर्फ छह शब्दों के प्रॉम्प्ट से बना रहे हैं नॉन-कंसेंशुअल न्यूड इमेजेज

हनीपॉट प्रयोग ने दिखाया दुरुपयोग का पैमाना

वास्तविक दुनिया में दुरुपयोग की सीमा जानने के लिए, AI फॉरेंसिक्स ने हगिंग फेस पर अपना खुद का नकली इमेज एडिटिंग स्पेस बनाया, जो एक हनीपॉट (honeypot) की तरह काम करता था। एक सप्ताह में उन्हें 1,000 से अधिक यूजर प्रॉम्प्ट और संबंधित तस्वीरें प्राप्त हुईं। परिणाम चौंकाने वाले थे:

• 73% प्रॉम्प्ट यौन प्रकृति के थे ।
• उन यौन प्रॉम्प्ट में से 83% ने विषय (लगभग हमेशा एक महिला) को "नग्न" करने के लिए कहा ।
• लगभग 6% यौन प्रॉम्प्ट स्पष्ट रूप से नाबालिगों को लक्षित कर रहे थे ।

वायर्ड और द वर्ज जैसे मीडिया आउटलेट्स में कवर किए गए इस हनीपॉट प्रयोग से पता चलता है कि हगिंग फेस के इमेज एडिटिंग स्पेसेज पर वास्तविक उपयोगकर्ताओं का एक महत्वपूर्ण हिस्सा नॉन-कंसेंशुअल इंटिमेट इमेजरी बनाने की कोशिश कर रहा है ।

प्लेटफॉर्म-स्तर पर मॉडरेशन का लगभग पूर्ण अभाव

रिपोर्ट की सबसे तीखी आलोचना हगिंग फेस को ही संबोधित है। शोधकर्ताओं ने लिखा कि प्लेटफॉर्म "प्लेटफॉर्म स्तर पर बिल्कुल भी कोई सुरक्षा उपाय" (no safeguards at all at a platform level) लागू नहीं करता, और पूरी तरह से अलग-अलग मॉडल डेवलपर्स पर निर्भर रहता है कि वे अपने सुरक्षा उपाय खुद लागू करें । यह उसकी अपनी सामग्री नीतियों के बावजूद है, जो "स्पष्ट सहमति के बिना बनाई गई यौन सामग्री" और "नाबालिगों का नग्नता या उनसे जुड़ी कोई भी यौन सामग्री" को स्पष्ट रूप से प्रतिबंधित करती हैं ।

रिपोर्ट के अनुसार, यह एक प्रणालीगत प्रवर्तन अंतर (systemic enforcement gap) पैदा करता है: नीतियां कागजों पर मौजूद हैं, लेकिन प्लेटफॉर्म स्पेसेज की प्रतिबंधित सामग्री उत्पन्न करने की क्षमता के लिए सक्रिय रूप से जांच नहीं करता । रिपोर्ट में कहा गया है कि जहां गूगल जेमिनी और ओपनएआई चैटजीपीटी जैसे मुख्यधारा के जनरेटिव AI मॉडल में लोगों को नग्न या यौन रूप से चित्रित करने वाले प्रॉम्प्ट को रोकने के लिए गार्डरेल हैं, वहीं हगिंग फेस की मॉडल-शेयरिंग आर्किटेक्चर प्रभावी रूप से सुरक्षा की जिम्मेदारी तीसरे पक्ष के डेवलपर्स पर डाल देती है — जिनमें से कई सार्थक सुरक्षा उपाय लागू नहीं करते ।

व्यापक नियामक संदर्भ: EU का न्यूडिफिकेशन पर प्रतिबंध

AI फॉरेंसिक्स की रिपोर्ट ऐसे समय में प्रकाशित हुई है जब यूरोपीय संघ (European Union) उन्हीं टूल्स पर प्रतिबंध लगाने की दिशा में सक्रिय रूप से आगे बढ़ रहा है, जिनका दस्तावेजीकरण रिपोर्ट में किया गया है। जून 2026 में, यूरोपीय संसद ने EU AI अधिनियम में संशोधनों को मंजूरी दी, जो "न्यूडिफाइंग" टूल्स और AI-सहायता प्राप्त बाल यौन शोषण सामग्री के निर्माण पर स्पष्ट रूप से प्रतिबंध लगाते हैं । यह प्रतिबंध, जो 2 दिसंबर 2026 से प्रभावी होगा, उन AI सिस्टम्स को लक्षित करता है जो बिना सहमति के "ऐसी छवियां बनाते या बदलते हैं जो यौन रूप से स्पष्ट या अंतरंग हों और किसी पहचाने जाने योग्य वास्तविक व्यक्ति से मिलती-जुलती हों" ।

EU AI अधिनियम डीपफेक लेबलिंग आवश्यकताओं और प्रणालीगत जोखिम वाले सामान्य-उद्देश्यीय AI मॉडल के प्रदाताओं पर जोखिम-शमन दायित्वों को भी लागू करता है । रिपोर्ट का तर्क है कि हगिंग फेस का हाथ-खींचने वाला रवैया इन नियामक लक्ष्यों को कमजोर करता है, क्योंकि प्लेटफॉर्म पर होस्ट किए गए वही मॉडल आगामी प्रतिबंधों के इरादे को दरकिनार करने के लिए इस्तेमाल किए जा सकते हैं ।

एक खुला प्रश्न: क्या ओपन प्लेटफॉर्म खुद को नियंत्रित कर सकते हैं?

ये निष्कर्ष ओपन-सोर्स AI पारिस्थितिकी तंत्र के बारे में एक मूलभूत प्रश्न उठाते हैं। हगिंग फेस का मॉडल खुलेपन और सामुदायिक योगदान पर बना है — वही बुनियादी ढांचा जो मूल्यवान AI अनुसंधान को सक्षम बनाता है, हानिकारक टूल्स को न्यूनतम निगरानी के साथ फैलने की अनुमति भी देता है। रिपोर्ट कोई सरल समाधान नहीं सुझाती, लेकिन यह दस्तावेज करती है कि 2026 के मध्य तक, हगिंग फेस पर नीति और प्रवर्तन के बीच का अंतर इतना बड़ा है कि यह लगभग बिना किसी बाधा के बड़े पैमाने पर दुरुपयोग को सक्षम बनाता है ।