आलोचना: व्यापक फ़िल्टर वैध काम को खत्म कर रहे हैं

शोधकर्ताओं की प्रमुख शिकायत फेबल 5 के कंटेंट क्लासिफ़ायर की अत्यधिक संवेदनशीलता है। IBM X-Force की एक प्रमुख सुरक्षा शोधकर्ता वैलेंटिना “चोम्पी” पाल्मियोटी ने TechCrunch को बताया कि मॉडल “किसी भी ऐसे अनुरोध को अस्वीकार कर देता है जो साइबर से संबंधित हो सकता है—यहाँ तक कि एक ब्लॉग पोस्ट पढ़ने जैसे मासूम कार्यों को भी” । इसका मतलब है कि केवल खतरनाक सवाल ही नहीं, बल्कि बुनियादी साइबर सुरक्षा अवधारणाओं को समझने में मदद के अनुरोध भी फ़्लैग किए जा रहे हैं।

यह ओवर-फ़्लैगिंग मॉडल की उपयोगिता पर सीधा, नकारात्मक प्रभाव डालता है। जब कोई क्वेरी फ़्लैग होती है, तो उपयोगकर्ता को एक पुराने AI से एक पतला जवाब मिलता है, एक ऐसा बदलाव जिसके बारे में उन्हें स्पष्ट रूप से सूचित नहीं किया जाता है । यह मुद्दा इस जानकारी के प्रकटीकरण के तरीके से और बढ़ गया। आलोचकों का तर्क है कि इस व्यवहार का खुलासा केवल 319 पन्नों के सिस्टम कार्ड में गहराई से किया गया था, जिसके चलते एंथ्रोपिक पर कुछ उपयोगकर्ताओं के लिए मॉडल की क्षमताओं में “गुप्त तोड़फोड़” करने के आरोप लगे ।

ये प्रतिबंध केवल साइबर सुरक्षा तक सीमित नहीं हैं। गार्डरेल्स जीव विज्ञान, रसायन विज्ञान और, महत्वपूर्ण रूप से, AI मॉडल डिस्टिलेशन से संबंधित प्रश्नों को भी लक्षित करते हैं। इस अंतिम बिंदु ने आलोचना की एक अलग लहर को जन्म दिया है, जिसमें कुछ डेवलपर्स ने एंथ्रोपिक पर अन्य AI डेवलपर्स को प्रशिक्षण के लिए फेबल 5 के आउटपुट का उपयोग करने से रोककर “सुरक्षा” को प्रतिस्पर्धा-विरोधी व्यवहार के बहाने के रूप में इस्तेमाल करने का आरोप लगाया है ।

गार्डरेल सिस्टम कैसे काम करता है: एक खामोश स्विच

फेबल 5 में एंथ्रोपिक का सुरक्षा तंत्र कोई साधारण इनकार प्रणाली नहीं है। यह एक रूटिंग सिस्टम है जिसे चुपचाप विफल होने के लिए डिज़ाइन किया गया है । यह आर्किटेक्चर तीन चरणों में काम करता है:

1. प्री-मॉडल क्लासिफ़ायर्स: क्लासिफ़ायर्स नामक अलग AI सिस्टम मुख्य फेबल 5 मॉडल के सामने बैठते हैं। वे रीयल-टाइम में उपयोगकर्ता के संकेतों का निरीक्षण करते हैं और चार उच्च-जोखिम वाले क्षेत्रों: साइबर सुरक्षा, जीव विज्ञान, रसायन विज्ञान और मॉडल डिस्टिलेशन से संबंधित कीवर्ड और पैटर्न की तलाश करते हैं ।
2. साइलेंट फॉलबैक रूटिंग: जब कोई क्लासिफ़ायर सक्रिय होता है, तो वह प्रतिक्रिया को ब्लॉक नहीं करता है। इसके बजाय, यह सहजता से और चुपचाप क्वेरी को एक पुराने और कम सक्षम मॉडल, क्लॉड ओपस 4.8 पर पुनः भेज देता है, जो उत्तर उत्पन्न करता है ।
3. कोई उपयोगकर्ता सूचना नहीं: आलोचकों के अनुसार, यह डिज़ाइन की एक गंभीर खामी है कि यूज़र इंटरफ़ेस इस मॉडल स्विच को स्पष्ट नहीं करता है। उपयोगकर्ताओं को तब पता चलता है जब उत्तर की गुणवत्ता अचानक गिर जाती है, जिससे ऐसा प्रतीत होता है मानो फेबल 5 बिना किसी कारण के खराब प्रदर्शन कर रहा है ।

एंथ्रोपिक का कहना है कि ये क्लासिफ़ायर औसतन सभी सत्रों में से 5% से भी कम समय में सक्रिय होते हैं । कंपनी ने सार्वजनिक रूप से ओवर-फ़्लैगिंग की समस्या को स्वीकार किया है। एक कंपनी प्रवक्ता ने बिज़नेस इनसाइडर को बताया कि सुरक्षा उपाय “सुरक्षित, तटस्थ या हानिरहित अनुरोधों को फ़्लैग कर सकते हैं,” लेकिन इसे इतनी शक्तिशाली अंतर्निहित क्षमताओं वाले मॉडल को सार्वजनिक रूप से जारी करने के लिए एक आवश्यक समझौते के रूप में उचित ठहराया ।

एंथ्रोपिक इस रूढ़िवादी ट्यूनिंग को कैसे सही ठहराता है

एंथ्रोपिक का रुख यह है कि ये रूढ़िवादी गार्डरेल्स एक जानबूझकर और जिम्मेदार विकल्प हैं, कोई बग नहीं। कंपनी का तर्क है कि अंतर्निहित मिथोस-श्रेणी का मॉडल सॉफ़्टवेयर कमजोरियों को खोजने और उनका फायदा उठाने जैसे कार्यों में इतना कुशल है कि अप्रतिबंधित सार्वजनिक रिलीज़ से विनाशकारी दुरुपयोग का अस्वीकार्य जोखिम पैदा हो जाएगा ।

उनके विचार में, गार्डरेल्स एक डिज़ाइन समझौता हैं—जनता को अत्याधुनिक तर्क, कोडिंग और लेखन मॉडल तक पहुंच प्रदान करने का एक तरीका, जबकि इसकी सबसे खतरनाक संभावित क्षमताओं के चारों ओर एक सैंडबॉक्स बनाना । वे ओवर-फ़्लैगिंग को एक शक्तिशाली मॉडल को “सुरक्षित और शीघ्रता से” जारी करने की अस्थायी लागत के रूप में देखते हैं, और समय के साथ क्लासिफ़ायर को परिष्कृत करने की प्रतिबद्धता के साथ ।

उभरता हुआ उद्योग पैटर्न: दो मॉडल, दो स्तर

क्लॉड फेबल 5 की रिलीज़ को अकेले नहीं समझा जा सकता। यह दो-स्तरीय परिनियोजन रणनीति का एक हिस्सा है जो फ्रंटियर AI मॉडल के लिए एक नया उद्योग मानक बनता जा रहा है ।

क्लॉड फेबल 5 बनाम क्लॉड मिथोस 5

जिस दिन फेबल 5 जारी किया गया, उसी दिन एंथ्रोपिक ने क्लॉड मिथोस 5 की भी घोषणा की। दोनों मॉडल बिल्कुल एक ही अंतर्निहित आर्किटेक्चर और वज़न साझा करते हैं—वे एक ही “दिमाग” हैं। एकमात्र अंतर सुरक्षा कॉन्फ़िगरेशन का है। मिथोस 5 में संवेदनशील क्षेत्रों में क्लासिफ़ायर हटा दिए गए हैं, जिससे इसे इसकी पूर्ण, अप्रतिबंधित क्षमताएँ मिलती हैं ।

हालांकि, मिथोस 5 जनता के लिए नहीं है। यह प्रोजेक्ट ग्लासविंग नामक एक पहल के माध्यम से सरकारी एजेंसियों और महत्वपूर्ण बुनियादी ढाँचा संचालकों सहित छोटे, सत्यापित साझेदारों के समूह तक सीमित है । यह अमेरिकी सरकार समर्थित कार्यक्रम शुरू में AWS, Google और Microsoft जैसे 12 संस्थापक तकनीकी भागीदारों के साथ लॉन्च किया गया था, ताकि “साइबर रक्षक” बड़े पैमाने पर सॉफ़्टवेयर कमजोरियों को खोजने और पैच करने के लिए AI का उपयोग कर सकें । मिथोस 5 की रिलीज़ के साथ, पहुंच लगभग 40 संगठनों तक बढ़ा दी गई ।

नीचे दी गई तालिका इस मूलभूत विभाजन को दर्शाती है:

क्षमता-स्तरीय AI परिनियोजन

एंथ्रोपिक का फेबल/मिथोस विभाजन उस चीज़ का सबसे स्पष्ट उदाहरण है जिसे क्षमता-स्तरीय AI परिनियोजन कहा जा सकता है। इस नए मॉडल में, एक एकल फ्रंटियर AI कोई एकल उत्पाद नहीं है। इसकी पूर्ण शक्ति एक विशेषाधिकार है, दी हुई चीज़ नहीं, और सुरक्षा गार्डरेल्स वह तंत्र हैं जो उत्पाद में अंतर पैदा करते हैं ।

यह पैटर्न एंथ्रोपिक के लिए अद्वितीय नहीं है। OpenAI सहित अन्य प्रमुख AI कंपनियों ने राष्ट्रीय सुरक्षा और अनुसंधान भागीदारों को अपने सबसे उन्नत मॉडलों के प्रतिबंधित-पहुंच संस्करण प्रदान करके समान दृष्टिकोण अपनाए हैं । फेबल/मिथोस लॉन्च एक ऐसे भविष्य को स्पष्ट करता है जहां सबसे शक्तिशाली AI क्षमताओं को तकनीक द्वारा नहीं, बल्कि एक सत्यापन स्थिति द्वारा नियंत्रित किया जाता है, जिसमें सुरक्षा प्रोटोकॉल पहुंच-नियंत्रण तंत्र के रूप में दोगुना काम करते हैं, एक ऐसा दृष्टिकोण जो पहले से ही केंद्रीकरण, निष्पक्षता और “सार्वजनिक” AI सुरक्षा के सही अर्थ के बारे में व्यापक बहस छेड़ रहा है।

आलोचना: व्यापक फ़िल्टर वैध काम को खत्म कर रहे हैं

शोधकर्ताओं की प्रमुख शिकायत फेबल 5 के कंटेंट क्लासिफ़ायर की अत्यधिक संवेदनशीलता है। IBM X-Force की एक प्रमुख सुरक्षा शोधकर्ता वैलेंटिना “चोम्पी” पाल्मियोटी ने TechCrunch को बताया कि मॉडल “किसी भी ऐसे अनुरोध को अस्वीकार कर देता है जो साइबर से संबंधित हो सकता है—यहाँ तक कि एक ब्लॉग पोस्ट पढ़ने जैसे मासूम कार्यों को भी” । इसका मतलब है कि केवल खतरनाक सवाल ही नहीं, बल्कि बुनियादी साइबर सुरक्षा अवधारणाओं को समझने में मदद के अनुरोध भी फ़्लैग किए जा रहे हैं।

यह ओवर-फ़्लैगिंग मॉडल की उपयोगिता पर सीधा, नकारात्मक प्रभाव डालता है। जब कोई क्वेरी फ़्लैग होती है, तो उपयोगकर्ता को एक पुराने AI से एक पतला जवाब मिलता है, एक ऐसा बदलाव जिसके बारे में उन्हें स्पष्ट रूप से सूचित नहीं किया जाता है । यह मुद्दा इस जानकारी के प्रकटीकरण के तरीके से और बढ़ गया। आलोचकों का तर्क है कि इस व्यवहार का खुलासा केवल 319 पन्नों के सिस्टम कार्ड में गहराई से किया गया था, जिसके चलते एंथ्रोपिक पर कुछ उपयोगकर्ताओं के लिए मॉडल की क्षमताओं में “गुप्त तोड़फोड़” करने के आरोप लगे ।

ये प्रतिबंध केवल साइबर सुरक्षा तक सीमित नहीं हैं। गार्डरेल्स जीव विज्ञान, रसायन विज्ञान और, महत्वपूर्ण रूप से, AI मॉडल डिस्टिलेशन से संबंधित प्रश्नों को भी लक्षित करते हैं। इस अंतिम बिंदु ने आलोचना की एक अलग लहर को जन्म दिया है, जिसमें कुछ डेवलपर्स ने एंथ्रोपिक पर अन्य AI डेवलपर्स को प्रशिक्षण के लिए फेबल 5 के आउटपुट का उपयोग करने से रोककर “सुरक्षा” को प्रतिस्पर्धा-विरोधी व्यवहार के बहाने के रूप में इस्तेमाल करने का आरोप लगाया है ।

गार्डरेल सिस्टम कैसे काम करता है: एक खामोश स्विच

फेबल 5 में एंथ्रोपिक का सुरक्षा तंत्र कोई साधारण इनकार प्रणाली नहीं है। यह एक रूटिंग सिस्टम है जिसे चुपचाप विफल होने के लिए डिज़ाइन किया गया है । यह आर्किटेक्चर तीन चरणों में काम करता है:

1. प्री-मॉडल क्लासिफ़ायर्स: क्लासिफ़ायर्स नामक अलग AI सिस्टम मुख्य फेबल 5 मॉडल के सामने बैठते हैं। वे रीयल-टाइम में उपयोगकर्ता के संकेतों का निरीक्षण करते हैं और चार उच्च-जोखिम वाले क्षेत्रों: साइबर सुरक्षा, जीव विज्ञान, रसायन विज्ञान और मॉडल डिस्टिलेशन से संबंधित कीवर्ड और पैटर्न की तलाश करते हैं ।
2. साइलेंट फॉलबैक रूटिंग: जब कोई क्लासिफ़ायर सक्रिय होता है, तो वह प्रतिक्रिया को ब्लॉक नहीं करता है। इसके बजाय, यह सहजता से और चुपचाप क्वेरी को एक पुराने और कम सक्षम मॉडल, क्लॉड ओपस 4.8 पर पुनः भेज देता है, जो उत्तर उत्पन्न करता है ।
3. कोई उपयोगकर्ता सूचना नहीं: आलोचकों के अनुसार, यह डिज़ाइन की एक गंभीर खामी है कि यूज़र इंटरफ़ेस इस मॉडल स्विच को स्पष्ट नहीं करता है। उपयोगकर्ताओं को तब पता चलता है जब उत्तर की गुणवत्ता अचानक गिर जाती है, जिससे ऐसा प्रतीत होता है मानो फेबल 5 बिना किसी कारण के खराब प्रदर्शन कर रहा है ।

एंथ्रोपिक का कहना है कि ये क्लासिफ़ायर औसतन सभी सत्रों में से 5% से भी कम समय में सक्रिय होते हैं । कंपनी ने सार्वजनिक रूप से ओवर-फ़्लैगिंग की समस्या को स्वीकार किया है। एक कंपनी प्रवक्ता ने बिज़नेस इनसाइडर को बताया कि सुरक्षा उपाय “सुरक्षित, तटस्थ या हानिरहित अनुरोधों को फ़्लैग कर सकते हैं,” लेकिन इसे इतनी शक्तिशाली अंतर्निहित क्षमताओं वाले मॉडल को सार्वजनिक रूप से जारी करने के लिए एक आवश्यक समझौते के रूप में उचित ठहराया ।

एंथ्रोपिक इस रूढ़िवादी ट्यूनिंग को कैसे सही ठहराता है

एंथ्रोपिक का रुख यह है कि ये रूढ़िवादी गार्डरेल्स एक जानबूझकर और जिम्मेदार विकल्प हैं, कोई बग नहीं। कंपनी का तर्क है कि अंतर्निहित मिथोस-श्रेणी का मॉडल सॉफ़्टवेयर कमजोरियों को खोजने और उनका फायदा उठाने जैसे कार्यों में इतना कुशल है कि अप्रतिबंधित सार्वजनिक रिलीज़ से विनाशकारी दुरुपयोग का अस्वीकार्य जोखिम पैदा हो जाएगा ।

उनके विचार में, गार्डरेल्स एक डिज़ाइन समझौता हैं—जनता को अत्याधुनिक तर्क, कोडिंग और लेखन मॉडल तक पहुंच प्रदान करने का एक तरीका, जबकि इसकी सबसे खतरनाक संभावित क्षमताओं के चारों ओर एक सैंडबॉक्स बनाना । वे ओवर-फ़्लैगिंग को एक शक्तिशाली मॉडल को “सुरक्षित और शीघ्रता से” जारी करने की अस्थायी लागत के रूप में देखते हैं, और समय के साथ क्लासिफ़ायर को परिष्कृत करने की प्रतिबद्धता के साथ ।

उभरता हुआ उद्योग पैटर्न: दो मॉडल, दो स्तर

क्लॉड फेबल 5 की रिलीज़ को अकेले नहीं समझा जा सकता। यह दो-स्तरीय परिनियोजन रणनीति का एक हिस्सा है जो फ्रंटियर AI मॉडल के लिए एक नया उद्योग मानक बनता जा रहा है ।

क्लॉड फेबल 5 बनाम क्लॉड मिथोस 5

जिस दिन फेबल 5 जारी किया गया, उसी दिन एंथ्रोपिक ने क्लॉड मिथोस 5 की भी घोषणा की। दोनों मॉडल बिल्कुल एक ही अंतर्निहित आर्किटेक्चर और वज़न साझा करते हैं—वे एक ही “दिमाग” हैं। एकमात्र अंतर सुरक्षा कॉन्फ़िगरेशन का है। मिथोस 5 में संवेदनशील क्षेत्रों में क्लासिफ़ायर हटा दिए गए हैं, जिससे इसे इसकी पूर्ण, अप्रतिबंधित क्षमताएँ मिलती हैं ।

हालांकि, मिथोस 5 जनता के लिए नहीं है। यह प्रोजेक्ट ग्लासविंग नामक एक पहल के माध्यम से सरकारी एजेंसियों और महत्वपूर्ण बुनियादी ढाँचा संचालकों सहित छोटे, सत्यापित साझेदारों के समूह तक सीमित है । यह अमेरिकी सरकार समर्थित कार्यक्रम शुरू में AWS, Google और Microsoft जैसे 12 संस्थापक तकनीकी भागीदारों के साथ लॉन्च किया गया था, ताकि “साइबर रक्षक” बड़े पैमाने पर सॉफ़्टवेयर कमजोरियों को खोजने और पैच करने के लिए AI का उपयोग कर सकें । मिथोस 5 की रिलीज़ के साथ, पहुंच लगभग 40 संगठनों तक बढ़ा दी गई ।

नीचे दी गई तालिका इस मूलभूत विभाजन को दर्शाती है:

क्षमता-स्तरीय AI परिनियोजन

एंथ्रोपिक का फेबल/मिथोस विभाजन उस चीज़ का सबसे स्पष्ट उदाहरण है जिसे क्षमता-स्तरीय AI परिनियोजन कहा जा सकता है। इस नए मॉडल में, एक एकल फ्रंटियर AI कोई एकल उत्पाद नहीं है। इसकी पूर्ण शक्ति एक विशेषाधिकार है, दी हुई चीज़ नहीं, और सुरक्षा गार्डरेल्स वह तंत्र हैं जो उत्पाद में अंतर पैदा करते हैं ।

यह पैटर्न एंथ्रोपिक के लिए अद्वितीय नहीं है। OpenAI सहित अन्य प्रमुख AI कंपनियों ने राष्ट्रीय सुरक्षा और अनुसंधान भागीदारों को अपने सबसे उन्नत मॉडलों के प्रतिबंधित-पहुंच संस्करण प्रदान करके समान दृष्टिकोण अपनाए हैं । फेबल/मिथोस लॉन्च एक ऐसे भविष्य को स्पष्ट करता है जहां सबसे शक्तिशाली AI क्षमताओं को तकनीक द्वारा नहीं, बल्कि एक सत्यापन स्थिति द्वारा नियंत्रित किया जाता है, जिसमें सुरक्षा प्रोटोकॉल पहुंच-नियंत्रण तंत्र के रूप में दोगुना काम करते हैं, एक ऐसा दृष्टिकोण जो पहले से ही केंद्रीकरण, निष्पक्षता और “सार्वजनिक” AI सुरक्षा के सही अर्थ के बारे में व्यापक बहस छेड़ रहा है।