GRAM आर्किटेक्चरल रूप से कैसे काम करता है

प्रशिक्षण चरण

GRAM मानक ट्रांसफ़ॉर्मर आर्किटेक्चर में छोटे सहायक मॉड्यूल जोड़कर इसे बढ़ाता है - मूल रूप से हर परत पर समर्पित न्यूरॉन्स - जिनका उद्देश्य प्रशिक्षण के दौरान विशिष्ट ड्युअल-यूज़ क्षमताओं को कैप्चर करना है । मुख्य तंत्र ग्रेडिएंट रूटिंग है: बैकप्रोपेगेशन के दौरान, भारित मास्क नियंत्रित करते हैं कि कौन से पैरामीटर किस डेटा के लिए अपडेट होते हैं ।

• जब मॉडल सामान्य-उद्देश्य वाले टेक्स्ट को प्रोसेस करता है, तो यह सामान्य रूप से सीखता है, जबकि सहायक मॉड्यूल भी इस तरह से प्रशिक्षित हो सकते हैं कि वे मॉडल के बाकी हिस्सों के अनुकूल रहें ।
• जब मॉडल को ड्युअल-यूज़ श्रेणी जैसे वायररोलॉजी या साइबर सुरक्षा से संबंधित टेक्स्ट मिलता है, तो ग्रेडिएंट रूटिंग सीखने के सिग्नल को संबंधित सहायक मॉड्यूल की ओर निर्देशित करती है, बजाय इसके कि उस ज्ञान को सभी मॉडल मापदंडों में फैलने दिया जाए ।
• यह प्रत्येक लक्ष्य डोमेन के बारे में ज्ञान को पूरे नेटवर्क में फैलाने के बजाय एक समर्पित मॉड्यूल में केंद्रित करता है ।

अनुमान चरण

एक बार प्रशिक्षण पूरा हो जाने के बाद, किसी विशेष क्षमता तक पहुंच कम करने के लिए व्यक्तिगत मॉड्यूल को हटाया या अक्षम किया जा सकता है, या उन परिनियोजनों के लिए छोड़ा जा सकता है जिन्हें उस ज्ञान का उपयोग करने की अनुमति है । चूंकि प्रत्येक ड्युअल-यूज़ श्रेणी अपने स्वयं के मॉड्यूल में मैप होती है, चार श्रेणियों वाले एक GRAM-प्रशिक्षित मॉडल को सैद्धांतिक रूप से प्रत्येक मॉड्यूल को स्वतंत्र रूप से चालू या बंद करके 2⁴ = 16 अलग-अलग क्षमता प्रोफाइल में कॉन्फ़िगर किया जा सकता है ।

5 बिलियन पैरामीटर तक के मॉडल पर परिणाम

शोधकर्ताओं ने कई सेटिंग्स और मॉडल आकारों में GRAM का परीक्षण किया :

1. सिंथेटिक डेटासेट: एक नियंत्रित सिंथेटिक सेटिंग में, GRAM ने एक मॉडल को चुनिंदा विषयों को 'भूलने' पर मजबूर किया, और परिणामों की तुलना उन मॉडलों से की गई जिन्हें शुरुआत से उन विषयों को फ़िल्टर करके प्रशिक्षित किया गया था ।
2. यथार्थवादी ड्युअल-यूज़ डेटा: वेब टेक्स्ट, कोड, वैज्ञानिक पेपर और ड्युअल-यूज़ डोमेन का उपयोग करते हुए एक अधिक यथार्थवादी सेटअप में, GRAM मॉड्यूल को हटाने से संबंधित क्षमता कम हो गई - जो डेटा फ़िल्टरिंग के प्रभाव के करीब थी - जबकि सामान्य-उद्देश्य प्रदर्शन संरक्षित रहा ।
3. स्केलिंग अध्ययन: GRAM का परीक्षण 50 मिलियन से 5 बिलियन पैरामीटर तक के मॉडल आकारों पर किया गया । मुख्य निष्कर्ष: GRAM ने डेटा फ़िल्टरिंग के व्यवहार को ट्रैक किया; बड़े मॉडलों ने मॉड्यूल-ऑन और मॉड्यूल-ऑफ़ व्यवहार के बीच स्पष्ट अलगाव दिखाया; और परीक्षण की गई सेटिंग्स में यह विधि कुछ पोस्ट-ट्रेनिंग अनलर्निंग दृष्टिकोणों से बेहतर प्रदर्शन करती है ।

नीति संदर्भ: मॉड्यूलर नियंत्रण से वास्तविक दुनिया के निर्यात प्रतिबंधों तक

GRAM शोध उस समस्या के एक उच्च-दांव वाले वास्तविक दुनिया के उदाहरण के साथ आता है जिसे वह हल करना चाहता है। जून 2025 में, ट्रम्प प्रशासन ने साइबर सुरक्षा चिंताओं के बाद Anthropic के Claude Fable 5 और Mythos 5 मॉडल पर निर्यात नियंत्रण लगा दिया, जिससे किसी भी विदेशी नागरिक के लिए एक्सेस अवरुद्ध हो गया - अमेरिका के अंदर या बाहर, जिसमें विदेशी नागरिक Anthropic कर्मचारी भी शामिल हैं । यह प्रतिबंध 18 दिनों तक चला, जिसके बाद वाणिज्य विभाग ने राष्ट्रीय सुरक्षा समीक्षा के बाद इसे हटा दिया ।

यह प्रकरण AI एक्सेस कंट्रोल की वर्तमान स्थिति को दर्शाता है: एक पूरे मॉडल को - उसकी सभी क्षमताओं के साथ - एक एकल अविभाज्य इकाई के रूप में माना जाता है। यदि किसी मॉडल में कोई खतरनाक क्षमता है, तो आज केवल एक ही विकल्प है: पूरे सिस्टम को रोक देना। GRAM एक अधिक सूक्ष्म विकल्प प्रस्तावित करता है: पूरे मॉडल को लॉक डाउन करने के बजाय, एक सिस्टम परिनियोजन संदर्भ के आधार पर ज्ञान की विशिष्ट श्रेणियों की अनुमति या अक्षम कर सकता है ।

खुले प्रश्न और सीमाएं

Anthropic के शोधकर्ताओं ने स्पष्ट रूप से GRAM को प्रारंभिक कार्य बताया है और कई सीमाओं पर प्रकाश डाला है :

• फ्रंटियर स्केल पर परीक्षण नहीं किया गया: GRAM को प्रोडक्शन Claude मॉडल या सबसे बड़े फ्रंटियर सिस्टम के पैमाने पर काम करते नहीं दिखाया गया है ।
• मूल्यांकन का दायरा: रिपोर्ट किए गए प्रयोग नियंत्रित मूल्यांकन पर केंद्रित हैं; वास्तविक दुनिया में डाउनस्ट्रीम क्षमता को हटाना भरोसेमंद रूप से मापना अधिक कठिन हो सकता है ।
• मौलिक उलझन की समस्या: कुछ ड्युअल-यूज़ क्षमताएं सामान्य ज्ञान के साथ गहराई से उलझी हो सकती हैं, जिससे किसी भी स्थानीयकरण या फ़िल्टरिंग विधि के लिए उन्हें साफ-साफ अलग करना मुश्किल हो जाता है ।
• डेटा-लेबलिंग यथार्थवाद: GRAM प्रशिक्षण के दौरान प्रासंगिक ड्युअल-यूज़ डेटा की पहचान और रूटिंग पर निर्भर करता है, इसलिए बड़े पैमाने पर ऐसे डेटा को भरोसेमंद रूप से लेबल करना एक महत्वपूर्ण व्यावहारिक चुनौती बनी हुई है ।
• प्रारंभिक निष्कर्ष: Anthropic GRAM को तैनात सुरक्षा तंत्र के बजाय एक प्रारंभिक शोध दिशा के रूप में प्रस्तुत करता है - और संगठन को यकीन नहीं है कि इसे कभी तैनात किया जाएगा ।

GRAM आर्किटेक्चरल रूप से कैसे काम करता है

प्रशिक्षण चरण

GRAM मानक ट्रांसफ़ॉर्मर आर्किटेक्चर में छोटे सहायक मॉड्यूल जोड़कर इसे बढ़ाता है - मूल रूप से हर परत पर समर्पित न्यूरॉन्स - जिनका उद्देश्य प्रशिक्षण के दौरान विशिष्ट ड्युअल-यूज़ क्षमताओं को कैप्चर करना है । मुख्य तंत्र ग्रेडिएंट रूटिंग है: बैकप्रोपेगेशन के दौरान, भारित मास्क नियंत्रित करते हैं कि कौन से पैरामीटर किस डेटा के लिए अपडेट होते हैं ।

• जब मॉडल सामान्य-उद्देश्य वाले टेक्स्ट को प्रोसेस करता है, तो यह सामान्य रूप से सीखता है, जबकि सहायक मॉड्यूल भी इस तरह से प्रशिक्षित हो सकते हैं कि वे मॉडल के बाकी हिस्सों के अनुकूल रहें ।
• जब मॉडल को ड्युअल-यूज़ श्रेणी जैसे वायररोलॉजी या साइबर सुरक्षा से संबंधित टेक्स्ट मिलता है, तो ग्रेडिएंट रूटिंग सीखने के सिग्नल को संबंधित सहायक मॉड्यूल की ओर निर्देशित करती है, बजाय इसके कि उस ज्ञान को सभी मॉडल मापदंडों में फैलने दिया जाए ।
• यह प्रत्येक लक्ष्य डोमेन के बारे में ज्ञान को पूरे नेटवर्क में फैलाने के बजाय एक समर्पित मॉड्यूल में केंद्रित करता है ।

अनुमान चरण

एक बार प्रशिक्षण पूरा हो जाने के बाद, किसी विशेष क्षमता तक पहुंच कम करने के लिए व्यक्तिगत मॉड्यूल को हटाया या अक्षम किया जा सकता है, या उन परिनियोजनों के लिए छोड़ा जा सकता है जिन्हें उस ज्ञान का उपयोग करने की अनुमति है । चूंकि प्रत्येक ड्युअल-यूज़ श्रेणी अपने स्वयं के मॉड्यूल में मैप होती है, चार श्रेणियों वाले एक GRAM-प्रशिक्षित मॉडल को सैद्धांतिक रूप से प्रत्येक मॉड्यूल को स्वतंत्र रूप से चालू या बंद करके 2⁴ = 16 अलग-अलग क्षमता प्रोफाइल में कॉन्फ़िगर किया जा सकता है ।

5 बिलियन पैरामीटर तक के मॉडल पर परिणाम

शोधकर्ताओं ने कई सेटिंग्स और मॉडल आकारों में GRAM का परीक्षण किया :

1. सिंथेटिक डेटासेट: एक नियंत्रित सिंथेटिक सेटिंग में, GRAM ने एक मॉडल को चुनिंदा विषयों को 'भूलने' पर मजबूर किया, और परिणामों की तुलना उन मॉडलों से की गई जिन्हें शुरुआत से उन विषयों को फ़िल्टर करके प्रशिक्षित किया गया था ।
2. यथार्थवादी ड्युअल-यूज़ डेटा: वेब टेक्स्ट, कोड, वैज्ञानिक पेपर और ड्युअल-यूज़ डोमेन का उपयोग करते हुए एक अधिक यथार्थवादी सेटअप में, GRAM मॉड्यूल को हटाने से संबंधित क्षमता कम हो गई - जो डेटा फ़िल्टरिंग के प्रभाव के करीब थी - जबकि सामान्य-उद्देश्य प्रदर्शन संरक्षित रहा ।
3. स्केलिंग अध्ययन: GRAM का परीक्षण 50 मिलियन से 5 बिलियन पैरामीटर तक के मॉडल आकारों पर किया गया । मुख्य निष्कर्ष: GRAM ने डेटा फ़िल्टरिंग के व्यवहार को ट्रैक किया; बड़े मॉडलों ने मॉड्यूल-ऑन और मॉड्यूल-ऑफ़ व्यवहार के बीच स्पष्ट अलगाव दिखाया; और परीक्षण की गई सेटिंग्स में यह विधि कुछ पोस्ट-ट्रेनिंग अनलर्निंग दृष्टिकोणों से बेहतर प्रदर्शन करती है ।

नीति संदर्भ: मॉड्यूलर नियंत्रण से वास्तविक दुनिया के निर्यात प्रतिबंधों तक

GRAM शोध उस समस्या के एक उच्च-दांव वाले वास्तविक दुनिया के उदाहरण के साथ आता है जिसे वह हल करना चाहता है। जून 2025 में, ट्रम्प प्रशासन ने साइबर सुरक्षा चिंताओं के बाद Anthropic के Claude Fable 5 और Mythos 5 मॉडल पर निर्यात नियंत्रण लगा दिया, जिससे किसी भी विदेशी नागरिक के लिए एक्सेस अवरुद्ध हो गया - अमेरिका के अंदर या बाहर, जिसमें विदेशी नागरिक Anthropic कर्मचारी भी शामिल हैं । यह प्रतिबंध 18 दिनों तक चला, जिसके बाद वाणिज्य विभाग ने राष्ट्रीय सुरक्षा समीक्षा के बाद इसे हटा दिया ।

यह प्रकरण AI एक्सेस कंट्रोल की वर्तमान स्थिति को दर्शाता है: एक पूरे मॉडल को - उसकी सभी क्षमताओं के साथ - एक एकल अविभाज्य इकाई के रूप में माना जाता है। यदि किसी मॉडल में कोई खतरनाक क्षमता है, तो आज केवल एक ही विकल्प है: पूरे सिस्टम को रोक देना। GRAM एक अधिक सूक्ष्म विकल्प प्रस्तावित करता है: पूरे मॉडल को लॉक डाउन करने के बजाय, एक सिस्टम परिनियोजन संदर्भ के आधार पर ज्ञान की विशिष्ट श्रेणियों की अनुमति या अक्षम कर सकता है ।

खुले प्रश्न और सीमाएं

Anthropic के शोधकर्ताओं ने स्पष्ट रूप से GRAM को प्रारंभिक कार्य बताया है और कई सीमाओं पर प्रकाश डाला है :

• फ्रंटियर स्केल पर परीक्षण नहीं किया गया: GRAM को प्रोडक्शन Claude मॉडल या सबसे बड़े फ्रंटियर सिस्टम के पैमाने पर काम करते नहीं दिखाया गया है ।
• मूल्यांकन का दायरा: रिपोर्ट किए गए प्रयोग नियंत्रित मूल्यांकन पर केंद्रित हैं; वास्तविक दुनिया में डाउनस्ट्रीम क्षमता को हटाना भरोसेमंद रूप से मापना अधिक कठिन हो सकता है ।
• मौलिक उलझन की समस्या: कुछ ड्युअल-यूज़ क्षमताएं सामान्य ज्ञान के साथ गहराई से उलझी हो सकती हैं, जिससे किसी भी स्थानीयकरण या फ़िल्टरिंग विधि के लिए उन्हें साफ-साफ अलग करना मुश्किल हो जाता है ।
• डेटा-लेबलिंग यथार्थवाद: GRAM प्रशिक्षण के दौरान प्रासंगिक ड्युअल-यूज़ डेटा की पहचान और रूटिंग पर निर्भर करता है, इसलिए बड़े पैमाने पर ऐसे डेटा को भरोसेमंद रूप से लेबल करना एक महत्वपूर्ण व्यावहारिक चुनौती बनी हुई है ।
• प्रारंभिक निष्कर्ष: Anthropic GRAM को तैनात सुरक्षा तंत्र के बजाय एक प्रारंभिक शोध दिशा के रूप में प्रस्तुत करता है - और संगठन को यकीन नहीं है कि इसे कभी तैनात किया जाएगा ।