'चुराए गए विचार' हमला: AI मॉडल्स की छिपी सोच उजागर, Kimi K3 विवाद को नई सबूत
अगस्त 2026 में, शोधकर्ताओं ने दिखाया कि OpenAI, Anthropic और Google के फ्रंटियर मॉडल्स के एन्क्रिप्टेड 'थिंकिंग' ब्लॉक्स को कमजोर सिबलिंग मॉडल में रीप्ले करके सादे टेक्स्ट में निकाला जा सकता है। इस तकनीक ने चीनी AI लैब Moonshot के Kimi K3 मॉडल पर अमेरिकी मॉडलों (Claude) की नकल (डिस्टिलेशन) के आरोपों को नई फोरेंसिक स...
प्रकाशितकर्ताDeepSeek-V4-Flash से संपादितGPT Image 1.5 से चित्र बनाए गए
अगस्त 2026 में, शोधकर्ताओं ने दिखाया कि OpenAI, Anthropic और Google के फ्रंटियर मॉडल्स के एन्क्रिप्टेड 'थिंकिंग' ब्लॉक्स को कमजोर सिबलिंग मॉडल में रीप्ले करके सादे टेक्स्ट में निकाला जा सकता है।
इस तकनीक ने चीनी AI लैब Moonshot के Kimi K3 मॉडल पर अमेरिकी मॉडलों (Claude) की नकल (डिस्टिलेशन) के आरोपों को नई फोरेंसिक सबूत दिए हैं।
हमले से 3 लाख से अधिक रीज़निंग ब्लॉक्स डिकोड किए गए, जिनमें 367 PII आर्टिफैक्ट और 182 क्रेडेंशियल्स (API की, पासवर्ड) मिले।
OpenAI, Anthropic और Google ने इस क्रॉस मॉडल हमले को ब्लॉक करने के लिए सर्वर साइड फिक्स लागू किए।
How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distillaAI-generated editorial hero image for How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distilla.
AI संकेत
Create a landscape editorial hero image for this Studio Global article: How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distilla. Article summary: ## How researchers discovered the extraction method. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
साल 2026 में, दो स्वतंत्र शोध टीमों ने ऐसी विधियाँ प्रकाशित कीं जिन्होंने फ्रंटियर AI मॉडल्स में छिपी रीज़निंग (सोच प्रक्रिया) की सुरक्षा को तोड़ दिया। पहली एक प्रॉम्प्टिंग तकनीक है जिसे रीज़निंग एक्सपोज़र प्रॉम्प्टिंग (REP) कहा जाता है, जो मॉडल की छिपी हुई चेन-ऑफ-थॉट को यूज़र को दिखने वाले आउटपुट में वापस ला सकती है। दूसरी एक रीप्ले अटैक है, जिसे 'स्टोलन थॉट्स' नाम दिया गया है, जो OpenAI, Anthropic और Google द्वारा अपने API के ज़रिए लौटाए जाने वाले एन्क्रिप्टेड रीज़निंग ब्लॉक्स की संरचनात्मक खामी का फायदा उठाती है। साथ में, इन कमजोरियों ने इस चल रहे विवाद को नए फोरेंसिक सबूत दिए हैं कि क्या चीनी AI सिस्टम जैसे कि Moonshot का Kimi K3, मालिकाना अमेरिकी मॉडलों की नकल (डिस्टिल) करके बनाए गए थे ।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
"'चुराए गए विचार' हमला: AI मॉडल्स की छिपी सोच उजागर, Kimi K3 विवाद को नई सबूत" का संक्षिप्त उत्तर क्या है?
अगस्त 2026 में, शोधकर्ताओं ने दिखाया कि OpenAI, Anthropic और Google के फ्रंटियर मॉडल्स के एन्क्रिप्टेड 'थिंकिंग' ब्लॉक्स को कमजोर सिबलिंग मॉडल में रीप्ले करके सादे टेक्स्ट में निकाला जा सकता है।
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
अगस्त 2026 में, शोधकर्ताओं ने दिखाया कि OpenAI, Anthropic और Google के फ्रंटियर मॉडल्स के एन्क्रिप्टेड 'थिंकिंग' ब्लॉक्स को कमजोर सिबलिंग मॉडल में रीप्ले करके सादे टेक्स्ट में निकाला जा सकता है। इस तकनीक ने चीनी AI लैब Moonshot के Kimi K3 मॉडल पर अमेरिकी मॉडलों (Claude) की नकल (डिस्टिलेशन) के आरोपों को नई फोरेंसिक सबूत दिए हैं।
मुझे अभ्यास में आगे क्या करना चाहिए?
हमले से 3 लाख से अधिक रीज़निंग ब्लॉक्स डिकोड किए गए, जिनमें 367 PII आर्टिफैक्ट और 182 क्रेडेंशियल्स (API की, पासवर्ड) मिले।
'चुराए गए विचार' हमला: AI मॉडल्स की छिपी सोच उजागर, Kimi K3 विवाद को नई सबूत
अगस्त 2026 में, शोधकर्ताओं ने दिखाया कि OpenAI, Anthropic और Google के फ्रंटियर मॉडल्स के एन्क्रिप्टेड 'थिंकिंग' ब्लॉक्स को कमजोर सिबलिंग मॉडल में रीप्ले करके सादे टेक्स्ट में निकाला जा सकता है। इस तकनीक ने चीनी AI लैब Moonshot के Kimi K3 मॉडल पर अमेरिकी मॉडलों (Claude) की नकल (डिस्टिलेशन) के आरोपों को नई फोरेंसिक स...
प्रकाशितकर्ताDeepSeek-V4-Flash से संपादितGPT Image 1.5 से चित्र बनाए गए
अगस्त 2026 में, शोधकर्ताओं ने दिखाया कि OpenAI, Anthropic और Google के फ्रंटियर मॉडल्स के एन्क्रिप्टेड 'थिंकिंग' ब्लॉक्स को कमजोर सिबलिंग मॉडल में रीप्ले करके सादे टेक्स्ट में निकाला जा सकता है।
इस तकनीक ने चीनी AI लैब Moonshot के Kimi K3 मॉडल पर अमेरिकी मॉडलों (Claude) की नकल (डिस्टिलेशन) के आरोपों को नई फोरेंसिक सबूत दिए हैं।
हमले से 3 लाख से अधिक रीज़निंग ब्लॉक्स डिकोड किए गए, जिनमें 367 PII आर्टिफैक्ट और 182 क्रेडेंशियल्स (API की, पासवर्ड) मिले।
OpenAI, Anthropic और Google ने इस क्रॉस मॉडल हमले को ब्लॉक करने के लिए सर्वर साइड फिक्स लागू किए।
How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distillaAI-generated editorial hero image for How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distilla.
AI संकेत
Create a landscape editorial hero image for this Studio Global article: How did researchers discover a method to extract hidden reasoning traces from leading AI models, what did it reveal about potential distilla. Article summary: ## How researchers discovered the extraction method. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
साल 2026 में, दो स्वतंत्र शोध टीमों ने ऐसी विधियाँ प्रकाशित कीं जिन्होंने फ्रंटियर AI मॉडल्स में छिपी रीज़निंग (सोच प्रक्रिया) की सुरक्षा को तोड़ दिया। पहली एक प्रॉम्प्टिंग तकनीक है जिसे रीज़निंग एक्सपोज़र प्रॉम्प्टिंग (REP) कहा जाता है, जो मॉडल की छिपी हुई चेन-ऑफ-थॉट को यूज़र को दिखने वाले आउटपुट में वापस ला सकती है। दूसरी एक रीप्ले अटैक है, जिसे 'स्टोलन थॉट्स' नाम दिया गया है, जो OpenAI, Anthropic और Google द्वारा अपने API के ज़रिए लौटाए जाने वाले एन्क्रिप्टेड रीज़निंग ब्लॉक्स की संरचनात्मक खामी का फायदा उठाती है। साथ में, इन कमजोरियों ने इस चल रहे विवाद को नए फोरेंसिक सबूत दिए हैं कि क्या चीनी AI सिस्टम जैसे कि Moonshot का Kimi K3, मालिकाना अमेरिकी मॉडलों की नकल (डिस्टिल) करके बनाए गए थे ।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
"'चुराए गए विचार' हमला: AI मॉडल्स की छिपी सोच उजागर, Kimi K3 विवाद को नई सबूत" का संक्षिप्त उत्तर क्या है?
अगस्त 2026 में, शोधकर्ताओं ने दिखाया कि OpenAI, Anthropic और Google के फ्रंटियर मॉडल्स के एन्क्रिप्टेड 'थिंकिंग' ब्लॉक्स को कमजोर सिबलिंग मॉडल में रीप्ले करके सादे टेक्स्ट में निकाला जा सकता है।
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
अगस्त 2026 में, शोधकर्ताओं ने दिखाया कि OpenAI, Anthropic और Google के फ्रंटियर मॉडल्स के एन्क्रिप्टेड 'थिंकिंग' ब्लॉक्स को कमजोर सिबलिंग मॉडल में रीप्ले करके सादे टेक्स्ट में निकाला जा सकता है। इस तकनीक ने चीनी AI लैब Moonshot के Kimi K3 मॉडल पर अमेरिकी मॉडलों (Claude) की नकल (डिस्टिलेशन) के आरोपों को नई फोरेंसिक सबूत दिए हैं।
मुझे अभ्यास में आगे क्या करना चाहिए?
हमले से 3 लाख से अधिक रीज़निंग ब्लॉक्स डिकोड किए गए, जिनमें 367 PII आर्टिफैक्ट और 182 क्रेडेंशियल्स (API की, पासवर्ड) मिले।
रीज़निंग एक्सपोज़र प्रॉम्प्टिंग (REP) — 30 मई, 2026 को प्रकाशित पेपर "हिडन थॉट्स आर नॉट सीक्रेट: रीज़निंग ट्रेस एक्सपोज़र इन LLMs" (arXiv:2606.00642) में, शोधकर्ताओं लू, त्साई, त्साई, पोपा और यू ने दिखाया कि भले ही प्रदाता जानबूझकर चेन-ऑफ-थॉट रीज़निंग को छिपाते हैं, एक हल्की इन-कॉन्टेक्स्ट प्रॉम्प्टिंग तकनीक छिपी हुई रीज़निंग को वापस यूज़र-विज़िबल आउटपुट में खींच सकती है। इस विधि को शैडो-मॉडल प्रॉम्प्टिंग कहा जाता है, जो एक छोटे, अप्रतिबंधित मॉडल से जनरेट किए गए डेमॉन्स्ट्रेशन का उपयोग करती है ।
'स्टोलन थॉट्स' रीप्ले अटैक — 10-11 अगस्त, 2026 को प्रकाशित पेपर "स्टीलिंग रीज़निंग ट्रेसेस फ्रॉम प्रोप्राइटरी LLM APIs" (arXiv:2608.09867) में, शोधकर्ताओं पैनफिलोव, श्मोट्ज़, शुमेलोव, बेउरर-केलनर, शेफ़र, प्रभु, गीपिंग और एंड्रियुशचेंको ने एक गंभीर आर्किटेक्चरल खामी पाई। एन्क्रिप्टेड 'थिंकिंग' ब्लॉक्स जो Anthropic, OpenAI और Google API क्लाइंट्स को लौटाते हैं, वे अपने स्रोत से ठीक से सील नहीं होते। इन ब्लॉक्स को एक बातचीत से उठाकर उसी प्रदाता के कमजोर, कम सुरक्षित सिबलिंग मॉडल में रीप्ले किया जा सकता है, जो फिर फ्रंटियर मॉडल की छिपी रीज़निंग को सादे टेक्स्ट में प्रिंट कर देता है । यह हमला सेशन, यूज़र अकाउंट और एक ही प्रदाता के इकोसिस्टम के मॉडल्स के बीच काम करता है । शोधकर्ताओं ने पुष्टि की कि यह तकनीक हर बड़ी फ्रंटियर AI कंपनी पर काम करती है, और निकाली गई रीज़निंग की लंबाई API द्वारा रिपोर्ट किए गए हिडन थिंकिंग-टोकन काउंट से लगभग 1:1 मेल खाती है ।
Kimi K3 डिस्टिलेशन विवाद के सबूत
निकाले गए रीज़निंग ट्रेसेस मॉडल डिस्टिलेशन के लिए उच्च गुणवत्ता वाले ट्रेनिंग सिग्नल प्रदान करते हैं — यह एक ऐसी प्रथा है जिसमें एक मजबूत मॉडल के आउटपुट का उपयोग एक छोटे, सस्ते प्रतिद्वंद्वी मॉडल को प्रशिक्षित करने के लिए किया जाता है । यह तकनीक चीनी AI लैब्स को लेकर एक गरम विवाद के केंद्र में है:
Anthropic ने सार्वजनिक रूप से कहा कि चीनी AI लैब्स, जिनमें DeepSeek, Moonshot और MiniMax शामिल हैं, ने लगभग 24,000 फर्जी खातों का उपयोग करके Claude के साथ 16 मिलियन से अधिक एक्सचेंज जनरेट किए, एक्सेस प्रतिबंधों को दरकिनार करते हुए ।
जुलाई 2026 में Moonshot AI द्वारा जारी Kimi K3, को जेम्सटाउन फाउंडेशन ने डिस्टिलेशन के ज़रिए बनाए गए एक विशिष्ट मॉडल के रूप में उद्धृत किया, जिसका प्रदर्शन Anthropic के Claude Fable 5 और OpenAI के GPT-5.6 Sol के बराबर बताया गया ।
रयान ग्रीनब्लैट (Redwood Research) ने एक सांख्यिकीय विश्लेषण प्रकाशित किया जिसमें क्रॉस-एंट्रॉपी तुलनाओं से पता चलता है कि Kimi K3 के आउटपुट Anthropic के Claude मॉडल्स से निकटता से मेल खाते हैं ।
व्हाइट हाउस के विज्ञान सलाहकार माइकल क्रेट्सियोस ने सार्वजनिक रूप से Moonshot पर Kimi K3 को 'गुप्त औद्योगिक डिस्टिलेशन' के माध्यम से बनाने का आरोप लगाया ।
हालांकि, सबूत निर्णायक नहीं हैं। ब्रैडन हैनकॉक (लाउड इंस्टीट्यूट) और नाथन लैम्बर्ट (एलन इंस्टीट्यूट फॉर AI) सहित शोधकर्ताओं का तर्क है कि अकेले डिस्टिलेशन Kimi K3 की पूरी क्षमताओं की व्याख्या नहीं कर सकता है। चेन-ऑफ-थॉट डिस्टिलेशन के सबूत का दावा करने वाली एक व्यापक रूप से प्रसारित PDF की आलोचना की गई क्योंकि इसमें एक सीमित प्रयोग को असमर्थित दावों के साथ जोड़ा गया था ।
कमजोरी से उत्पन्न सुरक्षा जोखिम
यह खामी बौद्धिक संपदा की चोरी से परे कई ठोस जोखिम पैदा करती है:
क्रेडेंशियल और PII लीकेज: शोधकर्ताओं ने सार्वजनिक रिपॉजिटरी से स्क्रैप किए गए 3,15,320 रीज़निंग ब्लॉक्स को डिकोड किया और 367 PII आर्टिफैक्ट और 182 क्रेडेंशियल्स (API कीज़ और पासवर्ड सहित) बरामद किए जो रीज़निंग ट्रेसेस के अंदर एम्बेडेड थे ।
एंटी-डिस्टिलेशन बाईपास: वही कमजोरी जो एक्सट्रैक्शन को सक्षम बनाती है, प्रदाताओं की अपनी एंटी-डिस्टिलेशन सुरक्षा को भी विफल कर देती है ।
हानिकारक व्यवहार स्थानांतरण: एक अलग पेपर ("हिडन इन थॉट: ट्रांसफरेबल चेन-ऑफ-थॉट आर्टिफैक्ट्स इंड्यूस हार्मफुल बिहेवियर") में पाया गया कि स्थानांतरित रीज़निंग ट्रेसेस सबसे कमजोर ओपन-सोर्स मॉडल्स पर हानिकारक प्रतिक्रिया दरों को 80% से ऊपर बढ़ा सकते हैं ।
हिडन प्रॉम्प्ट एक्सपोज़र: अपारदर्शी रीज़निंग फ़ील्ड्स, जिन्हें एजेंट डेवलपर सुरक्षित मानकर रखते और प्रकाशित करते हैं, उनमें छिपे हुए सिस्टम निर्देश और क्रेडेंशियल्स हो सकते हैं ।
OpenAI, Anthropic और Google ने कैसे जवाब दिया
'स्टोलन थॉट्स' शोधकर्ताओं ने प्रकाशन से पहले तीनों कंपनियों से संपर्क किया। रिपोर्टिंग के अनुसार, OpenAI, Anthropic और Google ने सूचित किए जाने के बाद क्रॉस-मॉडल रीज़निंग अटैक को ब्लॉक कर दिया। उनके उपायों के विशिष्ट विवरण प्रकाशित स्रोतों में पूरी तरह से खुलासा नहीं किए गए थे, लेकिन पैच लगाने से पहले तीनों प्रदाताओं के API में कमजोरी मौजूद होने की पुष्टि हुई थी । 'हमले को ब्लॉक कर दिया गया' का मतलब है कि कंपनियों ने सर्वर-साइड फिक्स लागू किए — संभवतः विभिन्न मॉडल संदर्भों या खातों में एन्क्रिप्टेड रीज़निंग ब्लॉक्स के पुन: उपयोग को प्रतिबंधित करना ।
Anthropic पहले से ही बड़े पैमाने पर डिस्टिलेशन से सार्वजनिक रूप से जूझ रहा था, चीनी लैब्स द्वारा Claude आउटपुट निकालने के लिए उपयोग किए गए 24,000 फर्जी खातों और 16 मिलियन एक्सचेंज की रिपोर्ट कर रहा था ।
REP और स्टोलन थॉट्स दोनों पेपरों से मुख्य सबक यह है कि रीज़निंग ट्रेसेस को छिपाना या एन्क्रिप्ट करना एक मौलिक रूप से कमजोर सुरक्षा रणनीति है — यदि रीज़निंग मॉडल वेट्स में मौजूद है, तो इसे निकाला जा सकता है ।
रीज़निंग एक्सपोज़र प्रॉम्प्टिंग (REP) — 30 मई, 2026 को प्रकाशित पेपर "हिडन थॉट्स आर नॉट सीक्रेट: रीज़निंग ट्रेस एक्सपोज़र इन LLMs" (arXiv:2606.00642) में, शोधकर्ताओं लू, त्साई, त्साई, पोपा और यू ने दिखाया कि भले ही प्रदाता जानबूझकर चेन-ऑफ-थॉट रीज़निंग को छिपाते हैं, एक हल्की इन-कॉन्टेक्स्ट प्रॉम्प्टिंग तकनीक छिपी हुई रीज़निंग को वापस यूज़र-विज़िबल आउटपुट में खींच सकती है। इस विधि को शैडो-मॉडल प्रॉम्प्टिंग कहा जाता है, जो एक छोटे, अप्रतिबंधित मॉडल से जनरेट किए गए डेमॉन्स्ट्रेशन का उपयोग करती है ।
'स्टोलन थॉट्स' रीप्ले अटैक — 10-11 अगस्त, 2026 को प्रकाशित पेपर "स्टीलिंग रीज़निंग ट्रेसेस फ्रॉम प्रोप्राइटरी LLM APIs" (arXiv:2608.09867) में, शोधकर्ताओं पैनफिलोव, श्मोट्ज़, शुमेलोव, बेउरर-केलनर, शेफ़र, प्रभु, गीपिंग और एंड्रियुशचेंको ने एक गंभीर आर्किटेक्चरल खामी पाई। एन्क्रिप्टेड 'थिंकिंग' ब्लॉक्स जो Anthropic, OpenAI और Google API क्लाइंट्स को लौटाते हैं, वे अपने स्रोत से ठीक से सील नहीं होते। इन ब्लॉक्स को एक बातचीत से उठाकर उसी प्रदाता के कमजोर, कम सुरक्षित सिबलिंग मॉडल में रीप्ले किया जा सकता है, जो फिर फ्रंटियर मॉडल की छिपी रीज़निंग को सादे टेक्स्ट में प्रिंट कर देता है । यह हमला सेशन, यूज़र अकाउंट और एक ही प्रदाता के इकोसिस्टम के मॉडल्स के बीच काम करता है । शोधकर्ताओं ने पुष्टि की कि यह तकनीक हर बड़ी फ्रंटियर AI कंपनी पर काम करती है, और निकाली गई रीज़निंग की लंबाई API द्वारा रिपोर्ट किए गए हिडन थिंकिंग-टोकन काउंट से लगभग 1:1 मेल खाती है ।
Kimi K3 डिस्टिलेशन विवाद के सबूत
निकाले गए रीज़निंग ट्रेसेस मॉडल डिस्टिलेशन के लिए उच्च गुणवत्ता वाले ट्रेनिंग सिग्नल प्रदान करते हैं — यह एक ऐसी प्रथा है जिसमें एक मजबूत मॉडल के आउटपुट का उपयोग एक छोटे, सस्ते प्रतिद्वंद्वी मॉडल को प्रशिक्षित करने के लिए किया जाता है । यह तकनीक चीनी AI लैब्स को लेकर एक गरम विवाद के केंद्र में है:
Anthropic ने सार्वजनिक रूप से कहा कि चीनी AI लैब्स, जिनमें DeepSeek, Moonshot और MiniMax शामिल हैं, ने लगभग 24,000 फर्जी खातों का उपयोग करके Claude के साथ 16 मिलियन से अधिक एक्सचेंज जनरेट किए, एक्सेस प्रतिबंधों को दरकिनार करते हुए ।
जुलाई 2026 में Moonshot AI द्वारा जारी Kimi K3, को जेम्सटाउन फाउंडेशन ने डिस्टिलेशन के ज़रिए बनाए गए एक विशिष्ट मॉडल के रूप में उद्धृत किया, जिसका प्रदर्शन Anthropic के Claude Fable 5 और OpenAI के GPT-5.6 Sol के बराबर बताया गया ।
रयान ग्रीनब्लैट (Redwood Research) ने एक सांख्यिकीय विश्लेषण प्रकाशित किया जिसमें क्रॉस-एंट्रॉपी तुलनाओं से पता चलता है कि Kimi K3 के आउटपुट Anthropic के Claude मॉडल्स से निकटता से मेल खाते हैं ।
व्हाइट हाउस के विज्ञान सलाहकार माइकल क्रेट्सियोस ने सार्वजनिक रूप से Moonshot पर Kimi K3 को 'गुप्त औद्योगिक डिस्टिलेशन' के माध्यम से बनाने का आरोप लगाया ।
हालांकि, सबूत निर्णायक नहीं हैं। ब्रैडन हैनकॉक (लाउड इंस्टीट्यूट) और नाथन लैम्बर्ट (एलन इंस्टीट्यूट फॉर AI) सहित शोधकर्ताओं का तर्क है कि अकेले डिस्टिलेशन Kimi K3 की पूरी क्षमताओं की व्याख्या नहीं कर सकता है। चेन-ऑफ-थॉट डिस्टिलेशन के सबूत का दावा करने वाली एक व्यापक रूप से प्रसारित PDF की आलोचना की गई क्योंकि इसमें एक सीमित प्रयोग को असमर्थित दावों के साथ जोड़ा गया था ।
कमजोरी से उत्पन्न सुरक्षा जोखिम
यह खामी बौद्धिक संपदा की चोरी से परे कई ठोस जोखिम पैदा करती है:
क्रेडेंशियल और PII लीकेज: शोधकर्ताओं ने सार्वजनिक रिपॉजिटरी से स्क्रैप किए गए 3,15,320 रीज़निंग ब्लॉक्स को डिकोड किया और 367 PII आर्टिफैक्ट और 182 क्रेडेंशियल्स (API कीज़ और पासवर्ड सहित) बरामद किए जो रीज़निंग ट्रेसेस के अंदर एम्बेडेड थे ।
एंटी-डिस्टिलेशन बाईपास: वही कमजोरी जो एक्सट्रैक्शन को सक्षम बनाती है, प्रदाताओं की अपनी एंटी-डिस्टिलेशन सुरक्षा को भी विफल कर देती है ।
हानिकारक व्यवहार स्थानांतरण: एक अलग पेपर ("हिडन इन थॉट: ट्रांसफरेबल चेन-ऑफ-थॉट आर्टिफैक्ट्स इंड्यूस हार्मफुल बिहेवियर") में पाया गया कि स्थानांतरित रीज़निंग ट्रेसेस सबसे कमजोर ओपन-सोर्स मॉडल्स पर हानिकारक प्रतिक्रिया दरों को 80% से ऊपर बढ़ा सकते हैं ।
हिडन प्रॉम्प्ट एक्सपोज़र: अपारदर्शी रीज़निंग फ़ील्ड्स, जिन्हें एजेंट डेवलपर सुरक्षित मानकर रखते और प्रकाशित करते हैं, उनमें छिपे हुए सिस्टम निर्देश और क्रेडेंशियल्स हो सकते हैं ।
OpenAI, Anthropic और Google ने कैसे जवाब दिया
'स्टोलन थॉट्स' शोधकर्ताओं ने प्रकाशन से पहले तीनों कंपनियों से संपर्क किया। रिपोर्टिंग के अनुसार, OpenAI, Anthropic और Google ने सूचित किए जाने के बाद क्रॉस-मॉडल रीज़निंग अटैक को ब्लॉक कर दिया। उनके उपायों के विशिष्ट विवरण प्रकाशित स्रोतों में पूरी तरह से खुलासा नहीं किए गए थे, लेकिन पैच लगाने से पहले तीनों प्रदाताओं के API में कमजोरी मौजूद होने की पुष्टि हुई थी । 'हमले को ब्लॉक कर दिया गया' का मतलब है कि कंपनियों ने सर्वर-साइड फिक्स लागू किए — संभवतः विभिन्न मॉडल संदर्भों या खातों में एन्क्रिप्टेड रीज़निंग ब्लॉक्स के पुन: उपयोग को प्रतिबंधित करना ।
Anthropic पहले से ही बड़े पैमाने पर डिस्टिलेशन से सार्वजनिक रूप से जूझ रहा था, चीनी लैब्स द्वारा Claude आउटपुट निकालने के लिए उपयोग किए गए 24,000 फर्जी खातों और 16 मिलियन एक्सचेंज की रिपोर्ट कर रहा था ।
REP और स्टोलन थॉट्स दोनों पेपरों से मुख्य सबक यह है कि रीज़निंग ट्रेसेस को छिपाना या एन्क्रिप्ट करना एक मौलिक रूप से कमजोर सुरक्षा रणनीति है — यदि रीज़निंग मॉडल वेट्स में मौजूद है, तो इसे निकाला जा सकता है ।