फैब्रिकेशन का पैमाना: 89% उद्धरण फ्लॉ

GPTZero द्वारा रिपोर्ट के 45 उद्धरणों की स्कैनिंग में सत्यापन की एक व्यवस्थित विफलता सामने आई :

• केवल 5 उद्धरण ही सटीक रूप से वास्तविक और प्रासंगिक स्रोतों की ओर इशारा करते थे।
• 28 उद्धरणों में शीर्षकों को पैराफ्रेज़ या बदल दिया गया था, जिनमें वास्तविक प्रकाशनों में फर्जी हिस्से जोड़ दिए गए थे।
• 12 उद्धरण इतने अस्पष्ट या असंगत थे कि उन्हें किसी मौजूदा स्रोत से नहीं जोड़ा जा सका।
• रिपोर्ट के लगभग आधे महत्वपूर्ण दावे, जो इन उद्धरणों पर आधारित थे, फर्जी या गलत स्रोतों से जोड़े गए पाए गए।

कुल मिलाकर, 89% ग्रंथ सूची को फ्लॉ के रूप में चिह्नित किया गया। GPTZero के AI डिटेक्शन स्कैन ने एक और परेशान करने वाली परत जोड़ी: दस्तावेज़ को 56% 'मिक्स्ड' रेटिंग दी गई, जिससे संकेत मिलता है कि यह संभवतः AI-जनित या भारी AI-सहायता प्राप्त सामग्री थी जो सार्थक मानवीय समीक्षा से बच गई ।

किन संगठनों को झूठा उद्धृत किया गया और रिपोर्ट में क्या दावे थे?

जांच में चार प्रमुख संगठनों की पहचान हुई, जिनके नाम पर 'एजेंटिक AI' की फर्जी केस स्टडीज़ बनाई गई थीं :

• UBS: रिपोर्ट ने दावा किया कि बैंक वैयक्तिकृत वेल्थ मैनेजमेंट इनसाइट्स के लिए एजेंटिक AI तैनात कर रहा है, लेकिन इसका कोई सत्यापन योग्य स्रोत नहीं मिला।
• NHS ग्रेटर मैनचेस्टर: रिपोर्ट ने दावा किया कि NHS ट्रस्ट AI-संचालित रोगी यात्रा ऑर्केस्ट्रेशन का उपयोग कर रहा है, जो वास्तविक दस्तावेज़ीकरण द्वारा समर्थित नहीं था।
• ट्रांसपोर्ट फॉर लंदन (TfL): TfL को AI-संचालित रीयल-टाइम कस्टमर अनुभव ऑप्टिमाइज़ेशन के उदाहरण के रूप में उद्धृत किया गया था, लेकिन यह दावा प्रमाणित नहीं हो सका।
• स्विस फेडरल रेलवे (SBB): रिपोर्ट ने SBB के एकीकृत कस्टमर टचपॉइंट्स के लिए एजेंटिक AI के उपयोग का एक केस स्टडी प्रस्तुत किया, जबकि उद्धृत सामग्री में ऐसी कोई पहल सत्यापित नहीं की जा सकी।

प्रत्येक मामले में, उद्धरण या तो गैर-मौजूद रिपोर्टों की ओर इशारा करते थे, या असंबंधित वास्तविक प्रकाशनों के पैराफ्रेज़्ड शीर्षक थे, या इतने अस्पष्ट थे कि व्यावहारिक रूप से बेकार थे ।

मूल कारण: बिना सत्यापन के AI उपकरणों का अनियंत्रित उपयोग

GPTZero के विश्लेषण ने निष्कर्ष निकाला कि ये त्रुटियाँ संभवतः एक AI रिसर्च टूल के 'एजेंटिक AI' के वास्तविक दुनिया के उदाहरण खोजने के निर्देश का बहुत अधिक अनुपालन करने का परिणाम थीं। टूल ने प्रशंसनीय लेकिन पूरी तरह से काल्पनिक केस स्टडीज़ और उद्धरण तैयार किए, जो KPMG की समीक्षा प्रक्रिया से बिना सुधरे निकल गए ।

यह घटना एक महत्वपूर्ण कमजोरी को रेखांकित करती है: जब AI-जनित शोध को कठोर मानवीय सत्यापन के बिना प्रकाशित किया जाता है, तो यह आत्मविश्वासपूर्ण, आधिकारिक लगने वाली बकवास पैदा कर सकता है जो संस्थागत विश्वसनीयता को नुकसान पहुँचाता है ।

पेशेवर सेवाओं में AI हैलुसिनेशन का बढ़ता पैटर्न

KPMG की वापस ली गई रिपोर्ट कोई अलग-थलग घटना नहीं है। यह प्रमुख कंसल्टिंग और कानूनी फर्मों में AI-संबंधी उद्धरण विफलताओं के बढ़ते पैटर्न में फिट बैठती है :

• डेलॉइट ऑस्ट्रेलिया को अपनी $440,000 की सरकारी रिपोर्ट को फिर से जारी करना पड़ा, जब उसमें काल्पनिक अकादमिक संदर्भ और एक संघीय अदालत के फैसले का मनगढ़ंत उद्धरण पाया गया । फर्म ने आंशिक धनवापसी की और उसे सार्वजनिक जांच का सामना करना पड़ा, जिसे एक पर्यवेक्षक ने 'उद्धरण त्रुटियों से भरी' रिपोर्ट बताया ।
• अर्न्स्ट एंड यंग (EY) की लॉयल्टी धोखाधड़ी पर एक रिपोर्ट में GPTZero की जांच में पाया गया कि लगभग सभी URL टूटे या फर्जी थे, और आधे से अधिक शीर्षक वास्तविक स्रोतों से मेल नहीं खाते थे ।
• इसी तरह की समस्याएं सुलिवन एंड क्रॉमवेल जैसी प्रमुख फर्मों वाले कानूनी मामलों में भी सामने आई हैं ।

ये बार-बार होने वाली विफलताएं एक सिस्टमिक जोखिम को उजागर करती हैं: सख्त मानवीय निगरानी के बिना, AI शोध उपकरण ऐसे सबूत तैयार कर रहे हैं जो विश्वसनीय लगते हैं लेकिन जांच में बिखर जाते हैं। एक ऐसे उद्योग के लिए जो विश्वास और विशेषज्ञता बेचता है, गलती करने की कीमत डॉलर, प्रतिष्ठा और नियामक ध्यान में मापी जाती है। KPMG का मामला एक स्पष्ट चेतावनी है कि AI-सहायता प्राप्त कार्यप्रवाह में 'जाँच' वास्तविक, गहन और मानवीय होनी चाहिए।

फैब्रिकेशन का पैमाना: 89% उद्धरण फ्लॉ

GPTZero द्वारा रिपोर्ट के 45 उद्धरणों की स्कैनिंग में सत्यापन की एक व्यवस्थित विफलता सामने आई :

• केवल 5 उद्धरण ही सटीक रूप से वास्तविक और प्रासंगिक स्रोतों की ओर इशारा करते थे।
• 28 उद्धरणों में शीर्षकों को पैराफ्रेज़ या बदल दिया गया था, जिनमें वास्तविक प्रकाशनों में फर्जी हिस्से जोड़ दिए गए थे।
• 12 उद्धरण इतने अस्पष्ट या असंगत थे कि उन्हें किसी मौजूदा स्रोत से नहीं जोड़ा जा सका।
• रिपोर्ट के लगभग आधे महत्वपूर्ण दावे, जो इन उद्धरणों पर आधारित थे, फर्जी या गलत स्रोतों से जोड़े गए पाए गए।

कुल मिलाकर, 89% ग्रंथ सूची को फ्लॉ के रूप में चिह्नित किया गया। GPTZero के AI डिटेक्शन स्कैन ने एक और परेशान करने वाली परत जोड़ी: दस्तावेज़ को 56% 'मिक्स्ड' रेटिंग दी गई, जिससे संकेत मिलता है कि यह संभवतः AI-जनित या भारी AI-सहायता प्राप्त सामग्री थी जो सार्थक मानवीय समीक्षा से बच गई ।

किन संगठनों को झूठा उद्धृत किया गया और रिपोर्ट में क्या दावे थे?

जांच में चार प्रमुख संगठनों की पहचान हुई, जिनके नाम पर 'एजेंटिक AI' की फर्जी केस स्टडीज़ बनाई गई थीं :

• UBS: रिपोर्ट ने दावा किया कि बैंक वैयक्तिकृत वेल्थ मैनेजमेंट इनसाइट्स के लिए एजेंटिक AI तैनात कर रहा है, लेकिन इसका कोई सत्यापन योग्य स्रोत नहीं मिला।
• NHS ग्रेटर मैनचेस्टर: रिपोर्ट ने दावा किया कि NHS ट्रस्ट AI-संचालित रोगी यात्रा ऑर्केस्ट्रेशन का उपयोग कर रहा है, जो वास्तविक दस्तावेज़ीकरण द्वारा समर्थित नहीं था।
• ट्रांसपोर्ट फॉर लंदन (TfL): TfL को AI-संचालित रीयल-टाइम कस्टमर अनुभव ऑप्टिमाइज़ेशन के उदाहरण के रूप में उद्धृत किया गया था, लेकिन यह दावा प्रमाणित नहीं हो सका।
• स्विस फेडरल रेलवे (SBB): रिपोर्ट ने SBB के एकीकृत कस्टमर टचपॉइंट्स के लिए एजेंटिक AI के उपयोग का एक केस स्टडी प्रस्तुत किया, जबकि उद्धृत सामग्री में ऐसी कोई पहल सत्यापित नहीं की जा सकी।

प्रत्येक मामले में, उद्धरण या तो गैर-मौजूद रिपोर्टों की ओर इशारा करते थे, या असंबंधित वास्तविक प्रकाशनों के पैराफ्रेज़्ड शीर्षक थे, या इतने अस्पष्ट थे कि व्यावहारिक रूप से बेकार थे ।

मूल कारण: बिना सत्यापन के AI उपकरणों का अनियंत्रित उपयोग

GPTZero के विश्लेषण ने निष्कर्ष निकाला कि ये त्रुटियाँ संभवतः एक AI रिसर्च टूल के 'एजेंटिक AI' के वास्तविक दुनिया के उदाहरण खोजने के निर्देश का बहुत अधिक अनुपालन करने का परिणाम थीं। टूल ने प्रशंसनीय लेकिन पूरी तरह से काल्पनिक केस स्टडीज़ और उद्धरण तैयार किए, जो KPMG की समीक्षा प्रक्रिया से बिना सुधरे निकल गए ।

यह घटना एक महत्वपूर्ण कमजोरी को रेखांकित करती है: जब AI-जनित शोध को कठोर मानवीय सत्यापन के बिना प्रकाशित किया जाता है, तो यह आत्मविश्वासपूर्ण, आधिकारिक लगने वाली बकवास पैदा कर सकता है जो संस्थागत विश्वसनीयता को नुकसान पहुँचाता है ।

पेशेवर सेवाओं में AI हैलुसिनेशन का बढ़ता पैटर्न

KPMG की वापस ली गई रिपोर्ट कोई अलग-थलग घटना नहीं है। यह प्रमुख कंसल्टिंग और कानूनी फर्मों में AI-संबंधी उद्धरण विफलताओं के बढ़ते पैटर्न में फिट बैठती है :

• डेलॉइट ऑस्ट्रेलिया को अपनी $440,000 की सरकारी रिपोर्ट को फिर से जारी करना पड़ा, जब उसमें काल्पनिक अकादमिक संदर्भ और एक संघीय अदालत के फैसले का मनगढ़ंत उद्धरण पाया गया । फर्म ने आंशिक धनवापसी की और उसे सार्वजनिक जांच का सामना करना पड़ा, जिसे एक पर्यवेक्षक ने 'उद्धरण त्रुटियों से भरी' रिपोर्ट बताया ।
• अर्न्स्ट एंड यंग (EY) की लॉयल्टी धोखाधड़ी पर एक रिपोर्ट में GPTZero की जांच में पाया गया कि लगभग सभी URL टूटे या फर्जी थे, और आधे से अधिक शीर्षक वास्तविक स्रोतों से मेल नहीं खाते थे ।
• इसी तरह की समस्याएं सुलिवन एंड क्रॉमवेल जैसी प्रमुख फर्मों वाले कानूनी मामलों में भी सामने आई हैं ।

ये बार-बार होने वाली विफलताएं एक सिस्टमिक जोखिम को उजागर करती हैं: सख्त मानवीय निगरानी के बिना, AI शोध उपकरण ऐसे सबूत तैयार कर रहे हैं जो विश्वसनीय लगते हैं लेकिन जांच में बिखर जाते हैं। एक ऐसे उद्योग के लिए जो विश्वास और विशेषज्ञता बेचता है, गलती करने की कीमत डॉलर, प्रतिष्ठा और नियामक ध्यान में मापी जाती है। KPMG का मामला एक स्पष्ट चेतावनी है कि AI-सहायता प्राप्त कार्यप्रवाह में 'जाँच' वास्तविक, गहन और मानवीय होनी चाहिए।