बेल्जियम के शोधकर्ताओं ने क्या पाया?

VUB और KU Leuven के विन्सेंट होल्स्ट, आंद्रेस अल्गाबा, फ्लोरियानो टोरी, सिल्विया वेनमैकर्स और विन्सेंट गिनीस ने जब इस अध्ययन की गहराई से जांच की, तो उन्हें दो बड़ी त्रुटियां मिलीं:

1. सॉफ्टवेयर बग: मूल अध्ययन में इस्तेमाल किए गए विज़ुअलाइज़ेशन सॉफ्टवेयर में एक बग था, जिसके कारण सबसे अधिक डिसरप्शन स्कोर वाले पेपर्स को प्रकाशित हिस्टोग्राम से स्वतः ही हटा दिया गया।

2. अधूरा डेटा (डेटा आर्टिफैक्ट): इससे भी बड़ी समस्या यह थी कि Web of Science डेटाबेस में पुराने रिकॉर्ड के रेफरेंस अक्सर अधूरे होते थे। ऐसे पेपर्स, जिनमें कोई भी रेफरेंस सूचीबद्ध नहीं था, उन्हें गलती से 'सबसे ज्यादा डिसरप्टिव' (बाधा डालने वाला) करार दे दिया गया। जैसे-जैसे डेटाबेस की गुणवत्ता में सुधार हुआ, ये गलत रिकॉर्ड कम होते गए, जिससे यह भ्रम पैदा हुआ कि डिसरप्टिवनेस घट रही है।

गिरावट का कितना हिस्सा था यह आर्टिफैक्ट?

शोधकर्ताओं के अनुसार, जब इन डेटाबेस त्रुटियों को हटा दिया गया, तो गिरावट लगभग गायब हो गई। सबसे बड़े डेटासेट की जांच में पाया गया कि 1945 और 2010 के बीच देखी गई गिरावट का 93% हिस्सा सिर्फ इन डेटा आर्टिफैक्ट्स (कृत्रिम प्रभावों) के कारण था।

मूल अध्ययन के लेखकों का क्या कहना है?

मूल अध्ययन के लेखकों ने अपने बचाव में कहा है कि भले ही उन आलोचनाओं को ध्यान में रखा जाए, फिर भी उनके अपने विश्लेषण से नवाचार में सांख्यिकीय और व्यावहारिक रूप से महत्वपूर्ण गिरावट दिखाई देती है। हालांकि, बेल्जियम की टीम का कहना है कि जब वे केवल उन्हीं पेपर्स को देखते हैं जिनमें कम से कम 10 रेफरेंस हों, तो उन्हें डिसरप्शन में थोड़ी वृद्धि ही मिलती है।

32 महीने की देरी: वैज्ञानिक प्रक्रिया पर एक सवाल

यह मामला वैज्ञानिक पत्रिकाओं की आत्म-सुधार प्रक्रिया पर भी गंभीर सवाल खड़े करता है। बेल्जियम के शोधकर्ताओं ने अपना खंडन अक्टूबर 2023 में ही नेचर को भेज दिया था, लेकिन इसे प्रकाशित होने में 32 महीने लग गए।

इस देरी के दौरान:

• नेचर ने मूल अध्ययन के निष्कर्षों के आधार पर संपादकीय और समाचार फीचर प्रकाशित करना जारी रखा।
• मूल अध्ययन को 1,000 से अधिक बार और उद्धृत किया गया और कम से कम 16 नीतिगत दस्तावेजों में इसका इस्तेमाल हुआ।
• प्रमुख शोधकर्ता विन्सेंट गिनीस ने कहा, "जहां सॉफ्टवेयर बग को ओपन-सोर्स समुदाय ने महीनों में ठीक कर दिया, वहीं वैज्ञानिक सुधार को प्रकाशित होने में वर्षों लग गए। इस पूरे समय, पत्रिका की नीतियों ने हमें प्रेस से बात करने से रोक रखा था।"

विज्ञान नीति के लिए निहितार्थ

शोधकर्ताओं का कहना है कि यह मामला स्पष्ट करता है कि बिब्लियोमेट्रिक संकेतकों से वैज्ञानिक प्रगति के बारे में बड़े-बड़े निष्कर्ष निकालना खतरनाक हो सकता है, खासकर तब जब डेटाबेस की गुणवत्ता की कठोर जांच न की गई हो। वे सीधे तौर पर कहते हैं कि "2023 की पद्धति और निष्कर्ष विज्ञान नीति के लिए कोई ठोस आधार प्रदान नहीं करते हैं।"

बेल्जियम के शोधकर्ताओं ने क्या पाया?

VUB और KU Leuven के विन्सेंट होल्स्ट, आंद्रेस अल्गाबा, फ्लोरियानो टोरी, सिल्विया वेनमैकर्स और विन्सेंट गिनीस ने जब इस अध्ययन की गहराई से जांच की, तो उन्हें दो बड़ी त्रुटियां मिलीं:

1. सॉफ्टवेयर बग: मूल अध्ययन में इस्तेमाल किए गए विज़ुअलाइज़ेशन सॉफ्टवेयर में एक बग था, जिसके कारण सबसे अधिक डिसरप्शन स्कोर वाले पेपर्स को प्रकाशित हिस्टोग्राम से स्वतः ही हटा दिया गया।

2. अधूरा डेटा (डेटा आर्टिफैक्ट): इससे भी बड़ी समस्या यह थी कि Web of Science डेटाबेस में पुराने रिकॉर्ड के रेफरेंस अक्सर अधूरे होते थे। ऐसे पेपर्स, जिनमें कोई भी रेफरेंस सूचीबद्ध नहीं था, उन्हें गलती से 'सबसे ज्यादा डिसरप्टिव' (बाधा डालने वाला) करार दे दिया गया। जैसे-जैसे डेटाबेस की गुणवत्ता में सुधार हुआ, ये गलत रिकॉर्ड कम होते गए, जिससे यह भ्रम पैदा हुआ कि डिसरप्टिवनेस घट रही है।

गिरावट का कितना हिस्सा था यह आर्टिफैक्ट?

शोधकर्ताओं के अनुसार, जब इन डेटाबेस त्रुटियों को हटा दिया गया, तो गिरावट लगभग गायब हो गई। सबसे बड़े डेटासेट की जांच में पाया गया कि 1945 और 2010 के बीच देखी गई गिरावट का 93% हिस्सा सिर्फ इन डेटा आर्टिफैक्ट्स (कृत्रिम प्रभावों) के कारण था।

मूल अध्ययन के लेखकों का क्या कहना है?

मूल अध्ययन के लेखकों ने अपने बचाव में कहा है कि भले ही उन आलोचनाओं को ध्यान में रखा जाए, फिर भी उनके अपने विश्लेषण से नवाचार में सांख्यिकीय और व्यावहारिक रूप से महत्वपूर्ण गिरावट दिखाई देती है। हालांकि, बेल्जियम की टीम का कहना है कि जब वे केवल उन्हीं पेपर्स को देखते हैं जिनमें कम से कम 10 रेफरेंस हों, तो उन्हें डिसरप्शन में थोड़ी वृद्धि ही मिलती है।

32 महीने की देरी: वैज्ञानिक प्रक्रिया पर एक सवाल

यह मामला वैज्ञानिक पत्रिकाओं की आत्म-सुधार प्रक्रिया पर भी गंभीर सवाल खड़े करता है। बेल्जियम के शोधकर्ताओं ने अपना खंडन अक्टूबर 2023 में ही नेचर को भेज दिया था, लेकिन इसे प्रकाशित होने में 32 महीने लग गए।

इस देरी के दौरान:

• नेचर ने मूल अध्ययन के निष्कर्षों के आधार पर संपादकीय और समाचार फीचर प्रकाशित करना जारी रखा।
• मूल अध्ययन को 1,000 से अधिक बार और उद्धृत किया गया और कम से कम 16 नीतिगत दस्तावेजों में इसका इस्तेमाल हुआ।
• प्रमुख शोधकर्ता विन्सेंट गिनीस ने कहा, "जहां सॉफ्टवेयर बग को ओपन-सोर्स समुदाय ने महीनों में ठीक कर दिया, वहीं वैज्ञानिक सुधार को प्रकाशित होने में वर्षों लग गए। इस पूरे समय, पत्रिका की नीतियों ने हमें प्रेस से बात करने से रोक रखा था।"

विज्ञान नीति के लिए निहितार्थ

शोधकर्ताओं का कहना है कि यह मामला स्पष्ट करता है कि बिब्लियोमेट्रिक संकेतकों से वैज्ञानिक प्रगति के बारे में बड़े-बड़े निष्कर्ष निकालना खतरनाक हो सकता है, खासकर तब जब डेटाबेस की गुणवत्ता की कठोर जांच न की गई हो। वे सीधे तौर पर कहते हैं कि "2023 की पद्धति और निष्कर्ष विज्ञान नीति के लिए कोई ठोस आधार प्रदान नहीं करते हैं।"