2023 के अध्ययन ने क्या दावा किया था

मूल पेपर, "Papers and patents are becoming less disruptive over time," ने CD इंडेक्स नामक एक मीट्रिक का उपयोग करके मापा कि कोई पेपर या पेटेंट पिछले काम से कितना अलग है। इसने लगभग 4.5 करोड़ पेपर (1945–2010) और 39 लाख पेटेंट (1976–2010) का विश्लेषण किया और सभी वैज्ञानिक क्षेत्रों में विघटन स्कोर में लगातार गिरावट की सूचना दी । लेखकों ने इस प्रवृत्ति को शोधकर्ताओं द्वारा मौजूदा ज्ञान के एक संकीर्ण सेट पर निर्भरता से जोड़ा । पेपर को व्यापक रूप से स्वीकार किया गया: एक Nature समाचार फीचर और संपादकीय ने इसके निष्कर्षों पर आकर्षित किया, और अंततः इसे कम से कम 16 नीति दस्तावेजों में उद्धृत किया गया ।

2026 का सुधार: त्रुटियां कहां थीं

Holst और उनकी टीम ने स्पष्ट गिरावट को दो मुख्य स्रोतों में खोजा :

• विज़ुअलाइज़ेशन लाइब्रेरी में एक सॉफ्टवेयर बग। मूल लेखकों द्वारा उपयोग किए गए प्लॉटिंग सॉफ़्टवेयर में एक बग के कारण अधिकतम विघटन स्कोर वाले पेपर प्रकाशित हिस्टोग्राम से छिप गए। ये पेपर अभी भी मुख्य सांख्यिकीय विश्लेषण में शामिल थे, लेकिन दृश्य प्रतिनिधित्व - और अधिकतम स्कोर की असामान्य एकाग्रता - पाठकों और समीक्षकों के लिए अदृश्य थी। बेल्जियम की टीम ने इसकी खोज तब की जब उन्होंने ओपन डेटा का उपयोग करके अध्ययन को दोहराने का प्रयास किया ।

• पुराने प्रकाशनों में संदर्भ डेटा का अभाव। 2023 के अध्ययन में उपयोग किए गए ग्रंथ सूची डेटाबेस में नए पेपरों की तुलना में पुराने पेपरों के लिए अधिक पूर्ण संदर्भ सूचियां थीं। पुराने प्रकाशन, पूर्ण संदर्भ रिकॉर्ड के बिना, CD इंडेक्स द्वारा गलत तरीके से वर्गीकृत किए गए जैसे कि उनके पास शून्य पिछड़े उद्धरण हों। CD इंडेक्स ने तब इन पेपरों को अधिकतम संभव विघटन स्कोर दिया। जैसे-जैसे डेटाबेस की गुणवत्ता में समय के साथ सुधार हुआ, कम हाल के पेपरों को यह कृत्रिम बढ़ावा मिला, जिससे नीचे की ओर रुझान का झूठा आभास हुआ ।

जब बेल्जियम के शोधकर्ताओं ने लापता संदर्भ डेटा वाले पेपरों को फ़िल्टर कर दिया - गुणवत्ता नियंत्रण का एक मानक कदम - तो 2023 के अध्ययन के सबसे बड़े डेटासेट में 1945 और 2010 के बीच रिपोर्ट की गई 93% गिरावट गायब हो गई ।

लगभग तीन साल की प्रकाशन देरी

Holst और उनके सहयोगियों ने अक्टूबर 2023 में Nature को अपनी आलोचना प्रस्तुत की, मूल पेपर के प्रकाशित होने के कुछ ही महीनों बाद। इसे अगस्त 2026 तक प्रकाशित नहीं किया गया - 32 महीने की देरी ।

इस दौरान, मूल अध्ययन ने 1,000 से अधिक अतिरिक्त उद्धरण जमा किए । Nature ने स्वयं एक संपादकीय और एक समाचार फीचर प्रकाशित किया जिसमें गिरावट को एक स्थापित तथ्य के रूप में माना गया । पत्रिका की नीति ने आलोचकों को उनकी आलोचना की समीक्षा के दौरान प्रेस से बात करने से भी रोका, जिससे संशोधन के प्रयास उस अवधि के दौरान प्रभावी रूप से शांत हो गए जब दोषपूर्ण निष्कर्ष सबसे अधिक प्रभावशाली था ।

यह देरी उस चीज़ को उजागर करती है जिसे शोधकर्ता वैज्ञानिक प्रकाशन में एक प्रणालीगत समस्या कहते हैं: प्रोत्साहन सत्यापन पर आकर्षक परिणामों का पक्ष लेते हैं, और संशोधन संदिग्ध निष्कर्षों के प्रसार के साथ तालमेल रखने के लिए बहुत धीमी गति से चलते हैं ।

सुधार क्या बदलता है - और क्या नहीं

बेल्जियम की टीम इस बात से सावधान है कि उनका पुनर्विश्लेषण क्या साबित करता है। वे निष्कर्ष निकालते हैं कि "वर्तमान में इस बात का कोई ठोस सबूत नहीं है कि वैज्ञानिक शोध पहले की तुलना में कम अभूतपूर्व है" जो 2023 के अध्ययन में उपयोग किए गए CD-इंडेक्स मीट्रिक पर आधारित हो । उनका तर्क है कि मूल पेपर की पद्धति और निष्कर्ष विज्ञान नीति के लिए एक स्वस्थ आधार प्रदान नहीं करते हैं ।

शोधकर्ता यह भी चेतावनी देते हैं कि बड़े डेटाबेस में छोटी सी त्रुटि भी ऐसे निष्कर्ष निकाल सकती है जो वैश्विक बहस को प्रभावित करते हैं। वे लिखते हैं, "हमारे निष्कर्ष सावधानीपूर्वक गुणवत्ता नियंत्रण के बिना बड़े पैमाने पर ग्रंथ सूची विश्लेषण पर निर्भरता के बारे में एक चेतावनी के रूप में काम करते हैं," ।

जारी बहस

मूल लेखकों, Park, Leahey, और Funk ने Nature के उसी अंक में एक सहकर्मी-समीक्षित उत्तर प्रकाशित किया। उनका तर्क है कि गिरावट वैकल्पिक विशिष्टताओं के तहत सांख्यिकीय रूप से महत्वपूर्ण बनी हुई है, जिसमें Holst et al. के स्वयं के डेटासेट और बहिष्करण मानदंडों का उपयोग करना शामिल है। वे अपने स्वयं के प्रतिगमन मॉडल की ओर इशारा करते हैं, जो उनके अनुसार पेपर और पेटेंट दोनों के लिए बड़ी और महत्वपूर्ण गिरावट पैदा करता है ।

अपनी ओर से, बेल्जियम की टीम नोट करती है कि जब एक सख्त फ़िल्टर (कम से कम 10 संदर्भों वाले पेपर) का उपयोग किया जाता है, तो उन्होंने समय के साथ विघटन में वास्तव में थोड़ी वृद्धि पाई। हालांकि, वे चेतावनी देते हैं कि CD इंडेक्स स्वयं किसी भी तरह से निश्चित निष्कर्षों का समर्थन करने के लिए पर्याप्त मजबूत नहीं हो सकता है ।

यह क्यों मायने रखता है

यह बहस केवल शैक्षणिक नहीं है। यह दावा कि विज्ञान कम विघटनकारी होता जा रहा है, का उपयोग शोध फंडिंग, मूल्यांकन प्रणालियों और यहां तक कि इस कथा को बदलने के लिए किया गया है कि क्या हम ठहराव के युग में जी रहे हैं । यदि यह दावा काफी हद तक डेटा कलाकृतियों का परिणाम है, तो इस पर बनी नीतियां एक ऐसी समस्या का समाधान कर रही होंगी जो मौजूद नहीं है।

व्यापक रूप से, यह मामला बिग-डेटा विज्ञान की नाजुकता को रेखांकित करता है। 2023 के पेपर ने स्वचालित टूल के साथ करोड़ों रिकॉर्ड का विश्लेषण किया, लेकिन विज़ुअलाइज़ेशन लाइब्रेरी में एक ही बग और नियमित डेटाबेस अपूर्णता एक सुर्खियां बटोरने वाले निष्कर्ष का उत्पादन करने के लिए पर्याप्त थी, जिसे ठीक होने में तीन साल लग गए - और जिसका कुछ शोधकर्ता अभी भी बचाव करते हैं।

फिलहाल, यह सवाल कि क्या वैज्ञानिक विघटन वास्तव में गिरावट में है, अनसुलझा है। यह स्पष्ट है कि 2023 के निष्कर्ष में रखा गया विश्वास उस सबूत से अनुचित था जो इसमें वास्तव में निहित था।

2023 के अध्ययन ने क्या दावा किया था

मूल पेपर, "Papers and patents are becoming less disruptive over time," ने CD इंडेक्स नामक एक मीट्रिक का उपयोग करके मापा कि कोई पेपर या पेटेंट पिछले काम से कितना अलग है। इसने लगभग 4.5 करोड़ पेपर (1945–2010) और 39 लाख पेटेंट (1976–2010) का विश्लेषण किया और सभी वैज्ञानिक क्षेत्रों में विघटन स्कोर में लगातार गिरावट की सूचना दी । लेखकों ने इस प्रवृत्ति को शोधकर्ताओं द्वारा मौजूदा ज्ञान के एक संकीर्ण सेट पर निर्भरता से जोड़ा । पेपर को व्यापक रूप से स्वीकार किया गया: एक Nature समाचार फीचर और संपादकीय ने इसके निष्कर्षों पर आकर्षित किया, और अंततः इसे कम से कम 16 नीति दस्तावेजों में उद्धृत किया गया ।

2026 का सुधार: त्रुटियां कहां थीं

Holst और उनकी टीम ने स्पष्ट गिरावट को दो मुख्य स्रोतों में खोजा :

• विज़ुअलाइज़ेशन लाइब्रेरी में एक सॉफ्टवेयर बग। मूल लेखकों द्वारा उपयोग किए गए प्लॉटिंग सॉफ़्टवेयर में एक बग के कारण अधिकतम विघटन स्कोर वाले पेपर प्रकाशित हिस्टोग्राम से छिप गए। ये पेपर अभी भी मुख्य सांख्यिकीय विश्लेषण में शामिल थे, लेकिन दृश्य प्रतिनिधित्व - और अधिकतम स्कोर की असामान्य एकाग्रता - पाठकों और समीक्षकों के लिए अदृश्य थी। बेल्जियम की टीम ने इसकी खोज तब की जब उन्होंने ओपन डेटा का उपयोग करके अध्ययन को दोहराने का प्रयास किया ।

• पुराने प्रकाशनों में संदर्भ डेटा का अभाव। 2023 के अध्ययन में उपयोग किए गए ग्रंथ सूची डेटाबेस में नए पेपरों की तुलना में पुराने पेपरों के लिए अधिक पूर्ण संदर्भ सूचियां थीं। पुराने प्रकाशन, पूर्ण संदर्भ रिकॉर्ड के बिना, CD इंडेक्स द्वारा गलत तरीके से वर्गीकृत किए गए जैसे कि उनके पास शून्य पिछड़े उद्धरण हों। CD इंडेक्स ने तब इन पेपरों को अधिकतम संभव विघटन स्कोर दिया। जैसे-जैसे डेटाबेस की गुणवत्ता में समय के साथ सुधार हुआ, कम हाल के पेपरों को यह कृत्रिम बढ़ावा मिला, जिससे नीचे की ओर रुझान का झूठा आभास हुआ ।

जब बेल्जियम के शोधकर्ताओं ने लापता संदर्भ डेटा वाले पेपरों को फ़िल्टर कर दिया - गुणवत्ता नियंत्रण का एक मानक कदम - तो 2023 के अध्ययन के सबसे बड़े डेटासेट में 1945 और 2010 के बीच रिपोर्ट की गई 93% गिरावट गायब हो गई ।

लगभग तीन साल की प्रकाशन देरी

Holst और उनके सहयोगियों ने अक्टूबर 2023 में Nature को अपनी आलोचना प्रस्तुत की, मूल पेपर के प्रकाशित होने के कुछ ही महीनों बाद। इसे अगस्त 2026 तक प्रकाशित नहीं किया गया - 32 महीने की देरी ।

इस दौरान, मूल अध्ययन ने 1,000 से अधिक अतिरिक्त उद्धरण जमा किए । Nature ने स्वयं एक संपादकीय और एक समाचार फीचर प्रकाशित किया जिसमें गिरावट को एक स्थापित तथ्य के रूप में माना गया । पत्रिका की नीति ने आलोचकों को उनकी आलोचना की समीक्षा के दौरान प्रेस से बात करने से भी रोका, जिससे संशोधन के प्रयास उस अवधि के दौरान प्रभावी रूप से शांत हो गए जब दोषपूर्ण निष्कर्ष सबसे अधिक प्रभावशाली था ।

यह देरी उस चीज़ को उजागर करती है जिसे शोधकर्ता वैज्ञानिक प्रकाशन में एक प्रणालीगत समस्या कहते हैं: प्रोत्साहन सत्यापन पर आकर्षक परिणामों का पक्ष लेते हैं, और संशोधन संदिग्ध निष्कर्षों के प्रसार के साथ तालमेल रखने के लिए बहुत धीमी गति से चलते हैं ।

सुधार क्या बदलता है - और क्या नहीं

बेल्जियम की टीम इस बात से सावधान है कि उनका पुनर्विश्लेषण क्या साबित करता है। वे निष्कर्ष निकालते हैं कि "वर्तमान में इस बात का कोई ठोस सबूत नहीं है कि वैज्ञानिक शोध पहले की तुलना में कम अभूतपूर्व है" जो 2023 के अध्ययन में उपयोग किए गए CD-इंडेक्स मीट्रिक पर आधारित हो । उनका तर्क है कि मूल पेपर की पद्धति और निष्कर्ष विज्ञान नीति के लिए एक स्वस्थ आधार प्रदान नहीं करते हैं ।

शोधकर्ता यह भी चेतावनी देते हैं कि बड़े डेटाबेस में छोटी सी त्रुटि भी ऐसे निष्कर्ष निकाल सकती है जो वैश्विक बहस को प्रभावित करते हैं। वे लिखते हैं, "हमारे निष्कर्ष सावधानीपूर्वक गुणवत्ता नियंत्रण के बिना बड़े पैमाने पर ग्रंथ सूची विश्लेषण पर निर्भरता के बारे में एक चेतावनी के रूप में काम करते हैं," ।

जारी बहस

मूल लेखकों, Park, Leahey, और Funk ने Nature के उसी अंक में एक सहकर्मी-समीक्षित उत्तर प्रकाशित किया। उनका तर्क है कि गिरावट वैकल्पिक विशिष्टताओं के तहत सांख्यिकीय रूप से महत्वपूर्ण बनी हुई है, जिसमें Holst et al. के स्वयं के डेटासेट और बहिष्करण मानदंडों का उपयोग करना शामिल है। वे अपने स्वयं के प्रतिगमन मॉडल की ओर इशारा करते हैं, जो उनके अनुसार पेपर और पेटेंट दोनों के लिए बड़ी और महत्वपूर्ण गिरावट पैदा करता है ।

अपनी ओर से, बेल्जियम की टीम नोट करती है कि जब एक सख्त फ़िल्टर (कम से कम 10 संदर्भों वाले पेपर) का उपयोग किया जाता है, तो उन्होंने समय के साथ विघटन में वास्तव में थोड़ी वृद्धि पाई। हालांकि, वे चेतावनी देते हैं कि CD इंडेक्स स्वयं किसी भी तरह से निश्चित निष्कर्षों का समर्थन करने के लिए पर्याप्त मजबूत नहीं हो सकता है ।

यह क्यों मायने रखता है

यह बहस केवल शैक्षणिक नहीं है। यह दावा कि विज्ञान कम विघटनकारी होता जा रहा है, का उपयोग शोध फंडिंग, मूल्यांकन प्रणालियों और यहां तक कि इस कथा को बदलने के लिए किया गया है कि क्या हम ठहराव के युग में जी रहे हैं । यदि यह दावा काफी हद तक डेटा कलाकृतियों का परिणाम है, तो इस पर बनी नीतियां एक ऐसी समस्या का समाधान कर रही होंगी जो मौजूद नहीं है।

व्यापक रूप से, यह मामला बिग-डेटा विज्ञान की नाजुकता को रेखांकित करता है। 2023 के पेपर ने स्वचालित टूल के साथ करोड़ों रिकॉर्ड का विश्लेषण किया, लेकिन विज़ुअलाइज़ेशन लाइब्रेरी में एक ही बग और नियमित डेटाबेस अपूर्णता एक सुर्खियां बटोरने वाले निष्कर्ष का उत्पादन करने के लिए पर्याप्त थी, जिसे ठीक होने में तीन साल लग गए - और जिसका कुछ शोधकर्ता अभी भी बचाव करते हैं।

फिलहाल, यह सवाल कि क्या वैज्ञानिक विघटन वास्तव में गिरावट में है, अनसुलझा है। यह स्पष्ट है कि 2023 के निष्कर्ष में रखा गया विश्वास उस सबूत से अनुचित था जो इसमें वास्तव में निहित था।