Penemuan Utama Penterbalikan

• Apakah ralat yang berlaku: Satu bug dalam perisian visualisasi yang digunakan oleh pengarang asal menyebabkan kertas dengan skor gangguan maksimum ditinggalkan daripada histogram yang diterbitkan tanpa amaran . Lebih kritikal lagi, punca ralat terbesar ialah rekod pangkalan data yang lebih lama dalam Web of Science sering mempunyai metadata rujukan yang tidak lengkap — kertas yang tidak mempunyai rujukan tersenarai tersilap diklasifikasikan sebagai 'paling disruptif' oleh kaedah indeks CD . Apabila kualiti pangkalan data bertambah baik dari semasa ke semasa, skor maksimum palsu ini menjadi semakin jarang, mewujudkan ilusi penurunan dalam sifat disruptif .
• Magnitud artifak: Selepas menapis ralat pangkalan data ini, penurunan itu sebahagian besarnya hilang. Dalam set data terbesar yang diperiksa, 'artifak menyumbang 93% penurunan yang dilaporkan antara 1945 dan 2010' .

Apa Ini Dedahkan Tentang Metodologi Kajian Asal

• Keputusan asal tidak kukuh terhadap pemeriksaan kualiti data asas. Penemuan itu didorong sepenuhnya oleh artifak pangkalan data — rekod rujukan yang tidak lengkap pada tahun-tahun yang lebih lama — bukan perubahan sebenar dalam sains .
• Angka-angka yang diterbitkan adalah mengelirukan akibat bug perisian yang menyembunyikan titik data yang, apabila diperiksa, terbukti sebagai artifak .
• Balasan pengarang asal (juga diterbitkan oleh Nature pada hari yang sama) mempertikaikan perkara ini, menyatakan bahawa analisis semula mereka sendiri menggunakan kriteria pengecualian yang digemari oleh pengkritik masih menunjukkan penurunan yang signifikan secara statistik dan praktikal . Walau bagaimanapun, pengarang penterbalikan menyatakan bahawa apabila mereka menghadkan kepada kertas dengan sekurang-kurangnya 10 rujukan, mereka mendapati sedikit peningkatan dalam sifat disruptif dan membuat kesimpulan bahawa ukuran itu tidak boleh menyokong kenyataan konklusif tentang trend .

Kelewatan Penerbitan 32 Bulan

• Penyelidik Belgium menghantar kritikan mereka kepada Nature pada Oktober 2023, tetapi jurnal itu mengambil masa 32 bulan untuk menerimanya untuk diterbitkan .
• Semasa kelewatan itu, Nature terus menerbitkan editorial dan ciri berita yang menggunakan kesimpulan kertas asal, dan kajian asal telah disebut lebih 1,000 kali tambahan dan digunakan dalam sekurang-kurangnya 16 dokumen dasar .
• Ketua penyelidik Vincent Ginis menyatakan: "Manakala bug perisian telah dibetulkan oleh komuniti sumber terbuka dalam beberapa bulan, ia mengambil masa bertahun-tahun untuk pembetulan saintifik diterbitkan. Dan sepanjang masa ini, dasar jurnal melarang kami daripada bercakap dengan akhbar semasa kritikan kami sedang dalam pertimbangan" .

Implikasi untuk Dasar Sains

• Kertas asal menjana lebih 300 liputan berita di seluruh dunia dan disebut dalam sekurang-kurangnya 16 dokumen dasar, mempengaruhi naratif tentang 'kelembapan inovasi' .
• Pengarang penterbalikan menyatakan secara jelas bahawa "metodologi dan kesimpulan dari 2023 tidak menyediakan asas yang kukuh untuk dasar sains" .
• Kes ini menyerlahkan kelemahan struktur dalam proses pembetulan kendiri: bug perisian telah dibetulkan dengan cepat oleh penyumbang sumber terbuka, namun pembetulan saintifik formal mengambil masa hampir tiga tahun; selama itu, penemuan yang salah terus membentuk wacana awam dan dasar .
• Ia juga menekankan bahaya membuat kesimpulan meluas tentang kemajuan saintifik daripada penunjuk bibliometrik tanpa pengesahan ketat terhadap artifak kualiti pangkalan data.

Penemuan Utama Penterbalikan

• Apakah ralat yang berlaku: Satu bug dalam perisian visualisasi yang digunakan oleh pengarang asal menyebabkan kertas dengan skor gangguan maksimum ditinggalkan daripada histogram yang diterbitkan tanpa amaran . Lebih kritikal lagi, punca ralat terbesar ialah rekod pangkalan data yang lebih lama dalam Web of Science sering mempunyai metadata rujukan yang tidak lengkap — kertas yang tidak mempunyai rujukan tersenarai tersilap diklasifikasikan sebagai 'paling disruptif' oleh kaedah indeks CD . Apabila kualiti pangkalan data bertambah baik dari semasa ke semasa, skor maksimum palsu ini menjadi semakin jarang, mewujudkan ilusi penurunan dalam sifat disruptif .
• Magnitud artifak: Selepas menapis ralat pangkalan data ini, penurunan itu sebahagian besarnya hilang. Dalam set data terbesar yang diperiksa, 'artifak menyumbang 93% penurunan yang dilaporkan antara 1945 dan 2010' .

Apa Ini Dedahkan Tentang Metodologi Kajian Asal

• Keputusan asal tidak kukuh terhadap pemeriksaan kualiti data asas. Penemuan itu didorong sepenuhnya oleh artifak pangkalan data — rekod rujukan yang tidak lengkap pada tahun-tahun yang lebih lama — bukan perubahan sebenar dalam sains .
• Angka-angka yang diterbitkan adalah mengelirukan akibat bug perisian yang menyembunyikan titik data yang, apabila diperiksa, terbukti sebagai artifak .
• Balasan pengarang asal (juga diterbitkan oleh Nature pada hari yang sama) mempertikaikan perkara ini, menyatakan bahawa analisis semula mereka sendiri menggunakan kriteria pengecualian yang digemari oleh pengkritik masih menunjukkan penurunan yang signifikan secara statistik dan praktikal . Walau bagaimanapun, pengarang penterbalikan menyatakan bahawa apabila mereka menghadkan kepada kertas dengan sekurang-kurangnya 10 rujukan, mereka mendapati sedikit peningkatan dalam sifat disruptif dan membuat kesimpulan bahawa ukuran itu tidak boleh menyokong kenyataan konklusif tentang trend .

Kelewatan Penerbitan 32 Bulan

• Penyelidik Belgium menghantar kritikan mereka kepada Nature pada Oktober 2023, tetapi jurnal itu mengambil masa 32 bulan untuk menerimanya untuk diterbitkan .
• Semasa kelewatan itu, Nature terus menerbitkan editorial dan ciri berita yang menggunakan kesimpulan kertas asal, dan kajian asal telah disebut lebih 1,000 kali tambahan dan digunakan dalam sekurang-kurangnya 16 dokumen dasar .
• Ketua penyelidik Vincent Ginis menyatakan: "Manakala bug perisian telah dibetulkan oleh komuniti sumber terbuka dalam beberapa bulan, ia mengambil masa bertahun-tahun untuk pembetulan saintifik diterbitkan. Dan sepanjang masa ini, dasar jurnal melarang kami daripada bercakap dengan akhbar semasa kritikan kami sedang dalam pertimbangan" .

Implikasi untuk Dasar Sains

• Kertas asal menjana lebih 300 liputan berita di seluruh dunia dan disebut dalam sekurang-kurangnya 16 dokumen dasar, mempengaruhi naratif tentang 'kelembapan inovasi' .
• Pengarang penterbalikan menyatakan secara jelas bahawa "metodologi dan kesimpulan dari 2023 tidak menyediakan asas yang kukuh untuk dasar sains" .
• Kes ini menyerlahkan kelemahan struktur dalam proses pembetulan kendiri: bug perisian telah dibetulkan dengan cepat oleh penyumbang sumber terbuka, namun pembetulan saintifik formal mengambil masa hampir tiga tahun; selama itu, penemuan yang salah terus membentuk wacana awam dan dasar .
• Ia juga menekankan bahaya membuat kesimpulan meluas tentang kemajuan saintifik daripada penunjuk bibliometrik tanpa pengesahan ketat terhadap artifak kualiti pangkalan data.