Inovasi Sains Tidak Semakin Lemah? Kajian Baru Dedahkan Kesilapan Besar dalam Penyelidikan Terdahulu

Apa Ini Dedahkan Tentang Metodologi Kajian Asal

• Keputusan asal tidak kukuh terhadap pemeriksaan kualiti data asas. Penemuan itu didorong sepenuhnya oleh artifak pangkalan data — rekod rujukan yang tidak lengkap pada tahun-tahun yang lebih lama — bukan perubahan sebenar dalam sains .
• Angka-angka yang diterbitkan adalah mengelirukan akibat bug perisian yang menyembunyikan titik data yang, apabila diperiksa, terbukti sebagai artifak .
• Balasan pengarang asal (juga diterbitkan oleh Nature pada hari yang sama) mempertikaikan perkara ini, menyatakan bahawa analisis semula mereka sendiri menggunakan kriteria pengecualian yang digemari oleh pengkritik masih menunjukkan penurunan yang signifikan secara statistik dan praktikal . Walau bagaimanapun, pengarang penterbalikan menyatakan bahawa apabila mereka menghadkan kepada kertas dengan sekurang-kurangnya 10 rujukan, mereka mendapati sedikit peningkatan dalam sifat disruptif dan membuat kesimpulan bahawa ukuran itu tidak boleh menyokong kenyataan konklusif tentang trend .

Kelewatan Penerbitan 32 Bulan

• Penyelidik Belgium menghantar kritikan mereka kepada Nature pada Oktober 2023, tetapi jurnal itu mengambil masa 32 bulan untuk menerimanya untuk diterbitkan .
• Semasa kelewatan itu, Nature terus menerbitkan editorial dan ciri berita yang menggunakan kesimpulan kertas asal, dan kajian asal telah disebut lebih 1,000 kali tambahan dan digunakan dalam sekurang-kurangnya 16 dokumen dasar .
• Ketua penyelidik Vincent Ginis menyatakan: "Manakala bug perisian telah dibetulkan oleh komuniti sumber terbuka dalam beberapa bulan, ia mengambil masa bertahun-tahun untuk pembetulan saintifik diterbitkan. Dan sepanjang masa ini, dasar jurnal melarang kami daripada bercakap dengan akhbar semasa kritikan kami sedang dalam pertimbangan" .

Implikasi untuk Dasar Sains

• Kertas asal menjana lebih 300 liputan berita di seluruh dunia dan disebut dalam sekurang-kurangnya 16 dokumen dasar, mempengaruhi naratif tentang 'kelembapan inovasi' .
• Pengarang penterbalikan menyatakan secara jelas bahawa "metodologi dan kesimpulan dari 2023 tidak menyediakan asas yang kukuh untuk dasar sains" .
• Kes ini menyerlahkan kelemahan struktur dalam proses pembetulan kendiri: bug perisian telah dibetulkan dengan cepat oleh penyumbang sumber terbuka, namun pembetulan saintifik formal mengambil masa hampir tiga tahun; selama itu, penemuan yang salah terus membentuk wacana awam dan dasar .
• Ia juga menekankan bahaya membuat kesimpulan meluas tentang kemajuan saintifik daripada penunjuk bibliometrik tanpa pengesahan ketat terhadap artifak kualiti pangkalan data.