Apa yang Didakwa oleh Kajian 2023

Kertas asal, "Kertas kerja dan paten semakin kurang memberi impak terobosan dari semasa ke semasa," menggunakan metrik yang dipanggil indeks CD untuk mengukur sejauh mana sesuatu kertas atau paten memutuskan hubungan dengan kerja sebelumnya. Ia menganalisis kira-kira 45 juta kertas kerja (1945–2010) dan 3.9 juta paten (1976–2010) dan melaporkan penurunan berterusan dalam skor impak terobosan merentas semua bidang saintifik . Pengarang mengaitkan trend ini dengan penyelidik yang bergantung pada set pengetahuan sedia ada yang lebih sempit . Kertas ini diterima secara meluas: ciri berita Nature dan editorial menggunakan kesimpulannya, dan ia akhirnya dirujuk dalam sekurang-kurangnya 16 dokumen dasar .

Pembetulan 2026: Di Mana Ralat Berlaku

Holst dan pasukannya mengesan kemerosotan yang dilaporkan kepada dua sumber utama :

• Pepijat perisian dalam perpustakaan visualisasi. Pepijat dalam perisian plot yang digunakan oleh pengarang asal menyebabkan kertas kerja dengan skor impak maksimum tersembunyi daripada histogram yang diterbitkan. Kertas ini masih dimasukkan dalam analisis statistik utama, tetapi perwakilan visual—dan kepekatan luar biasa skor maksimum—tidak kelihatan kepada pembaca dan penyemak. Pasukan Belgium menemui ini apabila mereka cuba menghasilkan semula kajian menggunakan data terbuka .

• Data rujukan yang hilang dalam penerbitan lama. Pangkalan data bibliometrik yang digunakan dalam kajian 2023 mempunyai senarai rujukan yang lebih lengkap untuk kertas kerja baharu berbanding yang lama. Penerbitan lama, yang kekurangan rekod rujukan penuh, telah salah diklasifikasikan oleh indeks CD seolah-olah mereka mempunyai sifar sitasi ke belakang. Indeks CD kemudian memberikan kertas ini skor impak maksimum yang mungkin. Apabila kualiti pangkalan data bertambah baik dari semasa ke semasa, lebih sedikit kertas baharu menerima rangsangan buatan ini, mewujudkan tanggapan palsu tentang trend menurun .

Apabila penyelidik Belgium menapis kertas kerja yang kekurangan data rujukan—langkah kawalan kualiti standard—93% daripada kemerosotan yang dilaporkan antara 1945 dan 2010 hilang dalam set data terbesar daripada kajian 2023 .

Kelewatan Penerbitan Hampir Tiga Tahun

Holst dan rakan sekerjanya menyerahkan kritikan mereka kepada Nature pada Oktober 2023, hanya beberapa bulan selepas kertas asal diterbitkan. Ia tidak diterbitkan sehingga Ogos 2026—kelewatan selama 32 bulan .

Dalam tempoh itu, kajian asal mengumpul lebih 1,000 sitasi tambahan . Nature sendiri menerbitkan editorial dan ciri berita yang menganggap kemerosotan itu sebagai fakta yang telah ditetapkan . Dasar jurnal juga menghalang pengkritik daripada bercakap dengan akhbar semasa kritikan mereka dalam semakan, secara berkesan menyenyapkan usaha pembetulan semasa tempoh apabila penemuan yang cacat itu paling berpengaruh .

Kelewatan ini menonjolkan apa yang penyelidik panggil masalah sistemik dalam penerbitan saintifik: insentif memihak kepada hasil yang menarik perhatian berbanding pengesahan, dan pembetulan bergerak terlalu perlahan untuk mengejar penyebaran penemuan yang boleh dipersoalkan .

Apa yang Pembetulan Ubah—dan Apa yang Tidak

Pasukan Belgium berhati-hati tentang apa yang dibuktikan oleh analisis semula mereka. Mereka membuat kesimpulan bahawa "kini tiada bukti yang meyakinkan bahawa penyelidikan saintifik kurang terobosan berbanding dahulu" berdasarkan metrik indeks CD yang digunakan dalam kajian 2023 . Mereka berhujah bahawa metodologi dan kesimpulan kertas asal tidak menyediakan asas yang kukuh untuk dasar sains .

Penyelidik juga memberi amaran bahawa walaupun ralat kecil dalam pangkalan data besar boleh mendorong kesimpulan yang mempengaruhi perdebatan global. "Penemuan kami berfungsi sebagai kisah peringatan tentang pergantungan pada analisis bibliometrik skala besar tanpa kawalan kualiti yang teliti," tulis mereka .

Perdebatan Berterusan

Pengarang asal, Park, Leahey, dan Funk, menerbitkan Balasan yang disemak rakan sebaya dalam isu Nature yang sama. Mereka berhujah bahawa kemerosotan itu kekal signifikan secara statistik di bawah spesifikasi alternatif, termasuk apabila menggunakan set data dan kriteria pengecualian Holst et al. sendiri. Mereka menunjukkan model regresi mereka sendiri, yang mereka katakan menghasilkan kemerosotan yang besar dan signifikan untuk kedua-dua kertas kerja dan paten .

Bagi pihak mereka, pasukan Belgium menyatakan bahawa apabila menggunakan penapis yang lebih ketat (kertas kerja dengan sekurang-kurangnya 10 rujukan), mereka sebenarnya mendapati sedikit peningkatan dalam impak terobosan dari semasa ke semasa. Walau bagaimanapun, mereka memberi amaran bahawa indeks CD itu sendiri mungkin tidak cukup mantap untuk menyokong kesimpulan muktamad sama ada .

Mengapa Ini Penting

Perdebatan ini bukan sekadar akademik. Dakwaan bahawa sains menjadi kurang inovatif telah digunakan untuk mewajarkan perubahan dalam pembiayaan penyelidikan, sistem penilaian, dan juga naratif tentang sama ada kita hidup dalam era genangan . Jika dakwaan itu sebahagian besarnya adalah hasil daripada artifak data, maka dasar yang dibina di atasnya mungkin menangani masalah yang tidak wujud.

Secara lebih luas, kes ini menekankan kerapuhan sains data besar. Kertas 2023 menganalisis puluhan juta rekod dengan alat automatik, tetapi satu pepijat dalam perpustakaan visualisasi dan ketidaklengkapan pangkalan data rutin sudah cukup untuk menghasilkan kesimpulan yang menarik perhatian yang mengambil masa tiga tahun untuk diperbetulkan—dan yang masih dipertahankan oleh beberapa penyelidik.

Buat masa ini, persoalan sama ada inovasi saintifik benar-benar merosot masih tidak terjawab. Apa yang jelas ialah keyakinan yang diletakkan pada penemuan 2023 adalah tidak wajar berdasarkan bukti yang sebenarnya terkandung di dalamnya.

Apa yang Didakwa oleh Kajian 2023

Kertas asal, "Kertas kerja dan paten semakin kurang memberi impak terobosan dari semasa ke semasa," menggunakan metrik yang dipanggil indeks CD untuk mengukur sejauh mana sesuatu kertas atau paten memutuskan hubungan dengan kerja sebelumnya. Ia menganalisis kira-kira 45 juta kertas kerja (1945–2010) dan 3.9 juta paten (1976–2010) dan melaporkan penurunan berterusan dalam skor impak terobosan merentas semua bidang saintifik . Pengarang mengaitkan trend ini dengan penyelidik yang bergantung pada set pengetahuan sedia ada yang lebih sempit . Kertas ini diterima secara meluas: ciri berita Nature dan editorial menggunakan kesimpulannya, dan ia akhirnya dirujuk dalam sekurang-kurangnya 16 dokumen dasar .

Pembetulan 2026: Di Mana Ralat Berlaku

Holst dan pasukannya mengesan kemerosotan yang dilaporkan kepada dua sumber utama :

• Pepijat perisian dalam perpustakaan visualisasi. Pepijat dalam perisian plot yang digunakan oleh pengarang asal menyebabkan kertas kerja dengan skor impak maksimum tersembunyi daripada histogram yang diterbitkan. Kertas ini masih dimasukkan dalam analisis statistik utama, tetapi perwakilan visual—dan kepekatan luar biasa skor maksimum—tidak kelihatan kepada pembaca dan penyemak. Pasukan Belgium menemui ini apabila mereka cuba menghasilkan semula kajian menggunakan data terbuka .

• Data rujukan yang hilang dalam penerbitan lama. Pangkalan data bibliometrik yang digunakan dalam kajian 2023 mempunyai senarai rujukan yang lebih lengkap untuk kertas kerja baharu berbanding yang lama. Penerbitan lama, yang kekurangan rekod rujukan penuh, telah salah diklasifikasikan oleh indeks CD seolah-olah mereka mempunyai sifar sitasi ke belakang. Indeks CD kemudian memberikan kertas ini skor impak maksimum yang mungkin. Apabila kualiti pangkalan data bertambah baik dari semasa ke semasa, lebih sedikit kertas baharu menerima rangsangan buatan ini, mewujudkan tanggapan palsu tentang trend menurun .

Apabila penyelidik Belgium menapis kertas kerja yang kekurangan data rujukan—langkah kawalan kualiti standard—93% daripada kemerosotan yang dilaporkan antara 1945 dan 2010 hilang dalam set data terbesar daripada kajian 2023 .

Kelewatan Penerbitan Hampir Tiga Tahun

Holst dan rakan sekerjanya menyerahkan kritikan mereka kepada Nature pada Oktober 2023, hanya beberapa bulan selepas kertas asal diterbitkan. Ia tidak diterbitkan sehingga Ogos 2026—kelewatan selama 32 bulan .

Dalam tempoh itu, kajian asal mengumpul lebih 1,000 sitasi tambahan . Nature sendiri menerbitkan editorial dan ciri berita yang menganggap kemerosotan itu sebagai fakta yang telah ditetapkan . Dasar jurnal juga menghalang pengkritik daripada bercakap dengan akhbar semasa kritikan mereka dalam semakan, secara berkesan menyenyapkan usaha pembetulan semasa tempoh apabila penemuan yang cacat itu paling berpengaruh .

Kelewatan ini menonjolkan apa yang penyelidik panggil masalah sistemik dalam penerbitan saintifik: insentif memihak kepada hasil yang menarik perhatian berbanding pengesahan, dan pembetulan bergerak terlalu perlahan untuk mengejar penyebaran penemuan yang boleh dipersoalkan .

Apa yang Pembetulan Ubah—dan Apa yang Tidak

Pasukan Belgium berhati-hati tentang apa yang dibuktikan oleh analisis semula mereka. Mereka membuat kesimpulan bahawa "kini tiada bukti yang meyakinkan bahawa penyelidikan saintifik kurang terobosan berbanding dahulu" berdasarkan metrik indeks CD yang digunakan dalam kajian 2023 . Mereka berhujah bahawa metodologi dan kesimpulan kertas asal tidak menyediakan asas yang kukuh untuk dasar sains .

Penyelidik juga memberi amaran bahawa walaupun ralat kecil dalam pangkalan data besar boleh mendorong kesimpulan yang mempengaruhi perdebatan global. "Penemuan kami berfungsi sebagai kisah peringatan tentang pergantungan pada analisis bibliometrik skala besar tanpa kawalan kualiti yang teliti," tulis mereka .

Perdebatan Berterusan

Pengarang asal, Park, Leahey, dan Funk, menerbitkan Balasan yang disemak rakan sebaya dalam isu Nature yang sama. Mereka berhujah bahawa kemerosotan itu kekal signifikan secara statistik di bawah spesifikasi alternatif, termasuk apabila menggunakan set data dan kriteria pengecualian Holst et al. sendiri. Mereka menunjukkan model regresi mereka sendiri, yang mereka katakan menghasilkan kemerosotan yang besar dan signifikan untuk kedua-dua kertas kerja dan paten .

Bagi pihak mereka, pasukan Belgium menyatakan bahawa apabila menggunakan penapis yang lebih ketat (kertas kerja dengan sekurang-kurangnya 10 rujukan), mereka sebenarnya mendapati sedikit peningkatan dalam impak terobosan dari semasa ke semasa. Walau bagaimanapun, mereka memberi amaran bahawa indeks CD itu sendiri mungkin tidak cukup mantap untuk menyokong kesimpulan muktamad sama ada .

Mengapa Ini Penting

Perdebatan ini bukan sekadar akademik. Dakwaan bahawa sains menjadi kurang inovatif telah digunakan untuk mewajarkan perubahan dalam pembiayaan penyelidikan, sistem penilaian, dan juga naratif tentang sama ada kita hidup dalam era genangan . Jika dakwaan itu sebahagian besarnya adalah hasil daripada artifak data, maka dasar yang dibina di atasnya mungkin menangani masalah yang tidak wujud.

Secara lebih luas, kes ini menekankan kerapuhan sains data besar. Kertas 2023 menganalisis puluhan juta rekod dengan alat automatik, tetapi satu pepijat dalam perpustakaan visualisasi dan ketidaklengkapan pangkalan data rutin sudah cukup untuk menghasilkan kesimpulan yang menarik perhatian yang mengambil masa tiga tahun untuk diperbetulkan—dan yang masih dipertahankan oleh beberapa penyelidik.

Buat masa ini, persoalan sama ada inovasi saintifik benar-benar merosot masih tidak terjawab. Apa yang jelas ialah keyakinan yang diletakkan pada penemuan 2023 adalah tidak wajar berdasarkan bukti yang sebenarnya terkandung di dalamnya.