Bukan Inovasi yang Menurun, Melainkan Data yang Bermasalah

Apa yang sebenarnya terjadi? Tim VUB dan KU Leuven mengidentifikasi dua sumber utama kesalahan :

1. Bug pada Perangkat Lunak Visualisasi: Ada kesalahan pada pustaka perangkat lunak yang digunakan peneliti asli untuk membuat grafik. Bug ini menyebabkan data dari makalah-makalah dengan skor 'disruptif' maksimal justru tidak muncul di histogram yang dipublikasikan. Ironisnya, data yang hilang inilah yang ternyata paling bermasalah.
2. Data Referensi yang Tidak Lengkap di Database Lama: Ini adalah kesalahan paling fatal. Basis data Web of Science untuk makalah-makalah lama (sekitar tahun 1945-1970-an) sering kali tidak memiliki metadata referensi yang lengkap. Banyak makalah lama yang tercatat memiliki nol referensi. Secara otomatis, algoritma yang mengukur 'disruptivitas' (disebut CD index) menganggap makalah tanpa referensi ini sebagai 'sangat disruptif'—karena dianggap tidak bergantung pada ilmu sebelumnya . Seiring waktu, kualitas basis data membaik, sehingga 'makalah disruptif palsu' ini makin jarang muncul. Inilah yang menciptakan ilusi penurunan disruptivitas.

Seberapa besar dampak kesalahan ini? Dalam kumpulan data terbesar yang dianalisis, "artefak data ini bertanggung jawab atas 93% dari penurunan yang dilaporkan antara tahun 1945 dan 2010" . Artinya, penurunan disruptivitas yang disebut-sebut nyaris seluruhnya adalah kesalahan teknis, bukan cerminan realitas sains.

Proses Koreksi yang Memakan Hampir 3 Tahun

Salah satu aspek yang paling mengkhawatirkan dari kasus ini adalah lambatnya proses koreksi ilmiah. Tim peneliti Belgia telah mengirimkan kritik mereka ke Nature pada Oktober 2023. Namun, butuh waktu 32 bulan (hampir 3 tahun) bagi jurnal tersebut untuk menerima dan menerbitkan bantahan ini .

Selama masa penundaan itu :

• Nature terus menerbitkan tajuk rencana (editorial) dan artikel berita yang merujuk pada kesimpulan studi tahun 2023.
• Studi yang keliru tersebut dikutip lebih dari 1.000 kali dan digunakan dalam setidaknya 16 dokumen kebijakan (policy documents) di berbagai negara.
• Peneliti utama, Vincent Ginis, menyatakan frustrasi: "Sementara bug perangkat lunak diperbaiki oleh komunitas open-source dalam hitungan bulan, koreksi ilmiah resmi membutuhkan waktu bertahun-tahun. Dan selama itu, kebijakan jurnal melarang kami berbicara kepada pers karena kritik kami masih dalam proses peninjauan."

Implikasi bagi Dunia Sains dan Kebijakan

Studi asli tahun 2023 telah memicu lebih dari 300 liputan berita di seluruh dunia dan memengaruhi narasi tentang 'perlambatan inovasi' . Para penulis bantahan dengan tegas menyatakan bahwa "metodologi dan kesimpulan dari studi tahun 2023 tidak memberikan dasar yang kuat untuk kebijakan sains."

Kasus ini menjadi pelajaran berharga. Ketika sebuah penemuan yang salah terus dipublikasikan dan dikutip selama bertahun-tahun, hal itu tidak hanya memengaruhi persepsi publik tetapi juga dapat mengubah arah pendanaan riset. Sebagai catatan, penulis asli (Park, Leahey, dan Funk) membantah temuan bantahan ini dan menyatakan bahwa penurunan disruptivitas tetap signifikan secara statistik dalam analisis mereka sendiri . Namun, tim VUB dan KU Leuven menegaskan bahwa ketika analisis dibatasi pada makalah yang memiliki setidaknya 10 referensi, justru ditemukan sedikit peningkatan dalam disruptivitas .

Kesimpulannya: sains melakukan koreksi, meskipun lambat. Dan kini, dunia tahu bahwa klaim 'sains semakin tidak inovatif' perlu dilihat dengan lebih kritis.

Bukan Inovasi yang Menurun, Melainkan Data yang Bermasalah

Apa yang sebenarnya terjadi? Tim VUB dan KU Leuven mengidentifikasi dua sumber utama kesalahan :

1. Bug pada Perangkat Lunak Visualisasi: Ada kesalahan pada pustaka perangkat lunak yang digunakan peneliti asli untuk membuat grafik. Bug ini menyebabkan data dari makalah-makalah dengan skor 'disruptif' maksimal justru tidak muncul di histogram yang dipublikasikan. Ironisnya, data yang hilang inilah yang ternyata paling bermasalah.
2. Data Referensi yang Tidak Lengkap di Database Lama: Ini adalah kesalahan paling fatal. Basis data Web of Science untuk makalah-makalah lama (sekitar tahun 1945-1970-an) sering kali tidak memiliki metadata referensi yang lengkap. Banyak makalah lama yang tercatat memiliki nol referensi. Secara otomatis, algoritma yang mengukur 'disruptivitas' (disebut CD index) menganggap makalah tanpa referensi ini sebagai 'sangat disruptif'—karena dianggap tidak bergantung pada ilmu sebelumnya . Seiring waktu, kualitas basis data membaik, sehingga 'makalah disruptif palsu' ini makin jarang muncul. Inilah yang menciptakan ilusi penurunan disruptivitas.

Seberapa besar dampak kesalahan ini? Dalam kumpulan data terbesar yang dianalisis, "artefak data ini bertanggung jawab atas 93% dari penurunan yang dilaporkan antara tahun 1945 dan 2010" . Artinya, penurunan disruptivitas yang disebut-sebut nyaris seluruhnya adalah kesalahan teknis, bukan cerminan realitas sains.

Proses Koreksi yang Memakan Hampir 3 Tahun

Salah satu aspek yang paling mengkhawatirkan dari kasus ini adalah lambatnya proses koreksi ilmiah. Tim peneliti Belgia telah mengirimkan kritik mereka ke Nature pada Oktober 2023. Namun, butuh waktu 32 bulan (hampir 3 tahun) bagi jurnal tersebut untuk menerima dan menerbitkan bantahan ini .

Selama masa penundaan itu :

• Nature terus menerbitkan tajuk rencana (editorial) dan artikel berita yang merujuk pada kesimpulan studi tahun 2023.
• Studi yang keliru tersebut dikutip lebih dari 1.000 kali dan digunakan dalam setidaknya 16 dokumen kebijakan (policy documents) di berbagai negara.
• Peneliti utama, Vincent Ginis, menyatakan frustrasi: "Sementara bug perangkat lunak diperbaiki oleh komunitas open-source dalam hitungan bulan, koreksi ilmiah resmi membutuhkan waktu bertahun-tahun. Dan selama itu, kebijakan jurnal melarang kami berbicara kepada pers karena kritik kami masih dalam proses peninjauan."

Implikasi bagi Dunia Sains dan Kebijakan

Studi asli tahun 2023 telah memicu lebih dari 300 liputan berita di seluruh dunia dan memengaruhi narasi tentang 'perlambatan inovasi' . Para penulis bantahan dengan tegas menyatakan bahwa "metodologi dan kesimpulan dari studi tahun 2023 tidak memberikan dasar yang kuat untuk kebijakan sains."

Kasus ini menjadi pelajaran berharga. Ketika sebuah penemuan yang salah terus dipublikasikan dan dikutip selama bertahun-tahun, hal itu tidak hanya memengaruhi persepsi publik tetapi juga dapat mengubah arah pendanaan riset. Sebagai catatan, penulis asli (Park, Leahey, dan Funk) membantah temuan bantahan ini dan menyatakan bahwa penurunan disruptivitas tetap signifikan secara statistik dalam analisis mereka sendiri . Namun, tim VUB dan KU Leuven menegaskan bahwa ketika analisis dibatasi pada makalah yang memiliki setidaknya 10 referensi, justru ditemukan sedikit peningkatan dalam disruptivitas .

Kesimpulannya: sains melakukan koreksi, meskipun lambat. Dan kini, dunia tahu bahwa klaim 'sains semakin tidak inovatif' perlu dilihat dengan lebih kritis.