Da de belgiske forskere frasorterede artikler med manglende referencedata - et standard skridt i kvalitetskontrol - forsvandt 93 % af det rapporterede fald mellem 1945 og 2010 i det største datasæt fra 2023-undersøgelsen .
Holst og hans kolleger indsendte deres kritik til Nature i oktober 2023, kun få måneder efter den originale artikel udkom. Den blev først offentliggjort i august 2026 - en forsinkelse på 32 måneder .
I løbet af den tid akkumulerede den originale undersøgelse over 1.000 yderligere citationer . Nature selv offentliggjorde en leder og en nyhedsartikel, der behandlede faldet som en etableret kendsgerning
. Tidsskriftets politik forhindrede også kritikerne i at tale med pressen, mens deres kritik var under fagfællebedømmelse, hvilket effektivt lukkede ned for korrektionsbestræbelser i den periode, hvor det fejlbehæftede resultat var mest indflydelsesrigt
.
Forsinkelsen understreger, hvad forskerne kalder et systemisk problem i videnskabelig publicering: incitamenter favoriserer opsigtsvækkende resultater frem for verifikation, og korrektioner bevæger sig for langsomt til at følge med spredningen af tvivlsomme resultater .
Det belgiske hold er forsigtige med, hvad deres reanalyse beviser. De konkluderer, at "der i øjeblikket ikke er overbevisende bevis for, at videnskabelig forskning er mindre banebrydende, end den plejede at være" baseret på den CD-indeks-metrik, der blev brugt i 2023-undersøgelsen . De argumenterer for, at metodologien og konklusionerne fra den originale artikel ikke udgør et solidt grundlag for videnskabspolitik
.
Forskerne advarer også om, at selv små fejl i store databaser kan drive konklusioner, der påvirker den globale debat. "Vores resultater tjener som en advarsel mod at stole på storskala bibliometriske analyser uden omhyggelig kvalitetskontrol," skriver de .
De originale forfattere, Park, Leahey og Funk, offentliggjorde et peer reviewet svar i samme nummer af Nature. De argumenterer for, at faldet forbliver statistisk signifikant under alternative specifikationer, herunder når man bruger Holst et al.s eget datasæt og eksklusionskriterier. De peger på deres egen regressionsmodel, som de siger giver store og signifikante fald for både artikler og patenter .
For deres del bemærker det belgiske hold, at når de bruger et strengere filter (artikler med mindst 10 referencer), fandt de faktisk en svag stigning i disruption over tid. De advarer dog om, at CD-indekset i sig selv måske ikke er robust nok til at understøtte endelige konklusioner i nogen retning .
Denne debat er ikke blot akademisk. Påstanden om, at videnskab bliver mindre nyskabende, er blevet brugt til at retfærdiggøre ændringer i forskningsfinansiering, evalueringssystemer og endda fortællingen om, hvorvidt vi lever i en æra med stagnation . Hvis den påstand i vid udstrækning er et resultat af dataartefakter, så kan politikker bygget på den adressere et problem, der ikke eksisterer.
Mere generelt understreger sagen skrøbeligheden af big data-videnskab. 2023-artiklen analyserede titusindvis af millioner af poster med automatiserede værktøjer, men en enkelt fejl i et visualiseringsbibliotek og rutinemæssig ufuldstændighed i databasen var nok til at producere en overskriftsvækkende konklusion, der tog tre år at korrigere - og som nogle forskere stadig forsvarer.
Spørgsmålet om, hvorvidt videnskabelig disruption virkelig er faldende, er indtil videre uafklaret. Hvad der er klart, er, at den tillid, der blev sat til 2023-resultatet, var ubegrundet i forhold til de beviser, det faktisk indeholdt.