Hva den nye imøtegåelsen avdekket

Det belgiske forskerteamet oppdaget flere alvorlige feil i metodikken:

1. En programvarefeil i visualiseringsverktøyet: En feil i plotting-biblioteket som forfatterne brukte, førte til at artikler med maksimal forstyrrelses-score ble utelatt fra de publiserte grafene – uten at leserne ble varslet .

2. Ufullstendige referansedata i eldre databaser: Dette var den største feilkilden. I Web of Science-databasen manglet eldre artikler ofte fullstendige referanselister. Når CD-indeksen (Consolidated Disruption Index) møtte en artikkel med null referanser, ble den automatisk klassifisert som «maksimalt forstyrrende». Etter hvert som databasene ble bedre, ble disse falske maksimumspoengene sjeldnere – noe som skapte en kunstig kurve som så ut som en nedgang i innovasjon .

Hvor stor var feilen?

Etter å ha renset dataene for disse artefaktene, forsvant den påståtte nedgangen nesten helt. I det største datasettet de undersøkte, utgjorde feilene hele 93 % av den rapporterte nedgangen mellom 1945 og 2010 . Teamet fant at når man kun ser på artikler med minst ti referanser, er det faktisk en svak økning i forstyrrelse over tid .

De opprinnelige forfatterne fastholder imidlertid sine konklusjoner. I en samtidig publisert replikk i Nature hevder de at selv når man bruker imøtegåelsens egne eksklusjonskriterier, viser deres reanalyse en statistisk og praktisk signifikant nedgang .

32 måneders forsinkelse – og konsekvensene

En av de mest oppsiktsvekkende detaljene i saken er tidsaspektet. De belgiske forskerne sendte inn sin kritikk til Nature allerede i oktober 2023, men tidsskriftet brukte 32 måneder på å akseptere den for publisering .

I mellomtiden:

• Ble den opprinnelige studien sitert over 1000 nye ganger .
• Ble den brukt i minst 16 politiske dokumenter som premiss for forskningspolitikk .
• Fortsatte Nature selv å publisere lederartikler og nyhetssaker som bygde på den opprinnelige studiens konklusjoner .

Forsker Vincent Ginis uttalte: «Mens programvarefeilen ble rettet av frivillige på få måneder, tok det år før den vitenskapelige korreksjonen ble publisert. Og hele denne tiden forbød tidsskriftets retningslinjer oss å snakke med pressen mens kritikken var til vurdering» .

Hva betyr dette for forskningspolitikken?

Imøtegåelsen har betydelige implikasjoner. Forfatterne skriver rett ut at «metodikken og konklusjonene fra 2023 ikke gir et godt grunnlag for forskningspolitikk» . Saken viser:

• Faren ved overflatiske bibliometriske indikatorer: Å trekke store konklusjoner om vitenskapens utvikling basert på sitatanalyser uten grundig kvalitetssjekk av dataene kan føre til feilaktige politiske prioriteringer.
• Svakheter i selvkorrigeringssystemet: At en åpen kildekode-fell ble rettet på måneder, mens den formelle publiseringsprosessen tok nesten tre år, avslører et strukturelt problem i vitenskapelig publisering .
• Medienes rolle: Over 300 nyhetssaker verden over spredte den opprinnelige historien om en «innovasjonsnedgang», mens korreksjonen får langt mindre oppmerksomhet.

Saken understreker behovet for både raskere korreksjonsprosesser i vitenskapelige tidsskrifter og større ydmykhet når komplekse bibliometriske analyser skal brukes til å fatte forskningspolitiske beslutninger.

Hva den nye imøtegåelsen avdekket

Det belgiske forskerteamet oppdaget flere alvorlige feil i metodikken:

1. En programvarefeil i visualiseringsverktøyet: En feil i plotting-biblioteket som forfatterne brukte, førte til at artikler med maksimal forstyrrelses-score ble utelatt fra de publiserte grafene – uten at leserne ble varslet .

2. Ufullstendige referansedata i eldre databaser: Dette var den største feilkilden. I Web of Science-databasen manglet eldre artikler ofte fullstendige referanselister. Når CD-indeksen (Consolidated Disruption Index) møtte en artikkel med null referanser, ble den automatisk klassifisert som «maksimalt forstyrrende». Etter hvert som databasene ble bedre, ble disse falske maksimumspoengene sjeldnere – noe som skapte en kunstig kurve som så ut som en nedgang i innovasjon .

Hvor stor var feilen?

Etter å ha renset dataene for disse artefaktene, forsvant den påståtte nedgangen nesten helt. I det største datasettet de undersøkte, utgjorde feilene hele 93 % av den rapporterte nedgangen mellom 1945 og 2010 . Teamet fant at når man kun ser på artikler med minst ti referanser, er det faktisk en svak økning i forstyrrelse over tid .

De opprinnelige forfatterne fastholder imidlertid sine konklusjoner. I en samtidig publisert replikk i Nature hevder de at selv når man bruker imøtegåelsens egne eksklusjonskriterier, viser deres reanalyse en statistisk og praktisk signifikant nedgang .

32 måneders forsinkelse – og konsekvensene

En av de mest oppsiktsvekkende detaljene i saken er tidsaspektet. De belgiske forskerne sendte inn sin kritikk til Nature allerede i oktober 2023, men tidsskriftet brukte 32 måneder på å akseptere den for publisering .

I mellomtiden:

• Ble den opprinnelige studien sitert over 1000 nye ganger .
• Ble den brukt i minst 16 politiske dokumenter som premiss for forskningspolitikk .
• Fortsatte Nature selv å publisere lederartikler og nyhetssaker som bygde på den opprinnelige studiens konklusjoner .

Forsker Vincent Ginis uttalte: «Mens programvarefeilen ble rettet av frivillige på få måneder, tok det år før den vitenskapelige korreksjonen ble publisert. Og hele denne tiden forbød tidsskriftets retningslinjer oss å snakke med pressen mens kritikken var til vurdering» .

Hva betyr dette for forskningspolitikken?

Imøtegåelsen har betydelige implikasjoner. Forfatterne skriver rett ut at «metodikken og konklusjonene fra 2023 ikke gir et godt grunnlag for forskningspolitikk» . Saken viser:

• Faren ved overflatiske bibliometriske indikatorer: Å trekke store konklusjoner om vitenskapens utvikling basert på sitatanalyser uten grundig kvalitetssjekk av dataene kan føre til feilaktige politiske prioriteringer.
• Svakheter i selvkorrigeringssystemet: At en åpen kildekode-fell ble rettet på måneder, mens den formelle publiseringsprosessen tok nesten tre år, avslører et strukturelt problem i vitenskapelig publisering .
• Medienes rolle: Over 300 nyhetssaker verden over spredte den opprinnelige historien om en «innovasjonsnedgang», mens korreksjonen får langt mindre oppmerksomhet.

Saken understreker behovet for både raskere korreksjonsprosesser i vitenskapelige tidsskrifter og større ydmykhet når komplekse bibliometriske analyser skal brukes til å fatte forskningspolitiske beslutninger.