Vilka fel hittades?

• Mjukvarufel (bugg): Ett problem i den programvara som användes för att visualisera data gjorde att artiklar med det högsta möjliga ”störningsvärdet” (CD-index) inte visades i de publicerade histogrammen .
• Ofullständiga referensdata: En mer avgörande felkälla var att äldre poster i databasen Web of Science ofta saknade fullständig information om referenser. Artiklar med noll listade referenser klassificerades felaktigt som ”maximalt banbrytande” av den metod som användes (CD-index) .
• Illusion av nedgång: När databasernas kvalitet förbättrades över tid blev dessa felaktiga maxvärden allt mer sällsynta. Detta skapade en skenbar nedgång i banbrytande förmåga .

Hur stor var felkällan?

Efter att ha filtrerat bort dessa datafel försvann i stort sett hela den påstådda nedgången. I den största datamängden som undersöktes kunde forskarna visa att de så kallade dataartefakterna ”förklarade 93 % av den rapporterade minskningen mellan 1945 och 2010” .

Fördröjningen på 32 månader

Den belgiska forskargruppen lämnade in sin granskning till Nature i oktober 2023. Det tog dock 32 månader innan tidskriften accepterade den för publicering . Under denna tid fortsatte Nature att publicera ledare och nyhetsartiklar som byggde på den ursprungliga studiens slutsatser. Den ursprungliga studien citerades över 1 000 gånger till och användes i minst 16 policydokument .

Vincent Ginis, en av forskarna, kommenterade: ”Medan mjukvarufelet åtgärdades av den öppna källkodsgemenskapen på några månader, tog det åratal för den vetenskapliga korrigeringen att publiceras. Och under hela denna tid hindrade tidskriftens policy oss från att tala med pressen medan vår granskning var inskickad” .

Betydelsen för forskningspolitiken

Den ursprungliga studien från 2023 genererade över 300 nyhetsartiklar världen över och citerades i minst 16 policydokument, vilket påverkade berättelser om en ”innovationens avmattning” . Forskarna bakom granskningen konstaterar att ”metodologin och slutsatserna från 2023 inte utgör en sund grund för forskningspolitik” .

Fallet belyser strukturella svagheter i den vetenskapliga självkorrigeringen: ett mjukvaruproblem åtgärdades snabbt av frivilliga inom öppen källkod, medan den formella vetenskapliga korrigeringen tog nästan tre år. Under tiden fortsatte en felaktig slutsats att forma den offentliga debatten och forskningspolitiken .

De ursprungliga författarna (Park, Leahey och Funk) har bemött kritiken i ett svar som Nature publicerade samma dag. De hävdar att deras egen omarbetning, med samma metod som kritikerna förespråkar, fortfarande visar en statistiskt signifikant nedgång . De belgiska forskarna menar dock att när man begränsar analysen till artiklar med minst tio referenser, finner man en svag ökning av banbrytande förmåga, och drar slutsatsen att metoden inte kan användas för att dra säkra slutsatser om trender .

Vilka fel hittades?

• Mjukvarufel (bugg): Ett problem i den programvara som användes för att visualisera data gjorde att artiklar med det högsta möjliga ”störningsvärdet” (CD-index) inte visades i de publicerade histogrammen .
• Ofullständiga referensdata: En mer avgörande felkälla var att äldre poster i databasen Web of Science ofta saknade fullständig information om referenser. Artiklar med noll listade referenser klassificerades felaktigt som ”maximalt banbrytande” av den metod som användes (CD-index) .
• Illusion av nedgång: När databasernas kvalitet förbättrades över tid blev dessa felaktiga maxvärden allt mer sällsynta. Detta skapade en skenbar nedgång i banbrytande förmåga .

Hur stor var felkällan?

Efter att ha filtrerat bort dessa datafel försvann i stort sett hela den påstådda nedgången. I den största datamängden som undersöktes kunde forskarna visa att de så kallade dataartefakterna ”förklarade 93 % av den rapporterade minskningen mellan 1945 och 2010” .

Fördröjningen på 32 månader

Den belgiska forskargruppen lämnade in sin granskning till Nature i oktober 2023. Det tog dock 32 månader innan tidskriften accepterade den för publicering . Under denna tid fortsatte Nature att publicera ledare och nyhetsartiklar som byggde på den ursprungliga studiens slutsatser. Den ursprungliga studien citerades över 1 000 gånger till och användes i minst 16 policydokument .

Vincent Ginis, en av forskarna, kommenterade: ”Medan mjukvarufelet åtgärdades av den öppna källkodsgemenskapen på några månader, tog det åratal för den vetenskapliga korrigeringen att publiceras. Och under hela denna tid hindrade tidskriftens policy oss från att tala med pressen medan vår granskning var inskickad” .

Betydelsen för forskningspolitiken

Den ursprungliga studien från 2023 genererade över 300 nyhetsartiklar världen över och citerades i minst 16 policydokument, vilket påverkade berättelser om en ”innovationens avmattning” . Forskarna bakom granskningen konstaterar att ”metodologin och slutsatserna från 2023 inte utgör en sund grund för forskningspolitik” .

Fallet belyser strukturella svagheter i den vetenskapliga självkorrigeringen: ett mjukvaruproblem åtgärdades snabbt av frivilliga inom öppen källkod, medan den formella vetenskapliga korrigeringen tog nästan tre år. Under tiden fortsatte en felaktig slutsats att forma den offentliga debatten och forskningspolitiken .

De ursprungliga författarna (Park, Leahey och Funk) har bemött kritiken i ett svar som Nature publicerade samma dag. De hävdar att deras egen omarbetning, med samma metod som kritikerna förespråkar, fortfarande visar en statistiskt signifikant nedgång . De belgiska forskarna menar dock att när man begränsar analysen till artiklar med minst tio referenser, finner man en svag ökning av banbrytande förmåga, och drar slutsatsen att metoden inte kan användas för att dra säkra slutsatser om trender .