Vad 2023 års studie påstod

Originalartikeln, "Papers and patents are becoming less disruptive over time", använde ett mått kallat CD-index för att beräkna hur mycket en artikel eller ett patent avviker från tidigare arbete. Man analyserade cirka 45 miljoner artiklar (1945–2010) och 3,9 miljoner patent (1976–2010) och rapporterade en stadig minskning av banbrytande poäng inom alla vetenskapliga fält . Forskarna kopplade trenden till att forskare förlitade sig på en snävare uppsättning befintlig kunskap . Artikeln omfamnades brett: en Nature-nyhetsartikel och en ledare byggde på dess slutsatser, och den citerades i minst 16 policyrapporter .

2026 års korrigering: Var felen fanns

Holst och hans team spårade den skenbara nedgången till två huvudkällor :

• En programvarubugg i visualiseringsbiblioteket. En bugg i den plottningsprogramvara som originalförfattarna använde doldes artiklar med maximalt banskottningspoäng i de publicerade histogrammen. Dessa artiklar ingick fortfarande i den huvudsakliga statistiska analysen, men den visuella representationen – och den ovanliga koncentrationen av maximala poäng – var osynlig för läsare och granskare. Det belgiska teamet upptäckte detta när de försökte återskapa studien med hjälp av öppna data .

• Saknade referensdata i äldre publikationer. De bibliometriska databaserna som användes i 2023 års studie hade mer fullständiga referenslistor för nyare artiklar än för äldre. Äldre publikationer, som saknade fullständiga referensposter, klassificerades felaktigt av CD-indexet som om de hade noll bakåtciteringar. CD-indexet tilldelade då dessa artiklar maximalt banskottningspoäng. I takt med att databasernas kvalitet förbättrades över tid fick färre nyare artiklar denna artificiella boost, vilket skapade ett falskt intryck av en nedåtgående trend .

När de belgiska forskarna filtrerade bort artiklar med saknade referensdata – ett standardförfarande för kvalitetskontroll – försvann 93 % av den rapporterade nedgången mellan 1945 och 2010 i den största datamängden från 2023 års studie .

En nästan tre år lång publiceringsfördröjning

Holst och hans kollegor skickade in sin kritik till Nature i oktober 2023, bara månader efter att originalartikeln publicerats. Den publicerades inte förrän i augusti 2026 – en försening på 32 månader .

Under den tiden hann originalstudien samla över 1 000 ytterligare citeringar . Nature publicerade själva en ledare och en nyhetsartikel som behandlade nedgången som ett etablerat faktum . Tidskriftens policy hindrade också kritikerna från att uttala sig i pressen medan deras kritik var under granskning, vilket effektivt tystade korrigeringsarbetet under den period då den felaktiga slutsatsen var som mest inflytelserik .

Förseningen belyser det som forskarna kallar ett systemproblem inom vetenskaplig publicering: incitamenten gynnar sensationella resultat framför verifiering, och korrigeringar går för långsamt för att hålla jämna steg med spridningen av tvivelaktiga rön .

Vad korrigeringen förändrar – och vad den inte gör

Det belgiska teamet är noggranna med vad deras omanalys bevisar. De drar slutsatsen att "det för närvarande inte finns några övertygande bevis för att vetenskaplig forskning är mindre banbrytande än den brukade vara" baserat på det CD-indexmått som användes i 2023 års studie . De hävdar att originalartikelns metodik och slutsatser inte utgör en sund grund för forskningspolitik .

Forskarna varnar också för att även små fel i stora databaser kan driva slutsatser som påverkar den globala debatten. "Våra resultat fungerar som en varnande berättelse om förlitandet på storskaliga bibliometriska analyser utan noggrann kvalitetskontroll," skriver de .

Den pågående debatten

Originalförfattarna, Park, Leahey och Funk, publicerade ett peer-reviewed svar i samma nummer av Nature. De hävdar att nedgången fortfarande är statistiskt signifikant under alternativa specifikationer, inklusive när man använder Holst med fleras egna dataset och exkluderingskriterier. De pekar på sin egen regressionsmodell, som enligt dem ger stora och signifikanta nedgångar för både artiklar och patent .

För sin del noterar det belgiska teamet att när de använder ett striktare filter (artiklar med minst 10 referenser) fann de faktiskt en svag ökning av banbrytande forskning över tid. De varnar dock för att CD-indexet i sig kanske inte är robust nog för att stödja definitiva slutsatser åt något håll .

Varför detta är viktigt

Denna debatt är inte bara akademisk. Påståendet att vetenskapen blir mindre banbrytande har använts för att motivera förändringar i forskningsfinansiering, utvärderingssystem och till och med berättelsen om huruvida vi lever i en era av stagnation . Om det påståendet till stor del är resultatet av dataartefakter, kan politiken som bygger på det vara riktad mot ett problem som inte existerar.

Mer allmänt belyser fallet hur skör storskalig dataforskning kan vara. 2023 års studie analyserade tiotals miljoner poster med automatiserade verktyg, men en enda bugg i ett visualiseringsbibliotek och rutinmässig ofullständighet i databasen räckte för att producera en rubrikvänlig slutsats som tog tre år att korrigera – och som vissa forskare fortfarande försvarar.

För närvarande är frågan om vetenskaplig banbrytande forskning verkligen minskar fortfarande olöst. Vad som är klart är att det förtroende som sattes till 2023 års rön var obefogat med tanke på de bevis det faktiskt innehöll.

Vad 2023 års studie påstod

Originalartikeln, "Papers and patents are becoming less disruptive over time", använde ett mått kallat CD-index för att beräkna hur mycket en artikel eller ett patent avviker från tidigare arbete. Man analyserade cirka 45 miljoner artiklar (1945–2010) och 3,9 miljoner patent (1976–2010) och rapporterade en stadig minskning av banbrytande poäng inom alla vetenskapliga fält . Forskarna kopplade trenden till att forskare förlitade sig på en snävare uppsättning befintlig kunskap . Artikeln omfamnades brett: en Nature-nyhetsartikel och en ledare byggde på dess slutsatser, och den citerades i minst 16 policyrapporter .

2026 års korrigering: Var felen fanns

Holst och hans team spårade den skenbara nedgången till två huvudkällor :

• En programvarubugg i visualiseringsbiblioteket. En bugg i den plottningsprogramvara som originalförfattarna använde doldes artiklar med maximalt banskottningspoäng i de publicerade histogrammen. Dessa artiklar ingick fortfarande i den huvudsakliga statistiska analysen, men den visuella representationen – och den ovanliga koncentrationen av maximala poäng – var osynlig för läsare och granskare. Det belgiska teamet upptäckte detta när de försökte återskapa studien med hjälp av öppna data .

• Saknade referensdata i äldre publikationer. De bibliometriska databaserna som användes i 2023 års studie hade mer fullständiga referenslistor för nyare artiklar än för äldre. Äldre publikationer, som saknade fullständiga referensposter, klassificerades felaktigt av CD-indexet som om de hade noll bakåtciteringar. CD-indexet tilldelade då dessa artiklar maximalt banskottningspoäng. I takt med att databasernas kvalitet förbättrades över tid fick färre nyare artiklar denna artificiella boost, vilket skapade ett falskt intryck av en nedåtgående trend .

När de belgiska forskarna filtrerade bort artiklar med saknade referensdata – ett standardförfarande för kvalitetskontroll – försvann 93 % av den rapporterade nedgången mellan 1945 och 2010 i den största datamängden från 2023 års studie .

En nästan tre år lång publiceringsfördröjning

Holst och hans kollegor skickade in sin kritik till Nature i oktober 2023, bara månader efter att originalartikeln publicerats. Den publicerades inte förrän i augusti 2026 – en försening på 32 månader .

Under den tiden hann originalstudien samla över 1 000 ytterligare citeringar . Nature publicerade själva en ledare och en nyhetsartikel som behandlade nedgången som ett etablerat faktum . Tidskriftens policy hindrade också kritikerna från att uttala sig i pressen medan deras kritik var under granskning, vilket effektivt tystade korrigeringsarbetet under den period då den felaktiga slutsatsen var som mest inflytelserik .

Förseningen belyser det som forskarna kallar ett systemproblem inom vetenskaplig publicering: incitamenten gynnar sensationella resultat framför verifiering, och korrigeringar går för långsamt för att hålla jämna steg med spridningen av tvivelaktiga rön .

Vad korrigeringen förändrar – och vad den inte gör

Det belgiska teamet är noggranna med vad deras omanalys bevisar. De drar slutsatsen att "det för närvarande inte finns några övertygande bevis för att vetenskaplig forskning är mindre banbrytande än den brukade vara" baserat på det CD-indexmått som användes i 2023 års studie . De hävdar att originalartikelns metodik och slutsatser inte utgör en sund grund för forskningspolitik .

Forskarna varnar också för att även små fel i stora databaser kan driva slutsatser som påverkar den globala debatten. "Våra resultat fungerar som en varnande berättelse om förlitandet på storskaliga bibliometriska analyser utan noggrann kvalitetskontroll," skriver de .

Den pågående debatten

Originalförfattarna, Park, Leahey och Funk, publicerade ett peer-reviewed svar i samma nummer av Nature. De hävdar att nedgången fortfarande är statistiskt signifikant under alternativa specifikationer, inklusive när man använder Holst med fleras egna dataset och exkluderingskriterier. De pekar på sin egen regressionsmodell, som enligt dem ger stora och signifikanta nedgångar för både artiklar och patent .

För sin del noterar det belgiska teamet att när de använder ett striktare filter (artiklar med minst 10 referenser) fann de faktiskt en svag ökning av banbrytande forskning över tid. De varnar dock för att CD-indexet i sig kanske inte är robust nog för att stödja definitiva slutsatser åt något håll .

Varför detta är viktigt

Denna debatt är inte bara akademisk. Påståendet att vetenskapen blir mindre banbrytande har använts för att motivera förändringar i forskningsfinansiering, utvärderingssystem och till och med berättelsen om huruvida vi lever i en era av stagnation . Om det påståendet till stor del är resultatet av dataartefakter, kan politiken som bygger på det vara riktad mot ett problem som inte existerar.

Mer allmänt belyser fallet hur skör storskalig dataforskning kan vara. 2023 års studie analyserade tiotals miljoner poster med automatiserade verktyg, men en enda bugg i ett visualiseringsbibliotek och rutinmässig ofullständighet i databasen räckte för att producera en rubrikvänlig slutsats som tog tre år att korrigera – och som vissa forskare fortfarande försvarar.

För närvarande är frågan om vetenskaplig banbrytande forskning verkligen minskar fortfarande olöst. Vad som är klart är att det förtroende som sattes till 2023 års rön var obefogat med tanke på de bevis det faktiskt innehöll.