De oorspronkelijke claim

In 2023 publiceerde een team van Amerikaanse sociale wetenschappers (Park, Leahey en Funk) een spraakmakende studie in Nature. Zij beweerden dat het aandeel 'disruptieve' papers en patenten – wetenschap die een compleet vakgebied op zijn kop zet – al sinds het midden van de 20e eeuw gestaag afnam . Dit nieuws haalde wereldwijd de headlines en beïnvloedde het denken over innovatiebeleid.

Wat er mis was met de data

De Belgische onderzoekers ontdekten twee fundamentele problemen in de oorspronkelijke analyse :

• Een softwarebug: De visualisatiesoftware die de oorspronkelijke auteurs gebruikten, had een fout. Papers die de maximale disruptiviteitsscore haalden, werden zonder waarschuwing weggelaten uit de gepubliceerde grafieken.
• Incomplete databanken: Veel oudere papers in de Web of Science-database hadden onvolledige referentiegegevens. Papers met nul geregistreerde referenties werden door de gebruikte methode (de CD-index) ten onrechte geclassificeerd als 'maximaal disruptief' . Naarmate de databankkwaliteit verbeterde, kwamen deze foutieve maxima steeds minder voor. Dit creëerde de illusie van een dalende trend .

93% van de daling was artefact

Na het corrigeren van deze databasefouten verdween de gemeten daling grotendeels. In de grootste dataset die werd onderzocht, bleken "de artefacten verantwoordelijk voor 93% van de gerapporteerde daling tussen 1945 en 2010" .

32 maanden vertraging voor de waarheid

Een opvallend detail: de Belgische onderzoekers dienden hun kritiek al in oktober 2023 in bij Nature, maar het blad deed er 32 maanden over om de correctie te publiceren . In die periode:

• Publiceerde Nature zelf nog redactionele commentaren die uitgingen van de oude conclusie .
• Werd het oorspronkelijke onderzoek meer dan 1000 keer extra geciteerd en gebruikt in minstens 16 beleidsdocumenten .

Hoofdonderzoeker Vincent Ginis verwoordde de frustratie: "Terwijl de softwarebug door de open-sourcegemeenschap in enkele maanden werd opgelost, duurde het jaren voor de wetenschappelijke correctie werd gepubliceerd. En al die tijd verbood het tijdschrift ons om met de pers te praten zolang onze kritiek onder beoordeling was."

Wat betekent dit voor het wetenschapsbeleid?

De oorspronkelijke studie had impact. Het genereerde meer dan 300 nieuwsartikelen wereldwijd en werd aangehaald in beleidsstukken . De auteurs van de correctie zijn daarom helder: "De methodologie en conclusies uit 2023 vormen geen geschikte basis voor wetenschapsbeleid" .

De originele auteurs hebben overigens in een reactie, die op dezelfde dag door Nature werd gepubliceerd, hun conclusie verdedigd. Zij stellen dat ook na het toepassen van de uitsluitingscriteria van de critici nog een statistisch significante daling overblijft . De Belgische onderzoekers antwoorden hierop dat wanneer men kijkt naar papers met minstens 10 referenties, de trend zelfs licht stijgend is, en dat de meetmethode simpelweg geen sluitende uitspraken over trends toelaat .

Deze kwestie laat zien hoe kwetsbaar wetenschappelijke conclusies kunnen zijn voor databasekwaliteit – en hoe traag het formele correctiemechanisme soms werkt vergeleken met de snelheid waarmee gebrekkige bevindingen de wereld veroveren.

De oorspronkelijke claim

In 2023 publiceerde een team van Amerikaanse sociale wetenschappers (Park, Leahey en Funk) een spraakmakende studie in Nature. Zij beweerden dat het aandeel 'disruptieve' papers en patenten – wetenschap die een compleet vakgebied op zijn kop zet – al sinds het midden van de 20e eeuw gestaag afnam . Dit nieuws haalde wereldwijd de headlines en beïnvloedde het denken over innovatiebeleid.

Wat er mis was met de data

De Belgische onderzoekers ontdekten twee fundamentele problemen in de oorspronkelijke analyse :

• Een softwarebug: De visualisatiesoftware die de oorspronkelijke auteurs gebruikten, had een fout. Papers die de maximale disruptiviteitsscore haalden, werden zonder waarschuwing weggelaten uit de gepubliceerde grafieken.
• Incomplete databanken: Veel oudere papers in de Web of Science-database hadden onvolledige referentiegegevens. Papers met nul geregistreerde referenties werden door de gebruikte methode (de CD-index) ten onrechte geclassificeerd als 'maximaal disruptief' . Naarmate de databankkwaliteit verbeterde, kwamen deze foutieve maxima steeds minder voor. Dit creëerde de illusie van een dalende trend .

93% van de daling was artefact

Na het corrigeren van deze databasefouten verdween de gemeten daling grotendeels. In de grootste dataset die werd onderzocht, bleken "de artefacten verantwoordelijk voor 93% van de gerapporteerde daling tussen 1945 en 2010" .

32 maanden vertraging voor de waarheid

Een opvallend detail: de Belgische onderzoekers dienden hun kritiek al in oktober 2023 in bij Nature, maar het blad deed er 32 maanden over om de correctie te publiceren . In die periode:

• Publiceerde Nature zelf nog redactionele commentaren die uitgingen van de oude conclusie .
• Werd het oorspronkelijke onderzoek meer dan 1000 keer extra geciteerd en gebruikt in minstens 16 beleidsdocumenten .

Hoofdonderzoeker Vincent Ginis verwoordde de frustratie: "Terwijl de softwarebug door de open-sourcegemeenschap in enkele maanden werd opgelost, duurde het jaren voor de wetenschappelijke correctie werd gepubliceerd. En al die tijd verbood het tijdschrift ons om met de pers te praten zolang onze kritiek onder beoordeling was."

Wat betekent dit voor het wetenschapsbeleid?

De oorspronkelijke studie had impact. Het genereerde meer dan 300 nieuwsartikelen wereldwijd en werd aangehaald in beleidsstukken . De auteurs van de correctie zijn daarom helder: "De methodologie en conclusies uit 2023 vormen geen geschikte basis voor wetenschapsbeleid" .

De originele auteurs hebben overigens in een reactie, die op dezelfde dag door Nature werd gepubliceerd, hun conclusie verdedigd. Zij stellen dat ook na het toepassen van de uitsluitingscriteria van de critici nog een statistisch significante daling overblijft . De Belgische onderzoekers antwoorden hierop dat wanneer men kijkt naar papers met minstens 10 referenties, de trend zelfs licht stijgend is, en dat de meetmethode simpelweg geen sluitende uitspraken over trends toelaat .

Deze kwestie laat zien hoe kwetsbaar wetenschappelijke conclusies kunnen zijn voor databasekwaliteit – en hoe traag het formele correctiemechanisme soms werkt vergeleken met de snelheid waarmee gebrekkige bevindingen de wereld veroveren.