Wat de studie uit 2023 beweerde

Het oorspronkelijke artikel, "Papers and patents are becoming less disruptive over time", gebruikte een metriek genaamd de CD-index om te meten in hoeverre een paper of patent breekt met eerder werk. Het analyseerde ruwweg 45 miljoen papers (1945–2010) en 3,9 miljoen patenten (1976–2010) en rapporteerde een gestage daling in disruptiviteitsscores in alle wetenschappelijke velden . De auteurs koppelden deze trend aan het feit dat onderzoekers een smaller wordende set van bestaande kennis gebruikten . Het artikel werd breed omarmd: een Nature-nieuwsartikel en redactioneel commentaar borduurden voort op de conclusies, en het werd uiteindelijk geciteerd in ten minste 16 beleidsdocumenten .

De correctie uit 2026: waar zaten de fouten?

Holst en zijn team herleidden de ogenschijnlijke daling naar twee hoofdoorzaken :

• Een softwarebug in de visualisatiebibliotheek. Een fout in de plotssoftware die de oorspronkelijke auteurs gebruikten, zorgde ervoor dat papers met de maximale disruptiviteitsscore verborgen bleven in de gepubliceerde histogrammen. Deze papers waren nog wel meegenomen in de statistische analyse, maar de visuele weergave – en de opvallende concentratie van maximale scores – was onzichtbaar voor lezers en reviewers. Het Belgische team ontdekte dit toen ze probeerden de studie te reproduceren met behulp van de open data .

• Ontbrekende referentiegegevens in oudere publicaties. De bibliometrische databases die in de studie van 2023 werden gebruikt, hadden volledigere referentielijsten voor nieuwere papers dan voor oudere. Oudere publicaties, die geen volledige referentierecords hadden, werden door de CD-index verkeerd geclassificeerd alsof ze nul achterwaartse citaties hadden. De CD-index kende deze papers vervolgens de maximale disruptiviteitsscore toe. Naarmate de databasiskwaliteit in de loop der tijd verbeterde, kregen minder recente papers deze kunstmatige boost, wat een vals beeld van een neerwaartse trend creëerde .

Toen de Belgische onderzoekers papers met ontbrekende referentiegegevens filterden – een standaard kwaliteitscontrolestap – verdween 93% van de gerapporteerde daling tussen 1945 en 2010 in de grootste dataset van de oorspronkelijke studie uit 2023 .

Een publicatievertraging van bijna drie jaar

Holst en zijn collega's dienden hun kritiek in oktober 2023 in bij Nature, slechts enkele maanden nadat het oorspronkelijke artikel verscheen. Het werd pas gepubliceerd in augustus 2026 – een vertraging van 32 maanden .

Gedurende die tijd verzamelde de oorspronkelijke studie meer dan 1.000 extra citaties . Nature zelf publiceerde een redactioneel commentaar en een nieuwsartikel die de daling als een vaststaand feit behandelden . Het beleid van het tijdschrift verhinderde de critici ook om met de pers te spreken terwijl hun kritiek onder review was, waardoor correctiepogingen effectief werden gesmoord in de periode dat de gebrekkige bevinding het meest invloedrijk was .

De vertraging benadrukt wat de onderzoekers een systemisch probleem in de wetenschappelijke publicatiecultuur noemen: prikkels zijn gericht op opvallende resultaten boven verificatie, en correcties gaan te traag om gelijke tred te houden met de verspreiding van twijfelachtige bevindingen .

Wat de correctie verandert – en wat niet

Het Belgische team is voorzichtig over wat hun heranalyse precies bewijst. Ze concluderen dat "er momenteel geen overtuigend bewijs is dat wetenschappelijk onderzoek minder baanbrekend is dan vroeger" op basis van de CD-index-metriek die in de studie van 2023 werd gebruikt . Ze stellen dat de methodologie en conclusies van het oorspronkelijke artikel geen degelijke basis vormen voor wetenschapsbeleid .

De onderzoekers waarschuwen er ook voor dat zelfs kleine fouten in grote databases conclusies kunnen sturen die het wereldwijde debat beïnvloeden. "Onze bevindingen dienen als een waarschuwend verhaal over het vertrouwen op grootschalige bibliometrische analyses zonder zorgvuldige kwaliteitscontrole," schrijven ze .

Het aanhoudende debat

De oorspronkelijke auteurs, Park, Leahey en Funk, publiceerden een peer-reviewed antwoord in hetzelfde nummer van Nature. Ze stellen dat de daling statistisch significant blijft onder alternatieve specificaties, ook wanneer ze de dataset en exclusiecriteria van Holst et al. gebruiken. Ze wijzen op hun eigen regressiemodel, dat volgens hen grote en significante dalingen oplevert voor zowel papers als patenten .

Het Belgische team merkt op dat ze bij gebruik van een strenger filter (papers met ten minste 10 referenties) zelfs een lichte stijging in disruptiviteit over de tijd vonden. Ze waarschuwen echter dat de CD-index zelf mogelijk niet robuust genoeg is om definitieve conclusies in welke richting dan ook te ondersteunen .

Waarom dit ertoe doet

Dit debet is niet louter academisch. De bewering dat wetenschap minder vernieuwend wordt, is gebruikt om veranderingen in onderzoeksfinanciering, evaluatiesystemen en zelfs het narratief over of we in een tijdperk van stagnatie leven te rechtvaardigen . Als die bewering grotendeels het gevolg is van data-artefacten, dan zijn beleidsmaatregelen die erop zijn gebouwd mogelijk gericht op een probleem dat niet bestaat.

Meer in het algemeen onderstreept deze casus de kwetsbaarheid van big-data-wetenschap. De studie uit 2023 analyseerde tientallen miljoenen records met geautomatiseerde tools, maar een enkele bug in een visualisatiebibliotheek en routinematige database-onvolledigheid waren genoeg om een headline-grappende conclusie te produceren waarvan de correctie drie jaar op zich liet wachten – en die sommige onderzoekers nog steeds verdedigen.

Voorlopig blijft de vraag of wetenschappelijke disruptiviteit werkelijk afneemt onbeslist. Wat wel duidelijk is, is dat het vertrouwen dat in de bevindingen van 2023 werd gesteld, niet gerechtvaardigd was door het bewijs dat het artikel daadwerkelijk bevatte.

Wat de studie uit 2023 beweerde

Het oorspronkelijke artikel, "Papers and patents are becoming less disruptive over time", gebruikte een metriek genaamd de CD-index om te meten in hoeverre een paper of patent breekt met eerder werk. Het analyseerde ruwweg 45 miljoen papers (1945–2010) en 3,9 miljoen patenten (1976–2010) en rapporteerde een gestage daling in disruptiviteitsscores in alle wetenschappelijke velden . De auteurs koppelden deze trend aan het feit dat onderzoekers een smaller wordende set van bestaande kennis gebruikten . Het artikel werd breed omarmd: een Nature-nieuwsartikel en redactioneel commentaar borduurden voort op de conclusies, en het werd uiteindelijk geciteerd in ten minste 16 beleidsdocumenten .

De correctie uit 2026: waar zaten de fouten?

Holst en zijn team herleidden de ogenschijnlijke daling naar twee hoofdoorzaken :

• Een softwarebug in de visualisatiebibliotheek. Een fout in de plotssoftware die de oorspronkelijke auteurs gebruikten, zorgde ervoor dat papers met de maximale disruptiviteitsscore verborgen bleven in de gepubliceerde histogrammen. Deze papers waren nog wel meegenomen in de statistische analyse, maar de visuele weergave – en de opvallende concentratie van maximale scores – was onzichtbaar voor lezers en reviewers. Het Belgische team ontdekte dit toen ze probeerden de studie te reproduceren met behulp van de open data .

• Ontbrekende referentiegegevens in oudere publicaties. De bibliometrische databases die in de studie van 2023 werden gebruikt, hadden volledigere referentielijsten voor nieuwere papers dan voor oudere. Oudere publicaties, die geen volledige referentierecords hadden, werden door de CD-index verkeerd geclassificeerd alsof ze nul achterwaartse citaties hadden. De CD-index kende deze papers vervolgens de maximale disruptiviteitsscore toe. Naarmate de databasiskwaliteit in de loop der tijd verbeterde, kregen minder recente papers deze kunstmatige boost, wat een vals beeld van een neerwaartse trend creëerde .

Toen de Belgische onderzoekers papers met ontbrekende referentiegegevens filterden – een standaard kwaliteitscontrolestap – verdween 93% van de gerapporteerde daling tussen 1945 en 2010 in de grootste dataset van de oorspronkelijke studie uit 2023 .

Een publicatievertraging van bijna drie jaar

Holst en zijn collega's dienden hun kritiek in oktober 2023 in bij Nature, slechts enkele maanden nadat het oorspronkelijke artikel verscheen. Het werd pas gepubliceerd in augustus 2026 – een vertraging van 32 maanden .

Gedurende die tijd verzamelde de oorspronkelijke studie meer dan 1.000 extra citaties . Nature zelf publiceerde een redactioneel commentaar en een nieuwsartikel die de daling als een vaststaand feit behandelden . Het beleid van het tijdschrift verhinderde de critici ook om met de pers te spreken terwijl hun kritiek onder review was, waardoor correctiepogingen effectief werden gesmoord in de periode dat de gebrekkige bevinding het meest invloedrijk was .

De vertraging benadrukt wat de onderzoekers een systemisch probleem in de wetenschappelijke publicatiecultuur noemen: prikkels zijn gericht op opvallende resultaten boven verificatie, en correcties gaan te traag om gelijke tred te houden met de verspreiding van twijfelachtige bevindingen .

Wat de correctie verandert – en wat niet

Het Belgische team is voorzichtig over wat hun heranalyse precies bewijst. Ze concluderen dat "er momenteel geen overtuigend bewijs is dat wetenschappelijk onderzoek minder baanbrekend is dan vroeger" op basis van de CD-index-metriek die in de studie van 2023 werd gebruikt . Ze stellen dat de methodologie en conclusies van het oorspronkelijke artikel geen degelijke basis vormen voor wetenschapsbeleid .

De onderzoekers waarschuwen er ook voor dat zelfs kleine fouten in grote databases conclusies kunnen sturen die het wereldwijde debat beïnvloeden. "Onze bevindingen dienen als een waarschuwend verhaal over het vertrouwen op grootschalige bibliometrische analyses zonder zorgvuldige kwaliteitscontrole," schrijven ze .

Het aanhoudende debat

De oorspronkelijke auteurs, Park, Leahey en Funk, publiceerden een peer-reviewed antwoord in hetzelfde nummer van Nature. Ze stellen dat de daling statistisch significant blijft onder alternatieve specificaties, ook wanneer ze de dataset en exclusiecriteria van Holst et al. gebruiken. Ze wijzen op hun eigen regressiemodel, dat volgens hen grote en significante dalingen oplevert voor zowel papers als patenten .

Het Belgische team merkt op dat ze bij gebruik van een strenger filter (papers met ten minste 10 referenties) zelfs een lichte stijging in disruptiviteit over de tijd vonden. Ze waarschuwen echter dat de CD-index zelf mogelijk niet robuust genoeg is om definitieve conclusies in welke richting dan ook te ondersteunen .

Waarom dit ertoe doet

Dit debet is niet louter academisch. De bewering dat wetenschap minder vernieuwend wordt, is gebruikt om veranderingen in onderzoeksfinanciering, evaluatiesystemen en zelfs het narratief over of we in een tijdperk van stagnatie leven te rechtvaardigen . Als die bewering grotendeels het gevolg is van data-artefacten, dan zijn beleidsmaatregelen die erop zijn gebouwd mogelijk gericht op een probleem dat niet bestaat.

Meer in het algemeen onderstreept deze casus de kwetsbaarheid van big-data-wetenschap. De studie uit 2023 analyseerde tientallen miljoenen records met geautomatiseerde tools, maar een enkele bug in een visualisatiebibliotheek en routinematige database-onvolledigheid waren genoeg om een headline-grappende conclusie te produceren waarvan de correctie drie jaar op zich liet wachten – en die sommige onderzoekers nog steeds verdedigen.

Voorlopig blijft de vraag of wetenschappelijke disruptiviteit werkelijk afneemt onbeslist. Wat wel duidelijk is, is dat het vertrouwen dat in de bevindingen van 2023 werd gesteld, niet gerechtvaardigd was door het bewijs dat het artikel daadwerkelijk bevatte.