Belgialaistutkimus paljastaa: Tieteen väitetty taantuminen olikin datavirheiden aiheuttamaa

Vuoden 2026 korjaus: Missä virheet olivat?

Holst ryhmineen paikansi väitetyn taantuman kahteen pääasialliseen lähteeseen :

• Ohjelmointivirhe visualisointikirjastossa. Alkuperäisten kirjoittajien käyttämän piirtotyökalun bugi sai aikaan sen, että eniten disruptiopisteitä saaneet artikkelit eivät näkyneet julkaistuissa histogrammeissa. Nämä artikkelit olivat mukana pääasiallisessa tilastollisessa analyysissä, mutta visuaalinen esitys – ja maksimipisteiden epätavallinen keskittymä – jäi lukijoilta ja arvioijilta näkemättä. Belgialaisryhmä löysi tämän bugin yrittäessään toistaa tutkimuksen avoimella datalla .

• Puuttuvat viitetiedot vanhemmissa julkaisuissa. Vuoden 2023 tutkimuksessa käytetyissä bibliografisissa tietokannoissa oli kattavammat viitelistat uudemmille julkaisuille kuin vanhemmille. Vanhemmat julkaisut, joista puuttui täydellisiä viitetietoja, luokiteltiin CD-indeksissä virheellisesti ikään kuin niillä olisi nolla taaksepäin suuntautuvaa viittausta. Tällöin CD-indeksi antoi näille artikkeleille maksimipistemäärän. Kun tietokantojen laatu parani ajan myötä, yhä harvempi uusi artikkeli sai tätä keinotekoista nostetta, mikä loi väärän kuvan laskevasta trendistä .

Kun belgialaistutkijat suodattivat pois artikkelit, joista puuttui viitetietoja – rutiininomainen laaduntarkastustoimenpide – 93 prosenttia väitetystä laskusta vuosien 1945 ja 2010 välillä katosi vuoden 2023 tutkimuksen suurimmassa datasetissä .

Lähes kolme vuotta kestänyt julkaisuviive

Holst ja hänen kollegansa lähettivät kritiikkinsä Naturelle lokakuussa 2023, vain kuukausia alkuperäisen artikkelin julkaisun jälkeen. Se julkaistiin vasta elokuussa 2026 – 32 kuukauden viiveellä .

Tänä aikana alkuperäinen tutkimus keräsi yli 1 000 uutta viittausta . Nature itse julkaisi pääkirjoituksen ja uutisartikkelin, jotka käsittelivät väitettyä taantumaa vakiintuneena tosiasiana . Lehden käytännöt estivät kriitikoita puhumasta medialle kritiikin ollessa vertaisarvioinnissa, mikä käytännössä vaikeutti korjaustyötä juuri silloin, kun virheellinen tulos oli vaikutusvaltaisimmillaan .

Viive paljastaa tutkijoiden mukaan systeemisen ongelman tieteellisessä julkaisutoiminnassa: kannustimet suosivat huomiota herättäviä tuloksia ja korjaukset etenevät liian hitaasti kyseenalaisten löydösten leviämiseen nähden .

Mitä korjaus muuttaa – ja mitä se ei muuta

Belgialaisryhmä on tarkka siitä, mitä heidän uusinta-analyysinsä todistaa. He päättelevät, että "tällä hetkellä ei ole vakuuttavaa näyttöä siitä, että tieteellinen tutkimus olisi vähemmän uraauurtavaa kuin ennen" vuoden 2023 tutkimuksessa käytetyn CD-indeksiin perustuvan mittarin valossa . Heidän mukaansa alkuperäisen artikkelin metodologia ja johtopäätökset eivät tarjoa luotettavaa perustaa tiedepolitiikalle .

Tutkijat varoittavat myös siitä, että pienetkin virheet suurissa tietokannoissa voivat ohjata johtopäätöksiä, jotka vaikuttavat maailmanlaajuiseen keskusteluun. "Tuloksemme toimivat varoittavana esimerkkinä suurten bibliometristen analyysien käyttämisestä ilman huolellista laadunvalvontaa", he kirjoittavat .

Jatkuva keskustelu

Alkuperäiset kirjoittajat Park, Leahey ja Funk julkaisivat vertaisarvioidun vastineen samassa Naturen numerossa. He väittävät, että lasku on edelleen tilastollisesti merkitsevä vaihtoehtoisillakin spesifikaatioilla, mukaan lukien Holstin ja kumppaneiden omaa datasetiä ja poissulkukriteerejä käytettäessä. He viittaavat omaan regressiomalliinsa, jonka mukaan lasku on suuri ja merkitsevä sekä artikkeleille että patenteille .

Belgialaisryhmä puolestaan huomauttaa, että käyttäessään tiukempaa suodatinta (artikkelit, joissa on vähintään 10 viitettä) he itse asiassa löysivät pientä kasvua disruption pisteissä ajan myötä. He kuitenkin varoittavat, että CD-indeksi ei itsessään ole riittävän robusti tukemaan lopullisia johtopäätöksiä kumpaankaan suuntaan .

Miksi tällä on väliä

Tämä keskustelu ei ole pelkästään akateeminen. Väitettä tieteen vähenevästä uraauurtavuudesta on käytetty perustelemaan muutoksia tutkimusrahoituksessa, arviointijärjestelmissä ja jopa siinä narratiivissa, elämmekö pysähtyneisyyden aikakautta . Jos tämä väite on suurelta osin data-artefaktien tulosta, niin sen varaan rakennetut politiikat saattavat kohdistaa ongelmaan, jota ei ole olemassa.

Laajemmin tapaus korostaa suurten datamassojen tieteen haavoittuvuutta. Vuoden 2023 tutkimus analysoi kymmeniä miljoonia tietueita automaattisilla työkaluilla, mutta yksi bugi visualisointikirjastossa ja rutiininomainen tietokantojen epätäydellisyys riittivät synnyttämään otsikoita herättäneen johtopäätöksen, jonka korjaaminen kesti kolme vuotta – ja jota jotkut tutkijat yhä puolustavat.

Toistaiseksi kysymys siitä, onko tieteellinen disruption todella vähenemässä, on edelleen ratkaisematon. Se, mikä on selvää, on se, että vuoden 2023 tulokseen kohdistettu luottamus oli perusteetonta itse todistusaineiston valossa.