Belgialaisryhmä löysi kaksi keskeistä virhettä:

1. Ohjelmointivirhe (bugi): Visualisointikirjaston versio, jota alkuperäinen ryhmä käytti, jätti histogrammeista huomaamatta ne datapisteet, joissa 'häiritsevyys' oli maksimaalinen .
2. Tietokanta-artefakti: Vanhemmissa Web of Science -tietueissa ei ollut listattu viitteitä. CD-indeksi tulkitsi nämä puutteelliset tietueet virheellisesti 'maksimaalisen häiritseviksi'. Kun tietokannan laatu parani ajan myötä, näitä vääriä maksimipisteitä oli vähemmän, mikä loi illuusion laskusta .

Kuinka suuri vaikutus tällä oli? Suurimmassa analysoidussa datasetissä artefaktit selittävät 93 % havaitusta laskusta vuosina 1945–2010 . Kun tutkijat rajoittivat analyysinsä artikkeleihin, joilla oli vähintään 10 viitettä, he havaitsivat jopa pienen nousun 'häiritsevyydessä' .

Alkuperäiset kirjoittajat kiistävät vastineen

Nature julkaisi samana päivänä myös alkuperäisten kirjoittajien vastauksen. He väittävät, että heidän oma uudelleenanalyysinsä – käyttäen belgialaisryhmän omia preferoimia poissulkukriteerejä – osoittaa edelleen tilastollisesti ja käytännöllisesti merkittävän laskun . Belgialaisryhmä kuitenkin huomauttaa, että tulos riippuu täysin siitä, miten dataa rajataan, ja itse mittari ei ole riittävän robusti tällaisten johtopäätösten tekemiseen .

32 kuukauden viive nosti kysymyksiä tieteen itsekorjauksesta

Belgialaiset tutkijat lähettivät kriittisen vastineensa Naturelle lokakuussa 2023, mutta lehti hyväksyi sen julkaistavaksi vasta 32 kuukautta myöhemmin . Tänä aikana:

• Nature jatkoi alkuperäiseen tutkimukseen viittaavien pääkirjoitusten ja uutisartikkelien julkaisemista .
• Alkuperäistä tutkimusta siteerattiin yli 1 000 kertaa lisää ja sitä käytettiin ainakin 16 politiikkadokumentissa .
• Tutkijat eivät saaneet puhua medialle käsittelyn aikana lehden politiikan vuoksi .

Tutkimusryhmän johtaja Vincent Ginis kommentoi: ”Ohjelmistobugi korjattiin avoimen lähdekoodin yhteisössä kuukausissa, mutta tieteellinen korjaus kesti vuosia. Samaan aikaan virheellinen tulos muokkasi julkista keskustelua ja politiikkaa.”

Vaikutukset tiedepolitiikkaan

Alkuperäinen tutkimus herätti yli 300 uutisjuttua maailmanlaajuisesti ja sitä käytettiin politiikkadokumenteissa. Belgialaisryhmä toteaa suoraan: ”Vuoden 2023 metodologia ja johtopäätökset eivät tarjoa luotettavaa perustaa tiedepolitiikalle.”

Tapaus korostaa, kuinka tärkeää on tarkistaa bibliometristen indikaattorien taustalla olevien tietokantojen laatu ennen kuin niistä vedetään kauaskantoisia johtopäätöksiä tieteellisestä kehityksestä.

Belgialaisryhmä löysi kaksi keskeistä virhettä:

1. Ohjelmointivirhe (bugi): Visualisointikirjaston versio, jota alkuperäinen ryhmä käytti, jätti histogrammeista huomaamatta ne datapisteet, joissa 'häiritsevyys' oli maksimaalinen .
2. Tietokanta-artefakti: Vanhemmissa Web of Science -tietueissa ei ollut listattu viitteitä. CD-indeksi tulkitsi nämä puutteelliset tietueet virheellisesti 'maksimaalisen häiritseviksi'. Kun tietokannan laatu parani ajan myötä, näitä vääriä maksimipisteitä oli vähemmän, mikä loi illuusion laskusta .

Kuinka suuri vaikutus tällä oli? Suurimmassa analysoidussa datasetissä artefaktit selittävät 93 % havaitusta laskusta vuosina 1945–2010 . Kun tutkijat rajoittivat analyysinsä artikkeleihin, joilla oli vähintään 10 viitettä, he havaitsivat jopa pienen nousun 'häiritsevyydessä' .

Alkuperäiset kirjoittajat kiistävät vastineen

Nature julkaisi samana päivänä myös alkuperäisten kirjoittajien vastauksen. He väittävät, että heidän oma uudelleenanalyysinsä – käyttäen belgialaisryhmän omia preferoimia poissulkukriteerejä – osoittaa edelleen tilastollisesti ja käytännöllisesti merkittävän laskun . Belgialaisryhmä kuitenkin huomauttaa, että tulos riippuu täysin siitä, miten dataa rajataan, ja itse mittari ei ole riittävän robusti tällaisten johtopäätösten tekemiseen .

32 kuukauden viive nosti kysymyksiä tieteen itsekorjauksesta

Belgialaiset tutkijat lähettivät kriittisen vastineensa Naturelle lokakuussa 2023, mutta lehti hyväksyi sen julkaistavaksi vasta 32 kuukautta myöhemmin . Tänä aikana:

• Nature jatkoi alkuperäiseen tutkimukseen viittaavien pääkirjoitusten ja uutisartikkelien julkaisemista .
• Alkuperäistä tutkimusta siteerattiin yli 1 000 kertaa lisää ja sitä käytettiin ainakin 16 politiikkadokumentissa .
• Tutkijat eivät saaneet puhua medialle käsittelyn aikana lehden politiikan vuoksi .

Tutkimusryhmän johtaja Vincent Ginis kommentoi: ”Ohjelmistobugi korjattiin avoimen lähdekoodin yhteisössä kuukausissa, mutta tieteellinen korjaus kesti vuosia. Samaan aikaan virheellinen tulos muokkasi julkista keskustelua ja politiikkaa.”

Vaikutukset tiedepolitiikkaan

Alkuperäinen tutkimus herätti yli 300 uutisjuttua maailmanlaajuisesti ja sitä käytettiin politiikkadokumenteissa. Belgialaisryhmä toteaa suoraan: ”Vuoden 2023 metodologia ja johtopäätökset eivät tarjoa luotettavaa perustaa tiedepolitiikalle.”

Tapaus korostaa, kuinka tärkeää on tarkistaa bibliometristen indikaattorien taustalla olevien tietokantojen laatu ennen kuin niistä vedetään kauaskantoisia johtopäätöksiä tieteellisestä kehityksestä.