Le scoperte chiave della replica

• Quali erano gli errori: Un bug nel software di visualizzazione utilizzato dagli autori originali faceva sì che gli articoli con il punteggio massimo di disruption venissero omessi dagli istogrammi pubblicati senza alcun preavviso . Ancora più critico, l'errore principale era che i vecchi record del database Web of Science avevano spesso metadati sui riferimenti incompleti: gli articoli con zero riferimenti elencati venivano erroneamente classificati come 'massimamente disruptivi' dall'indice CD . Con il miglioramento della qualità del database nel tempo, questi falsi punteggi massimi sono diventati più rari, creando l'illusione di un declino della disruptività .
• Entità dell'artefatto: Dopo aver filtrato questi errori di database, il declino è in gran parte scomparso. Nel più grande dataset esaminato, 'gli artefatti spiegano il 93% del declino segnalato tra il 1945 e il 2010' .

Cosa rivela questo sulla metodologia dello studio originale

• Il risultato originale non era robusto ai controlli di base sulla qualità dei dati. La scoperta era guidata in modo schiacciante da un artefatto del database (record di riferimenti incompleti negli anni più vecchi) piuttosto che da un reale cambiamento nella scienza .
• Le figure pubblicate erano fuorvianti a causa di un bug software che nascondeva gli stessi punti dati che, una volta esaminati, si rivelavano artefatti .
• La risposta degli autori originali (pubblicata anch'essa da Nature lo stesso giorno) contesta questa interpretazione, affermando che la loro propria rianalisi utilizzando i criteri di esclusione preferiti dai critici mostra ancora un declino statisticamente e praticamente significativo . Gli autori della replica, tuttavia, notano che quando si limitano l'analisi agli articoli con almeno 10 riferimenti, trovano un leggero aumento della disruption e concludono che la misura semplicemente non può supportare conclusioni definitive sulle tendenze .

Il ritardo di 32 mesi nella pubblicazione

• I ricercatori belgi hanno inviato la loro critica a Nature nell'ottobre 2023, ma la rivista ha impiegato 32 mesi per accettarla e pubblicarla .
• Durante questo ritardo, Nature ha continuato a pubblicare editoriali e articoli di approfondimento che si basavano sulle conclusioni dello studio originale, e lo studio originale è stato citato oltre 1.000 volte e utilizzato in almeno 16 documenti di politica scientifica .
• Il ricercatore capo Vincent Ginis ha commentato: 'Mentre il bug software è stato corretto dalla comunità open source in pochi mesi, ci sono voluti anni perché la correzione scientifica fosse pubblicata. E per tutto questo tempo, le politiche della rivista ci proibivano di parlare con la stampa mentre la nostra critica era in fase di valutazione' .

Implicazioni per la politica scientifica

• Lo studio originale ha generato oltre 300 articoli di cronaca in tutto il mondo e citato in almeno 16 documenti di politica, influenzando la narrativa sul cosiddetto 'rallentamento dell'innovazione' .
• Gli autori della replica affermano senza mezzi termini che 'la metodologia e le conclusioni del 2023 non forniscono una base solida per la politica scientifica' .
• Il caso evidenzia le debolezze strutturali del processo di autocorrezione scientifica: un bug software è stato risolto rapidamente da contributori open source, ma la correzione formale scientifica ha richiesto quasi tre anni; durante questo periodo, un risultato errato ha continuato a plasmare il dibattito pubblico e le politiche .
• Sottolinea inoltre il pericolo di trarre conclusioni generali sul progresso scientifico da soli indicatori bibliometrici senza una validazione rigorosa contro gli artefatti di qualità del database .

Le scoperte chiave della replica

• Quali erano gli errori: Un bug nel software di visualizzazione utilizzato dagli autori originali faceva sì che gli articoli con il punteggio massimo di disruption venissero omessi dagli istogrammi pubblicati senza alcun preavviso . Ancora più critico, l'errore principale era che i vecchi record del database Web of Science avevano spesso metadati sui riferimenti incompleti: gli articoli con zero riferimenti elencati venivano erroneamente classificati come 'massimamente disruptivi' dall'indice CD . Con il miglioramento della qualità del database nel tempo, questi falsi punteggi massimi sono diventati più rari, creando l'illusione di un declino della disruptività .
• Entità dell'artefatto: Dopo aver filtrato questi errori di database, il declino è in gran parte scomparso. Nel più grande dataset esaminato, 'gli artefatti spiegano il 93% del declino segnalato tra il 1945 e il 2010' .

Cosa rivela questo sulla metodologia dello studio originale

• Il risultato originale non era robusto ai controlli di base sulla qualità dei dati. La scoperta era guidata in modo schiacciante da un artefatto del database (record di riferimenti incompleti negli anni più vecchi) piuttosto che da un reale cambiamento nella scienza .
• Le figure pubblicate erano fuorvianti a causa di un bug software che nascondeva gli stessi punti dati che, una volta esaminati, si rivelavano artefatti .
• La risposta degli autori originali (pubblicata anch'essa da Nature lo stesso giorno) contesta questa interpretazione, affermando che la loro propria rianalisi utilizzando i criteri di esclusione preferiti dai critici mostra ancora un declino statisticamente e praticamente significativo . Gli autori della replica, tuttavia, notano che quando si limitano l'analisi agli articoli con almeno 10 riferimenti, trovano un leggero aumento della disruption e concludono che la misura semplicemente non può supportare conclusioni definitive sulle tendenze .

Il ritardo di 32 mesi nella pubblicazione

• I ricercatori belgi hanno inviato la loro critica a Nature nell'ottobre 2023, ma la rivista ha impiegato 32 mesi per accettarla e pubblicarla .
• Durante questo ritardo, Nature ha continuato a pubblicare editoriali e articoli di approfondimento che si basavano sulle conclusioni dello studio originale, e lo studio originale è stato citato oltre 1.000 volte e utilizzato in almeno 16 documenti di politica scientifica .
• Il ricercatore capo Vincent Ginis ha commentato: 'Mentre il bug software è stato corretto dalla comunità open source in pochi mesi, ci sono voluti anni perché la correzione scientifica fosse pubblicata. E per tutto questo tempo, le politiche della rivista ci proibivano di parlare con la stampa mentre la nostra critica era in fase di valutazione' .

Implicazioni per la politica scientifica

• Lo studio originale ha generato oltre 300 articoli di cronaca in tutto il mondo e citato in almeno 16 documenti di politica, influenzando la narrativa sul cosiddetto 'rallentamento dell'innovazione' .
• Gli autori della replica affermano senza mezzi termini che 'la metodologia e le conclusioni del 2023 non forniscono una base solida per la politica scientifica' .
• Il caso evidenzia le debolezze strutturali del processo di autocorrezione scientifica: un bug software è stato risolto rapidamente da contributori open source, ma la correzione formale scientifica ha richiesto quasi tre anni; durante questo periodo, un risultato errato ha continuato a plasmare il dibattito pubblico e le politiche .
• Sottolinea inoltre il pericolo di trarre conclusioni generali sul progresso scientifico da soli indicatori bibliometrici senza una validazione rigorosa contro gli artefatti di qualità del database .