Une étude belge révèle que le déclin de l’innovation scientifique n’était qu’un artefact statistique

Ce que cela révèle sur la méthodologie de l'étude originale

• Le résultat original n'était pas robuste face à des vérifications de base de la qualité des données. La conclusion était massivement due à un artefact de base de données — des enregistrements de références incomplets dans les années plus anciennes — plutôt qu'à un changement réel dans la science .
• Les figures publiées étaient trompeuses en raison d'un bug logiciel qui a caché les points de données mêmes qui, une fois examinés, se sont révélés être des artefacts .
• En réponse, les auteurs originaux (dans une réplique également publiée par Nature le même jour) contestent cette analyse. Ils affirment que leur propre réanalyse, utilisant les critères d'exclusion préférés de leurs détracteurs, montre toujours un déclin statistiquement et pratiquement significatif . Les auteurs de la réfutation notent cependant que lorsqu'ils se limitent aux articles comportant au moins 10 références, ils trouvent une légère augmentation de la disruptivité et concluent que la mesure ne permet tout simplement pas de tirer des conclusions définitives sur les tendances .

Un délai de publication de 32 mois

• Les chercheurs belges ont soumis leur critique à Nature en octobre 2023, mais la revue a mis 32 mois à l'accepter pour publication .
• Pendant ce délai, Nature a continué de publier des éditoriaux et des articles de fond s'appuyant sur les conclusions de l'article original. L'étude originale a été citée plus de 1 000 fois supplémentaires et utilisée dans au moins 16 documents de politique scientifique .
• Le chercheur principal Vincent Ginis a noté : « Alors que le bug logiciel a été corrigé par la communauté open source en quelques mois, il a fallu des années pour que la correction scientifique soit publiée. Et pendant tout ce temps, les politiques de la revue nous interdisaient de parler à la presse alors que notre critique était en cours d'évaluation » .

Implications pour les politiques scientifiques

• L'article original a généré plus de 300 articles de presse dans le monde et a été cité dans au moins 16 documents de politique scientifique, influençant les récits sur un « ralentissement de l'innovation » .
• Les auteurs de la réfutation déclarent sans détour que « la méthodologie et les conclusions de 2023 ne constituent pas une base solide pour la politique scientifique » .
• Cette affaire met en lumière les faiblesses structurelles du processus d'autocorrection scientifique : un bug logiciel a été corrigé rapidement par des contributeurs open source, alors que la correction scientifique formelle a pris près de trois ans ; pendant ce temps, une conclusion erronée a continué de façonner le débat public et les politiques .
• Elle souligne également le danger de tirer des conclusions générales sur le progrès scientifique à partir d'indicateurs bibliométriques sans une validation rigoureuse face aux artefacts liés à la qualité des bases de données.