Les résultats clés de la réfutation

• Nature des erreurs : Un bug dans le logiciel de visualisation utilisé par les auteurs originaux a fait que les articles ayant un score de disruption maximal ont été omis des histogrammes publiés, sans aucun avertissement . Plus grave encore, la plus grande source d'erreur provenait du fait que les enregistrements plus anciens de la base de données Web of Science avaient fréquemment des métadonnées de références incomplètes. Les articles sans aucune référence listée étaient alors classés à tort comme « maximalement disruptifs » par la méthode de l'indice CD . À mesure que la qualité de la base de données s'améliorait au fil du temps, ces faux scores maximaux sont devenus plus rares, créant ainsi l'illusion d'un déclin de la disruptivité .
• Ampleur de l'artefact : Après avoir filtré ces erreurs de base de données, le déclin a en grande partie disparu. Dans le plus grand ensemble de données examiné, « les artefacts expliquent 93 % du déclin signalé entre 1945 et 2010 » .

Ce que cela révèle sur la méthodologie de l'étude originale

• Le résultat original n'était pas robuste face à des vérifications de base de la qualité des données. La conclusion était massivement due à un artefact de base de données — des enregistrements de références incomplets dans les années plus anciennes — plutôt qu'à un changement réel dans la science .
• Les figures publiées étaient trompeuses en raison d'un bug logiciel qui a caché les points de données mêmes qui, une fois examinés, se sont révélés être des artefacts .
• En réponse, les auteurs originaux (dans une réplique également publiée par Nature le même jour) contestent cette analyse. Ils affirment que leur propre réanalyse, utilisant les critères d'exclusion préférés de leurs détracteurs, montre toujours un déclin statistiquement et pratiquement significatif . Les auteurs de la réfutation notent cependant que lorsqu'ils se limitent aux articles comportant au moins 10 références, ils trouvent une légère augmentation de la disruptivité et concluent que la mesure ne permet tout simplement pas de tirer des conclusions définitives sur les tendances .

Un délai de publication de 32 mois

• Les chercheurs belges ont soumis leur critique à Nature en octobre 2023, mais la revue a mis 32 mois à l'accepter pour publication .
• Pendant ce délai, Nature a continué de publier des éditoriaux et des articles de fond s'appuyant sur les conclusions de l'article original. L'étude originale a été citée plus de 1 000 fois supplémentaires et utilisée dans au moins 16 documents de politique scientifique .
• Le chercheur principal Vincent Ginis a noté : « Alors que le bug logiciel a été corrigé par la communauté open source en quelques mois, il a fallu des années pour que la correction scientifique soit publiée. Et pendant tout ce temps, les politiques de la revue nous interdisaient de parler à la presse alors que notre critique était en cours d'évaluation » .

Implications pour les politiques scientifiques

• L'article original a généré plus de 300 articles de presse dans le monde et a été cité dans au moins 16 documents de politique scientifique, influençant les récits sur un « ralentissement de l'innovation » .
• Les auteurs de la réfutation déclarent sans détour que « la méthodologie et les conclusions de 2023 ne constituent pas une base solide pour la politique scientifique » .
• Cette affaire met en lumière les faiblesses structurelles du processus d'autocorrection scientifique : un bug logiciel a été corrigé rapidement par des contributeurs open source, alors que la correction scientifique formelle a pris près de trois ans ; pendant ce temps, une conclusion erronée a continué de façonner le débat public et les politiques .
• Elle souligne également le danger de tirer des conclusions générales sur le progrès scientifique à partir d'indicateurs bibliométriques sans une validation rigoureuse face aux artefacts liés à la qualité des bases de données.

Les résultats clés de la réfutation

• Nature des erreurs : Un bug dans le logiciel de visualisation utilisé par les auteurs originaux a fait que les articles ayant un score de disruption maximal ont été omis des histogrammes publiés, sans aucun avertissement . Plus grave encore, la plus grande source d'erreur provenait du fait que les enregistrements plus anciens de la base de données Web of Science avaient fréquemment des métadonnées de références incomplètes. Les articles sans aucune référence listée étaient alors classés à tort comme « maximalement disruptifs » par la méthode de l'indice CD . À mesure que la qualité de la base de données s'améliorait au fil du temps, ces faux scores maximaux sont devenus plus rares, créant ainsi l'illusion d'un déclin de la disruptivité .
• Ampleur de l'artefact : Après avoir filtré ces erreurs de base de données, le déclin a en grande partie disparu. Dans le plus grand ensemble de données examiné, « les artefacts expliquent 93 % du déclin signalé entre 1945 et 2010 » .

Ce que cela révèle sur la méthodologie de l'étude originale

• Le résultat original n'était pas robuste face à des vérifications de base de la qualité des données. La conclusion était massivement due à un artefact de base de données — des enregistrements de références incomplets dans les années plus anciennes — plutôt qu'à un changement réel dans la science .
• Les figures publiées étaient trompeuses en raison d'un bug logiciel qui a caché les points de données mêmes qui, une fois examinés, se sont révélés être des artefacts .
• En réponse, les auteurs originaux (dans une réplique également publiée par Nature le même jour) contestent cette analyse. Ils affirment que leur propre réanalyse, utilisant les critères d'exclusion préférés de leurs détracteurs, montre toujours un déclin statistiquement et pratiquement significatif . Les auteurs de la réfutation notent cependant que lorsqu'ils se limitent aux articles comportant au moins 10 références, ils trouvent une légère augmentation de la disruptivité et concluent que la mesure ne permet tout simplement pas de tirer des conclusions définitives sur les tendances .

Un délai de publication de 32 mois

• Les chercheurs belges ont soumis leur critique à Nature en octobre 2023, mais la revue a mis 32 mois à l'accepter pour publication .
• Pendant ce délai, Nature a continué de publier des éditoriaux et des articles de fond s'appuyant sur les conclusions de l'article original. L'étude originale a été citée plus de 1 000 fois supplémentaires et utilisée dans au moins 16 documents de politique scientifique .
• Le chercheur principal Vincent Ginis a noté : « Alors que le bug logiciel a été corrigé par la communauté open source en quelques mois, il a fallu des années pour que la correction scientifique soit publiée. Et pendant tout ce temps, les politiques de la revue nous interdisaient de parler à la presse alors que notre critique était en cours d'évaluation » .

Implications pour les politiques scientifiques

• L'article original a généré plus de 300 articles de presse dans le monde et a été cité dans au moins 16 documents de politique scientifique, influençant les récits sur un « ralentissement de l'innovation » .
• Les auteurs de la réfutation déclarent sans détour que « la méthodologie et les conclusions de 2023 ne constituent pas une base solide pour la politique scientifique » .
• Cette affaire met en lumière les faiblesses structurelles du processus d'autocorrection scientifique : un bug logiciel a été corrigé rapidement par des contributeurs open source, alors que la correction scientifique formelle a pris près de trois ans ; pendant ce temps, une conclusion erronée a continué de façonner le débat public et les politiques .
• Elle souligne également le danger de tirer des conclusions générales sur le progrès scientifique à partir d'indicateurs bibliométriques sans une validation rigoureuse face aux artefacts liés à la qualité des bases de données.