Registros con referencias cero: La fuente de error más grave fue que los registros antiguos de la base de datos Web of Science solían tener metadatos de referencias incompletos. Los artículos con cero referencias listadas fueron clasificados erróneamente como «máximamente disruptivos» por el índice CD . A medida que la calidad de la base de datos mejoró con el tiempo, estos falsos máximos se volvieron más raros, creando la ilusión de un declive en la disruptividad
.
Los investigadores calcularon que, al filtrar estos errores de base de datos, el supuesto declive desaparece casi por completo. «Los artefactos explican el 93% del declive reportado entre 1945 y 2010», señalan en su artículo . Más aún, cuando se restringe el análisis a artículos con al menos 10 referencias, se encuentra un ligero aumento en la disruptividad, lo que lleva a los autores a concluir que la medida simplemente no puede sostener afirmaciones concluyentes sobre tendencias
.
La historia también revela problemas estructurales en el proceso de corrección científica. Los investigadores belgas enviaron su crítica a Nature en octubre de 2023, pero la revista tardó 32 meses en aceptarla para su publicación .
Durante ese tiempo:
El artículo original generó más de 300 noticias en todo el mundo y fue citado en al menos 16 documentos de política, influyendo en narrativas sobre una supuesta «desaceleración de la innovación» . Los autores de la réplica son tajantes: «La metodología y las conclusiones de 2023 no proporcionan una base sólida para la política científica»
.
El caso pone de relieve las debilidades del sistema de autocorrección científica: un error de software se arregló rápidamente por la comunidad de código abierto, pero la corrección formal en una revista tardó casi tres años; durante ese tiempo, un hallazgo defectuoso siguió moldeando el discurso público y las políticas . También subraya el peligro de extraer conclusiones generales sobre el progreso científico a partir de indicadores bibliométricos sin una validación rigurosa frente a artefactos de calidad de las bases de datos.
Los autores del estudio de 2023 también publicaron una réplica el mismo día en Nature, defendiendo su hallazgo. Sostienen que su propio reanálisis, utilizando los criterios de exclusión preferidos por los críticos, sigue mostrando un declive estadística y prácticamente significativo . Sin embargo, el debate evidencia la fragilidad de la conclusión original y la necesidad de un escrutinio más riguroso de los datos en la ciencia bibliométrica.