可视化软件中的漏洞。 原研究作者使用的可视化软件存在一个漏洞,导致那些获得最高“颠覆性”得分的论文在发表的直方图中被隐藏了。这些论文实际上仍包含在主要的统计分析中,但读者和审稿人无法看到这种视觉呈现——以及这些最高分论文的非正常聚集。比利时团队在试图利用开放数据复现该研究时发现了这一问题 。
老旧文献中参考文献数据的缺失。 2023年研究使用的文献计量数据库中,较新的论文参考文献列表更完整,而较旧的论文则不然。由于缺少完整的参考文献记录,老论文被CD指数错误分类,就好像它们没有引用任何前期成果一样。随后,CD指数就给这些论文打出了最高可能的“颠覆性”分数。随着数据库质量的逐年提升,近年来的论文获得这种人为加分的机会越来越少,从而制造了一个虚假的下降趋势 。
在此期间,原研究被额外引用了超过1000次 。《自然》杂志自己还发表了社论和新闻特写,将这些下降视为既定事实
。该期刊的政策还禁止批评者在文章审稿期间与媒体交谈,实际上在错误结论影响力最大的时期,压制了纠正的努力
。
比利时团队对他们重分析的结果持谨慎态度。基于2023年研究中使用的CD指数指标,他们得出结论,“目前尚无令人信服的证据表明科学研究比过去更缺乏开创性” 。他们认为原论文的方法学和结论不能为科学政策提供可靠依据
。
原研究的作者Park、Leahey和Funk在同一期《自然》杂志上发表了经同行评议的回复。他们坚持认为,即使在采用Holst等人的数据集和排除标准进行替代分析时,下降趋势在统计上仍然显著。他们引用了自己的回归模型,声称该模型在论文和专利上都得出了巨大且显著的下降趋势 。
而比利时团队则指出,当他们使用更严格的标准(仅分析至少包含10条参考文献的论文)时,他们实际上发现“颠覆性”程度随时间的推移略有上升。但他们也谨慎地指出,CD指数本身可能不够稳健,无法支持任何一方的确定性结论 。
这场争论不仅仅是学术上的。关于“科学正变得越来越不具颠覆性”的说法,已经被用来为研究经费分配、评估体系的变革,甚至关于我们是否处在一个停滞时代的叙事进行辩护 。如果这种说法很大程度上是数据人为假象的结果,那么建立在它之上的政策可能是在解决一个根本不存在的问题。
更广泛地说,这个案例凸显了大数据科学的脆弱性。2023年的论文分析了数千万条记录,并使用了自动化工具,但仅仅一个可视化软件的漏洞和常规的数据库不完整性,就足以产生一个引人注目的结论,而这个结论花了三年时间才得以纠正,并且至今仍有一些研究者为其辩护。
就目前而言,关于科学突破性是否真的在下降的问题仍未解决。但可以肯定的是,2023年研究结论所获得的信任,在其实际证据基础上是站不住脚的。