原论文《论文和专利随时间的推移突破性逐渐降低》使用了一种名为CD指数的指标来度量一篇论文或专利在多大程度上打破了现有知识体系。它分析了大约4500万篇论文(1945-2010年)和390万项专利(1976-2010年),并报告称所有科学领域的突破性得分都在稳步下降 。作者将这一趋势归因于研究者对现有知识的利用范围日益狭窄 。该论文广受认可:《自然》杂志的一篇新闻特写和一篇社论都引用了其结论。最终,它被至少16份政策文件所引用 。
Holst和他的团队将表面的下降趋势追溯到了两个主要来源 :
可视化软件中的漏洞。 原研究作者使用的可视化软件存在一个漏洞,导致那些获得最高“颠覆性”得分的论文在发表的直方图中被隐藏了。这些论文实际上仍包含在主要的统计分析中,但读者和审稿人无法看到这种视觉呈现——以及这些最高分论文的非正常聚集。比利时团队在试图利用开放数据复现该研究时发现了这一问题 。
老旧文献中参考文献数据的缺失。 2023年研究使用的文献计量数据库中,较新的论文参考文献列表更完整,而较旧的论文则不然。由于缺少完整的参考文献记录,老论文被CD指数错误分类,就好像它们没有引用任何前期成果一样。随后,CD指数就给这些论文打出了最高可能的“颠覆性”分数。随着数据库质量的逐年提升,近年来的论文获得这种人为加分的机会越来越少,从而制造了一个虚假的下降趋势 。
当比利时研究人员过滤掉那些缺少参考文献数据的论文——这是常规的质量控制步骤——时,2023年研究中1945年至2010年间报告的下降趋势消失了93% 。
Holst和他的同事在2023年10月,也就是原论文发表后仅仅几个月,就向《自然》杂志提交了他们的批评意见。然而,直到2026年8月,这篇评论才得以发表——耗时长达32个月 。
在此期间,原研究被额外引用了超过1000次 。《自然》杂志自己还发表了社论和新闻特写,将这些下降视为既定事实 。该期刊的政策还禁止批评者在文章审稿期间与媒体交谈,实际上在错误结论影响力最大的时期,压制了纠正的努力 。
这一延迟突显了研究者所说的科研出版中的系统性问题:激励机制更青睐吸引眼球的结果而非验证,而纠错的速度远远跟不上可疑结论的传播速度 。
比利时团队对他们重分析的结果持谨慎态度。基于2023年研究中使用的CD指数指标,他们得出结论,“目前尚无令人信服的证据表明科学研究比过去更缺乏开创性” 。他们认为原论文的方法学和结论不能为科学政策提供可靠依据 。
研究人员同时也警告,即使是大型数据库中的微小错误,也可能驱动影响全球辩论的结论。他们写道:“我们的发现是一个警示故事,警示人们依赖缺乏严格质量控制的大规模文献计量分析可能带来的风险。”
原研究的作者Park、Leahey和Funk在同一期《自然》杂志上发表了经同行评议的回复。他们坚持认为,即使在采用Holst等人的数据集和排除标准进行替代分析时,下降趋势在统计上仍然显著。他们引用了自己的回归模型,声称该模型在论文和专利上都得出了巨大且显著的下降趋势 。
而比利时团队则指出,当他们使用更严格的标准(仅分析至少包含10条参考文献的论文)时,他们实际上发现“颠覆性”程度随时间的推移略有上升。但他们也谨慎地指出,CD指数本身可能不够稳健,无法支持任何一方的确定性结论 。
这场争论不仅仅是学术上的。关于“科学正变得越来越不具颠覆性”的说法,已经被用来为研究经费分配、评估体系的变革,甚至关于我们是否处在一个停滞时代的叙事进行辩护 。如果这种说法很大程度上是数据人为假象的结果,那么建立在它之上的政策可能是在解决一个根本不存在的问题。
更广泛地说,这个案例凸显了大数据科学的脆弱性。2023年的论文分析了数千万条记录,并使用了自动化工具,但仅仅一个可视化软件的漏洞和常规的数据库不完整性,就足以产生一个引人注目的结论,而这个结论花了三年时间才得以纠正,并且至今仍有一些研究者为其辩护。
就目前而言,关于科学突破性是否真的在下降的问题仍未解决。但可以肯定的是,2023年研究结论所获得的信任,在其实际证据基础上是站不住脚的。
原论文《论文和专利随时间的推移突破性逐渐降低》使用了一种名为CD指数的指标来度量一篇论文或专利在多大程度上打破了现有知识体系。它分析了大约4500万篇论文(1945-2010年)和390万项专利(1976-2010年),并报告称所有科学领域的突破性得分都在稳步下降 。作者将这一趋势归因于研究者对现有知识的利用范围日益狭窄 。该论文广受认可:《自然》杂志的一篇新闻特写和一篇社论都引用了其结论。最终,它被至少16份政策文件所引用 。
Holst和他的团队将表面的下降趋势追溯到了两个主要来源 :
可视化软件中的漏洞。 原研究作者使用的可视化软件存在一个漏洞,导致那些获得最高“颠覆性”得分的论文在发表的直方图中被隐藏了。这些论文实际上仍包含在主要的统计分析中,但读者和审稿人无法看到这种视觉呈现——以及这些最高分论文的非正常聚集。比利时团队在试图利用开放数据复现该研究时发现了这一问题 。
老旧文献中参考文献数据的缺失。 2023年研究使用的文献计量数据库中,较新的论文参考文献列表更完整,而较旧的论文则不然。由于缺少完整的参考文献记录,老论文被CD指数错误分类,就好像它们没有引用任何前期成果一样。随后,CD指数就给这些论文打出了最高可能的“颠覆性”分数。随着数据库质量的逐年提升,近年来的论文获得这种人为加分的机会越来越少,从而制造了一个虚假的下降趋势 。
当比利时研究人员过滤掉那些缺少参考文献数据的论文——这是常规的质量控制步骤——时,2023年研究中1945年至2010年间报告的下降趋势消失了93% 。
Holst和他的同事在2023年10月,也就是原论文发表后仅仅几个月,就向《自然》杂志提交了他们的批评意见。然而,直到2026年8月,这篇评论才得以发表——耗时长达32个月 。
在此期间,原研究被额外引用了超过1000次 。《自然》杂志自己还发表了社论和新闻特写,将这些下降视为既定事实 。该期刊的政策还禁止批评者在文章审稿期间与媒体交谈,实际上在错误结论影响力最大的时期,压制了纠正的努力 。
这一延迟突显了研究者所说的科研出版中的系统性问题:激励机制更青睐吸引眼球的结果而非验证,而纠错的速度远远跟不上可疑结论的传播速度 。
比利时团队对他们重分析的结果持谨慎态度。基于2023年研究中使用的CD指数指标,他们得出结论,“目前尚无令人信服的证据表明科学研究比过去更缺乏开创性” 。他们认为原论文的方法学和结论不能为科学政策提供可靠依据 。
研究人员同时也警告,即使是大型数据库中的微小错误,也可能驱动影响全球辩论的结论。他们写道:“我们的发现是一个警示故事,警示人们依赖缺乏严格质量控制的大规模文献计量分析可能带来的风险。”
原研究的作者Park、Leahey和Funk在同一期《自然》杂志上发表了经同行评议的回复。他们坚持认为,即使在采用Holst等人的数据集和排除标准进行替代分析时,下降趋势在统计上仍然显著。他们引用了自己的回归模型,声称该模型在论文和专利上都得出了巨大且显著的下降趋势 。
而比利时团队则指出,当他们使用更严格的标准(仅分析至少包含10条参考文献的论文)时,他们实际上发现“颠覆性”程度随时间的推移略有上升。但他们也谨慎地指出,CD指数本身可能不够稳健,无法支持任何一方的确定性结论 。
这场争论不仅仅是学术上的。关于“科学正变得越来越不具颠覆性”的说法,已经被用来为研究经费分配、评估体系的变革,甚至关于我们是否处在一个停滞时代的叙事进行辩护 。如果这种说法很大程度上是数据人为假象的结果,那么建立在它之上的政策可能是在解决一个根本不存在的问题。
更广泛地说,这个案例凸显了大数据科学的脆弱性。2023年的论文分析了数千万条记录,并使用了自动化工具,但仅仅一个可视化软件的漏洞和常规的数据库不完整性,就足以产生一个引人注目的结论,而这个结论花了三年时间才得以纠正,并且至今仍有一些研究者为其辩护。
就目前而言,关于科学突破性是否真的在下降的问题仍未解决。但可以肯定的是,2023年研究结论所获得的信任,在其实际证据基础上是站不住脚的。