可視化ライブラリのソフトウェアバグ:原著者らが使用した作図ソフトウェアのバグにより、最大の革新性スコアを持つ論文が公開されたヒストグラムから隠されていました。これらの論文は主要な統計分析には含まれていましたが、視覚的な表現、そして最大スコアの異常な集中は読者や査読者には見えませんでした。ベルギーのチームは、公開データを使って追試を試みた際にこのバグを発見しました。
古い文献の参考文献データの欠落:2023年の研究で使用された書誌情報データベースは、新しい論文ほど参考文献リストが完全で、古い論文では不完全でした。古い出版物は参考文献の完全な記録がないため、CD指数によって「過去への引用がゼロ」と誤分類され、その結果、最大の革新性スコアが割り当てられました。データベースの品質が経時的に改善するにつれて、最近の論文ほどこの人工的な「ブースト」を受けにくくなり、あたかも革新性が低下しているかのような誤った印象を生み出したのです。
ベルギー研究チームが、参考文献データが欠落した論文を除外する——標準的な品質管理手順——を行ったところ、2023年研究の最大のデータセットにおいて、1945年から2010年の間に報告された低下傾向の93%が消失しました。
その間に、原著論文は1000以上の追加引用を獲得しました。『Nature』自身も、この低下傾向を確定した事実として扱う編集記事やニュース記事を掲載しました
。さらに、同誌の方針により、批判者たちは査読中にマスコミに話すことを禁じられ、誤った結論が最も影響力を持っていた時期に是正の取り組みが事実上封じられたのです
。
ベルギーチームは、自分たちの再分析が何を証明するかについて慎重です。彼らは、2023年の研究で用いられたCD指数に基づく限り、**「科学研究がかつてほど画期的ではなくなったという説得力のある証拠は現在存在しない」**と結論づけています。そして、原著論文の方法論と結論は科学政策の健全な基盤を提供するものではないと主張しています
。
研究者らはまた、大規模データベースにおける小さな誤りであっても、世界的な議論を左右する結論を導きうると警告しています。「我々の研究結果は、注意深い品質管理なしに大規模な書誌分析に依存することの戒めとなる」と彼らは記しています。
原著者のPark、Leahey、Funk各氏は、同じ号の『Nature』に査読付きの反論を掲載しました。彼らは、Holstら自身のデータセットと除外基準を使用した場合でも、代替的な分析下では低下傾向は統計的に有意なままであると主張しています。彼らは自身の回帰モデルを挙げ、論文と特許の両方で大規模かつ有意な低下が認められると指摘しています。
一方、ベルギーチームは、より厳格なフィルター(参考文献が少なくとも10件ある論文)を使用すると、経時的な革新性のわずかな上昇さえ見られたと指摘しています。しかし、CD指数自体がどちらの方向にも決定的な結論を支持するほど頑健ではない可能性があるとも注意を促しています。
この議論は単なる学術的なものに留まりません。「科学は革新性を失いつつある」という主張は、研究資金の配分や評価システムの変更、さらには「我々は停滞の時代に生きているのか」という物語そのものを正当化するために使われてきました。もしその主張が大部分データのアーティファクトに起因するのであれば、それに基づいて構築された政策は、そもそも存在しない問題に対処しようとしている可能性があります。
より広く言えば、この事例はビッグデータ科学の脆弱性を浮き彫りにしています。2023年の論文は自動化ツールで数千万件のレコードを分析しましたが、たった一つの可視化ライブラリのバグと日常的なデータベースの不完全性が、センセーショナルな見出しを生み出し、その修正に3年を要し、今なお一部の研究者が擁護する結論を導き出したのです。
現時点では、科学の革新性が本当に低下しているのかという問いは未解決のままです。明確なのは、2023年の知見に寄せられた信頼は、それが実際に含んでいた証拠によって正当化されるものではなかったということです。