Die Kernbefunde der Widerlegung

• Worin die Fehler bestanden: Ein Bug in der Visualisierungssoftware der Originalautoren führte dazu, dass Arbeiten mit dem maximalen Disruptionsscore in den veröffentlichten Histogrammen stillschweigend weggelassen wurden . Noch schwerwiegender: Ältere Einträge im Web of Science hatten häufig unvollständige Referenzdaten – Arbeiten mit null angegebenen Referenzen wurden vom CD-Index fälschlicherweise als „maximal disruptiv” eingestuft . Da die Datenbankqualität im Laufe der Zeit besser wurde, kamen diese falschen Maximalwerte immer seltener vor, was den Eindruck eines Rückgangs der Disruptivität erweckte .
• Ausmaß des Artefakts: Nachdem diese Datenbankfehler herausgefiltert wurden, verschwand der Rückgang weitgehend. Im größten untersuchten Datensatz machten die Artefakte 93 % des gemeldeten Rückgangs zwischen 1945 und 2010 aus .

Was dies über die Methodik der Originalstudie enthüllt

• Das ursprüngliche Ergebnis war nicht robust gegenüber grundlegenden Datenqualitätsprüfungen. Der Befund wurde überwiegend durch ein Datenbankartefakt getrieben – unvollständige Referenzdatensätze in älteren Jahrgängen – und nicht durch eine tatsächliche Veränderung in der Wissenschaft .
• Die veröffentlichten Abbildungen waren aufgrund eines Softwarefehlers irreführend, der genau jene Datenpunkte verbarg, die sich bei näherer Betrachtung als Artefakte erwiesen .
• Die Antwort der Originalautoren (ebenfalls am selben Tag in Nature veröffentlicht) widerspricht dieser Darstellung. Sie argumentieren, dass ihre eigene Neuauswertung mit den von den Kritikern bevorzugten Ausschlusskriterien weiterhin einen statistisch und praktisch signifikanten Rückgang zeige . Die Autoren der Widerlegung halten dagegen: Wenn man sich auf Arbeiten mit mindestens zehn Referenzen beschränke, finde man einen leichten Anstieg der Disruptivität. Das Maß sei schlichtweg nicht geeignet, um belastbare Aussagen über Trends zu treffen .

Die 32-monatige Verzögerung der Veröffentlichung

• Die belgischen Forscher reichten ihre Kritik im Oktober 2023 bei Nature ein – die Zeitschrift brauchte 32 Monate, um sie zur Veröffentlichung anzunehmen .
• Während dieser Verzögerung veröffentlichte Nature weiterhin Leitartikel und Nachrichtenbeiträge, die auf den Schlussfolgerungen der Originalstudie beruhten. Die Studie wurde über 1.000 weitere Male zitiert und in mindestens 16 Politikdokumenten verwendet .
• Der leitende Forscher Vincent Ginis merkte an: „Während der Softwarefehler von der Open-Source-Community innerhalb von Monaten behoben wurde, dauerte es Jahre, bis die wissenschaftliche Korrektur veröffentlicht wurde. Und die ganze Zeit über verbot uns die Richtlinien der Zeitschrift, mit der Presse zu sprechen, solange unsere Kritik eingereicht war” .

Auswirkungen auf die Wissenschaftspolitik

• Die Originalstudie löste weltweit über 300 Medienberichte aus und wurde in mindestens 16 Politikdokumenten zitiert. Sie prägte Narrative über eine angebliche „Innovationsflaute” .
• Die Autoren der Widerlegung stellen klar: „Die Methodik und die Schlussfolgerungen von 2023 bieten keine solide Grundlage für die Wissenschaftspolitik” .
• Der Fall zeigt strukturelle Schwächen des Selbstkorrekturprozesses auf: Ein Softwarefehler wurde von Open-Source-Entwicklern schnell behoben, die formelle wissenschaftliche Korrektur dauerte jedoch fast drei Jahre. In dieser Zeit prägte ein fehlerhafter Befund weiterhin die öffentliche Debatte und politische Entscheidungen .
• Er unterstreicht auch die Gefahr, aus bibliometrischen Indikatoren weitreichende Schlüsse über den wissenschaftlichen Fortschritt zu ziehen, ohne diese gründlich auf Datenqualitäts-Artefakte zu überprüfen.

Die Kernbefunde der Widerlegung

• Worin die Fehler bestanden: Ein Bug in der Visualisierungssoftware der Originalautoren führte dazu, dass Arbeiten mit dem maximalen Disruptionsscore in den veröffentlichten Histogrammen stillschweigend weggelassen wurden . Noch schwerwiegender: Ältere Einträge im Web of Science hatten häufig unvollständige Referenzdaten – Arbeiten mit null angegebenen Referenzen wurden vom CD-Index fälschlicherweise als „maximal disruptiv” eingestuft . Da die Datenbankqualität im Laufe der Zeit besser wurde, kamen diese falschen Maximalwerte immer seltener vor, was den Eindruck eines Rückgangs der Disruptivität erweckte .
• Ausmaß des Artefakts: Nachdem diese Datenbankfehler herausgefiltert wurden, verschwand der Rückgang weitgehend. Im größten untersuchten Datensatz machten die Artefakte 93 % des gemeldeten Rückgangs zwischen 1945 und 2010 aus .

Was dies über die Methodik der Originalstudie enthüllt

• Das ursprüngliche Ergebnis war nicht robust gegenüber grundlegenden Datenqualitätsprüfungen. Der Befund wurde überwiegend durch ein Datenbankartefakt getrieben – unvollständige Referenzdatensätze in älteren Jahrgängen – und nicht durch eine tatsächliche Veränderung in der Wissenschaft .
• Die veröffentlichten Abbildungen waren aufgrund eines Softwarefehlers irreführend, der genau jene Datenpunkte verbarg, die sich bei näherer Betrachtung als Artefakte erwiesen .
• Die Antwort der Originalautoren (ebenfalls am selben Tag in Nature veröffentlicht) widerspricht dieser Darstellung. Sie argumentieren, dass ihre eigene Neuauswertung mit den von den Kritikern bevorzugten Ausschlusskriterien weiterhin einen statistisch und praktisch signifikanten Rückgang zeige . Die Autoren der Widerlegung halten dagegen: Wenn man sich auf Arbeiten mit mindestens zehn Referenzen beschränke, finde man einen leichten Anstieg der Disruptivität. Das Maß sei schlichtweg nicht geeignet, um belastbare Aussagen über Trends zu treffen .

Die 32-monatige Verzögerung der Veröffentlichung

• Die belgischen Forscher reichten ihre Kritik im Oktober 2023 bei Nature ein – die Zeitschrift brauchte 32 Monate, um sie zur Veröffentlichung anzunehmen .
• Während dieser Verzögerung veröffentlichte Nature weiterhin Leitartikel und Nachrichtenbeiträge, die auf den Schlussfolgerungen der Originalstudie beruhten. Die Studie wurde über 1.000 weitere Male zitiert und in mindestens 16 Politikdokumenten verwendet .
• Der leitende Forscher Vincent Ginis merkte an: „Während der Softwarefehler von der Open-Source-Community innerhalb von Monaten behoben wurde, dauerte es Jahre, bis die wissenschaftliche Korrektur veröffentlicht wurde. Und die ganze Zeit über verbot uns die Richtlinien der Zeitschrift, mit der Presse zu sprechen, solange unsere Kritik eingereicht war” .

Auswirkungen auf die Wissenschaftspolitik

• Die Originalstudie löste weltweit über 300 Medienberichte aus und wurde in mindestens 16 Politikdokumenten zitiert. Sie prägte Narrative über eine angebliche „Innovationsflaute” .
• Die Autoren der Widerlegung stellen klar: „Die Methodik und die Schlussfolgerungen von 2023 bieten keine solide Grundlage für die Wissenschaftspolitik” .
• Der Fall zeigt strukturelle Schwächen des Selbstkorrekturprozesses auf: Ein Softwarefehler wurde von Open-Source-Entwicklern schnell behoben, die formelle wissenschaftliche Korrektur dauerte jedoch fast drei Jahre. In dieser Zeit prägte ein fehlerhafter Befund weiterhin die öffentliche Debatte und politische Entscheidungen .
• Er unterstreicht auch die Gefahr, aus bibliometrischen Indikatoren weitreichende Schlüsse über den wissenschaftlichen Fortschritt zu ziehen, ohne diese gründlich auf Datenqualitäts-Artefakte zu überprüfen.