Zespół pod kierownictwem doktoranta Vincenta Holsta i profesora Vincenta Ginisa z Vrije Universiteit Brussel (VUB) we współpracy z KU Leuven odkrył, że rzekomy spadek był w dużej mierze artefaktem – wynikiem błędu w oprogramowaniu i niekompletnych baz danych .
Oryginalna praca, zatytułowana „Papers and patents are becoming less disruptive over time”, wykorzystała wskaźnik CD (Consolidation-Disruption) do pomiaru, na ile dana publikacja lub patent zrywa z dotychczasowym stanem wiedzy. Przeanalizowano około 45 milionów artykułów (1945–2010) i 3,9 miliona patentów (1976–2010), a wyniki wskazywały na stały spadek wskaźników innowacyjności we wszystkich dziedzinach nauki .
Holst i jego zespół zidentyfikowali dwa główne źródła problemu :
Błąd w bibliotece do wizualizacji – W oprogramowaniu używanym przez autorów oryginalnego badania znajdował się błąd, który sprawił, że artykuły o maksymalnym wskaźniku przełomowości nie były widoczne na opublikowanych histogramach. Wprawdzie zostały one uwzględnione w głównej analizie statystycznej, ale ich niezwykłe stężenie było niewidoczne dla czytelników i recenzentów. Belgijski zespół odkrył to, próbując odtworzyć badanie za pomocą otwartych danych .
Brakujące dane referencyjne w starszych publikacjach – Bazy bibliometryczne użyte w badaniu z 2023 roku miały bardziej kompletne listy referencyjne dla nowszych artykułów niż dla starszych. Starsze publikacje, bez pełnych rekordów cytowań, były błędnie klasyfikowane przez wskaźnik CD jako przełomowe. Gdy jakość bazy danych poprawiała się z czasem, nowsze artykuły traciły ten sztuczny „bonus”, tworząc fałszywe wrażenie spadku .
Kiedy belgijscy naukowcy odfiltrowali artykuły z brakującymi danymi referencyjnymi, 93% zgłaszanego spadku między 1945 a 2010 rokiem zniknęło .
Holst i jego współpracownicy zgłosili swoją krytykę do Nature w październiku 2023 roku, zaledwie kilka miesięcy po opublikowaniu oryginalnego artykułu. Została ona opublikowana dopiero w sierpniu 2026 roku – po 32 miesiącach . W tym czasie oryginalne badanie zgromadziło ponad 1000 dodatkowych cytowań . Nature opublikowało redakcyjny komentarz i artykuł, które traktowały spadek jako ustalony fakt .
Belgijski zespół stwierdza, że „nie ma obecnie przekonujących dowodów na to, że badania naukowe są mniej przełomowe niż kiedyś” w oparciu o wskaźnik CD użyty w badaniu z 2023 roku .
Autorzy oryginalnego badania opublikowali replikę, argumentując, że spadek pozostaje istotny statystycznie nawet przy alternatywnych specyfikacjach . Sam zespół Holsta zauważa, że przy zastosowaniu bardziej rygorystycznego filtru (artykuły z co najmniej 10 referencjami) zaobserwowali nawet nieznaczny wzrost przełomowości .
Temat nie jest wyłącznie akademicki. Twierdzenie, że nauka staje się mniej przełomowa, było używane do uzasadniania zmian w finansowaniu badań, systemach oceny i narracjach o stagnacji .
Zespół pod kierownictwem doktoranta Vincenta Holsta i profesora Vincenta Ginisa z Vrije Universiteit Brussel (VUB) we współpracy z KU Leuven odkrył, że rzekomy spadek był w dużej mierze artefaktem – wynikiem błędu w oprogramowaniu i niekompletnych baz danych .
Oryginalna praca, zatytułowana „Papers and patents are becoming less disruptive over time”, wykorzystała wskaźnik CD (Consolidation-Disruption) do pomiaru, na ile dana publikacja lub patent zrywa z dotychczasowym stanem wiedzy. Przeanalizowano około 45 milionów artykułów (1945–2010) i 3,9 miliona patentów (1976–2010), a wyniki wskazywały na stały spadek wskaźników innowacyjności we wszystkich dziedzinach nauki .
Holst i jego zespół zidentyfikowali dwa główne źródła problemu :
Błąd w bibliotece do wizualizacji – W oprogramowaniu używanym przez autorów oryginalnego badania znajdował się błąd, który sprawił, że artykuły o maksymalnym wskaźniku przełomowości nie były widoczne na opublikowanych histogramach. Wprawdzie zostały one uwzględnione w głównej analizie statystycznej, ale ich niezwykłe stężenie było niewidoczne dla czytelników i recenzentów. Belgijski zespół odkrył to, próbując odtworzyć badanie za pomocą otwartych danych .
Brakujące dane referencyjne w starszych publikacjach – Bazy bibliometryczne użyte w badaniu z 2023 roku miały bardziej kompletne listy referencyjne dla nowszych artykułów niż dla starszych. Starsze publikacje, bez pełnych rekordów cytowań, były błędnie klasyfikowane przez wskaźnik CD jako przełomowe. Gdy jakość bazy danych poprawiała się z czasem, nowsze artykuły traciły ten sztuczny „bonus”, tworząc fałszywe wrażenie spadku .
Kiedy belgijscy naukowcy odfiltrowali artykuły z brakującymi danymi referencyjnymi, 93% zgłaszanego spadku między 1945 a 2010 rokiem zniknęło .
Holst i jego współpracownicy zgłosili swoją krytykę do Nature w październiku 2023 roku, zaledwie kilka miesięcy po opublikowaniu oryginalnego artykułu. Została ona opublikowana dopiero w sierpniu 2026 roku – po 32 miesiącach . W tym czasie oryginalne badanie zgromadziło ponad 1000 dodatkowych cytowań . Nature opublikowało redakcyjny komentarz i artykuł, które traktowały spadek jako ustalony fakt .
Belgijski zespół stwierdza, że „nie ma obecnie przekonujących dowodów na to, że badania naukowe są mniej przełomowe niż kiedyś” w oparciu o wskaźnik CD użyty w badaniu z 2023 roku .
Autorzy oryginalnego badania opublikowali replikę, argumentując, że spadek pozostaje istotny statystycznie nawet przy alternatywnych specyfikacjach . Sam zespół Holsta zauważa, że przy zastosowaniu bardziej rygorystycznego filtru (artykuły z co najmniej 10 referencjami) zaobserwowali nawet nieznaczny wzrost przełomowości .
Temat nie jest wyłącznie akademicki. Twierdzenie, że nauka staje się mniej przełomowa, było używane do uzasadniania zmian w finansowaniu badań, systemach oceny i narracjach o stagnacji .