Ключові висновки спростування

• У чому були помилки: Баг у програмному забезпеченні для візуалізації, яке використовували автори оригінальної статті, призвів до того, що роботи з максимальним показником проривності були приховані на опублікованих гістограмах без жодного попередження . Ще критичнішою була та обставина, що застарілі записи в базі даних Web of Science часто мали неповні метадані про посилання — статті з нульовою кількістю згаданих робіт хибно класифікувалися як „максимально проривні“ за методом CD index . У міру покращення якості бази даних з часом такі хибні максимальні оцінки ставали рідшими, створюючи ілюзію спаду проривності .
• Масштаб артефакту: Після фільтрації цих помилок бази даних спад переважно зник. У найбільшому з досліджених наборів даних „артефакти пояснюють 93% зафіксованого спаду між 1945 та 2010 роками“ .

Що це розкриває про методологію оригінального дослідження

• Оригінальний результат виявився нестійким до елементарних перевірок якості даних. Висновок був зумовлений переважно артефактом бази даних — неповними записами про посилання в старіших роках, а не реальними змінами в науці .
• Опубліковані графіки були оманливими через програмний баг, який приховував ті самі точки даних, що, як з'ясувалося після перевірки, виявилися артефактами .
• Відповідь оригінальних авторів (також опублікована Nature того ж дня) заперечує ці висновки, стверджуючи, що їхній власний повторний аналіз із використанням критеріїв виключення, запропонованих критиками, все ще демонструє статистично та практично значущий спад . Однак автори спростування зазначають, що коли вони обмежують аналіз статтями з щонайменше 10 посиланнями, вони виявляють незначне зростання проривності та роблять висновок, що цей показник просто не дозволяє робити однозначних висновків про тенденції .

32-місячна затримка публікації

• Бельгійські дослідники подали свою критику до Nature у жовтні 2023 року, але журнал знадобилося 32 місяці, щоб прийняти її до публікації .
• За цей час Nature продовжував публікувати редакційні статті та новинні матеріали, які спиралися на висновки оригінальної роботи, а саме оригінальне дослідження було процитовано ще понад 1000 разів і використано щонайменше в 16 політичних документах .
• Провідний дослідник Вінсент Гініс зазначив: „У той час як програмний баг був виправлений open-source спільнотою за лічені місяці, знадобилися роки, щоб наукове виправлення було опубліковане. І весь цей час політика журналу забороняла нам спілкуватися з пресою, поки наша критика перебувала на розгляді“ .

Наслідки для наукової політики

• Оригінальна стаття породила понад 300 новинних сюжетів по всьому світу і була процитована щонайменше в 16 політичних документах, впливаючи на наративи про „уповільнення інновацій“ .
• Автори спростування прямо заявляють, що „методологія та висновки 2023 року не є надійною основою для наукової політики“ .
• Цей випадок висвітлює структурні слабкості в процесі наукової самокорекції: програмний баг був швидко виправлений учасниками open-source, проте формальне наукове виправлення зайняло майже три роки; за цей час хибний висновок продовжував формувати публічний дискурс і політику .
• Він також підкреслює небезпеку робити широкі висновки про науковий прогрес на основі бібліометричних показників без ретельної перевірки на наявність артефактів якості бази даних.

Ключові висновки спростування

• У чому були помилки: Баг у програмному забезпеченні для візуалізації, яке використовували автори оригінальної статті, призвів до того, що роботи з максимальним показником проривності були приховані на опублікованих гістограмах без жодного попередження . Ще критичнішою була та обставина, що застарілі записи в базі даних Web of Science часто мали неповні метадані про посилання — статті з нульовою кількістю згаданих робіт хибно класифікувалися як „максимально проривні“ за методом CD index . У міру покращення якості бази даних з часом такі хибні максимальні оцінки ставали рідшими, створюючи ілюзію спаду проривності .
• Масштаб артефакту: Після фільтрації цих помилок бази даних спад переважно зник. У найбільшому з досліджених наборів даних „артефакти пояснюють 93% зафіксованого спаду між 1945 та 2010 роками“ .

Що це розкриває про методологію оригінального дослідження

• Оригінальний результат виявився нестійким до елементарних перевірок якості даних. Висновок був зумовлений переважно артефактом бази даних — неповними записами про посилання в старіших роках, а не реальними змінами в науці .
• Опубліковані графіки були оманливими через програмний баг, який приховував ті самі точки даних, що, як з'ясувалося після перевірки, виявилися артефактами .
• Відповідь оригінальних авторів (також опублікована Nature того ж дня) заперечує ці висновки, стверджуючи, що їхній власний повторний аналіз із використанням критеріїв виключення, запропонованих критиками, все ще демонструє статистично та практично значущий спад . Однак автори спростування зазначають, що коли вони обмежують аналіз статтями з щонайменше 10 посиланнями, вони виявляють незначне зростання проривності та роблять висновок, що цей показник просто не дозволяє робити однозначних висновків про тенденції .

32-місячна затримка публікації

• Бельгійські дослідники подали свою критику до Nature у жовтні 2023 року, але журнал знадобилося 32 місяці, щоб прийняти її до публікації .
• За цей час Nature продовжував публікувати редакційні статті та новинні матеріали, які спиралися на висновки оригінальної роботи, а саме оригінальне дослідження було процитовано ще понад 1000 разів і використано щонайменше в 16 політичних документах .
• Провідний дослідник Вінсент Гініс зазначив: „У той час як програмний баг був виправлений open-source спільнотою за лічені місяці, знадобилися роки, щоб наукове виправлення було опубліковане. І весь цей час політика журналу забороняла нам спілкуватися з пресою, поки наша критика перебувала на розгляді“ .

Наслідки для наукової політики

• Оригінальна стаття породила понад 300 новинних сюжетів по всьому світу і була процитована щонайменше в 16 політичних документах, впливаючи на наративи про „уповільнення інновацій“ .
• Автори спростування прямо заявляють, що „методологія та висновки 2023 року не є надійною основою для наукової політики“ .
• Цей випадок висвітлює структурні слабкості в процесі наукової самокорекції: програмний баг був швидко виправлений учасниками open-source, проте формальне наукове виправлення зайняло майже три роки; за цей час хибний висновок продовжував формувати публічний дискурс і політику .
• Він також підкреслює небезпеку робити широкі висновки про науковий прогрес на основі бібліометричних показників без ретельної перевірки на наявність артефактів якості бази даних.