Ключевые находки опровержения

• В чём именно заключались ошибки: Во-первых, баг в программе для визуализации данных, которую использовала команда Пака. Из-за него статьи с максимальным показателем индекса «разрушительности» (disruption score) просто не попадали в финальные гистограммы — и это никак не было отмечено в публикации . Во-вторых, и это главное, — проблема с данными: в старых записях базы Web of Science (WoS) очень часто не хватало сведений о ссылках. Статьи с нулевым количеством указанных ссылок автоматически получали высший балл по индексу CD . По мере того, как базы данных становились полнее и качественнее, доля таких «ложных максимумов» снижалась, что и создало на графиках эффект снижения «прорывности» .
• Масштаб искажения: После того, как исследователи из Бельгии отфильтровали эти ошибки, «упадок» практически исчез. Более того, в самом крупном из проанализированных массивов данных «артефакты объясняют 93% зафиксированного снижения за период с 1945 по 2010 год» (цитата из статьи) .

Что это говорит о методологии исходного исследования

• Результаты 2023 года оказались неустойчивы к элементарной проверке качества данных. Вывод был основан не на реальных изменениях в науке, а на дефектах архивных записей .
• Опубликованные графики вводили в заблуждение из-за программной ошибки, которая «прятала» именно те точки данных, которые при ближайшем рассмотрении оказались артефактами .
• Авторы исходной работы (Пак, Лехи и Фанк) в тот же день опубликовали в Nature свой ответ, где заявили, что их собственный пересчёт с использованием «предпочтительных» критериев оппонентов всё равно показывает статистически значимый спад . Однако авторы опровержения в ответ парируют: если рассматривать только статьи, у которых есть хотя бы 10 ссылок в списке литературы, то можно обнаружить небольшой рост «прорывности», и что индекс CD просто не позволяет делать однозначных выводов о многолетних трендах .

Задержка в 32 месяца: как научное сообщество ждало правды

• Бельгийские учёные подали свою критическую статью в Nature ещё в октябре 2023 года. Однако журнал потратил 32 месяца — почти три года — на то, чтобы принять её к публикации .
• Всё это время Nature продолжал публиковать редакционные колонки и новостные заметки, основанные на выводах оригинальной статьи. За этот период первоначальное исследование процитировали ещё более 1000 раз, и оно легло в основу как минимум 16 политических документов (влияя на распределение грантов и научных приоритетов) .
• Руководитель группы, Винсент Гинис, прокомментировал ситуацию: «Программная ошибка была исправлена сообществом разработчиков открытого кода за несколько месяцев. А для публикации научного исправления потребовались годы. И всё это время политика журнала запрещала нам общаться с прессой, пока наша критика находилась на рецензировании» .

Последствия для научной политики

• Оригинальная статья 2023 года породила более 300 новостных материалов по всему миру и цитировалась как минимум в 16 документах, определяющих государственную политику в области науки, укрепляя нарратив о «замедлении инноваций» .
• Авторы опровержения заявляют прямо: «Методология и выводы 2023 года не являются надёжной основой для научной политики» .
• История вскрыла системные проблемы механизма самокоррекции в науке: ошибку в коде исправили за месяцы, а официальное научное опровержение выходило почти три года. Всё это время ложный вывод продолжал формировать общественное мнение и влиять на распределение бюджетов .
• Этот случай — мощное напоминание об опасности поспешных глобальных выводов об эволюции науки, сделанных на основе одних лишь библиометрических показателей, без тщательной проверки на «ошибки базы данных».

Ключевые находки опровержения

• В чём именно заключались ошибки: Во-первых, баг в программе для визуализации данных, которую использовала команда Пака. Из-за него статьи с максимальным показателем индекса «разрушительности» (disruption score) просто не попадали в финальные гистограммы — и это никак не было отмечено в публикации . Во-вторых, и это главное, — проблема с данными: в старых записях базы Web of Science (WoS) очень часто не хватало сведений о ссылках. Статьи с нулевым количеством указанных ссылок автоматически получали высший балл по индексу CD . По мере того, как базы данных становились полнее и качественнее, доля таких «ложных максимумов» снижалась, что и создало на графиках эффект снижения «прорывности» .
• Масштаб искажения: После того, как исследователи из Бельгии отфильтровали эти ошибки, «упадок» практически исчез. Более того, в самом крупном из проанализированных массивов данных «артефакты объясняют 93% зафиксированного снижения за период с 1945 по 2010 год» (цитата из статьи) .

Что это говорит о методологии исходного исследования

• Результаты 2023 года оказались неустойчивы к элементарной проверке качества данных. Вывод был основан не на реальных изменениях в науке, а на дефектах архивных записей .
• Опубликованные графики вводили в заблуждение из-за программной ошибки, которая «прятала» именно те точки данных, которые при ближайшем рассмотрении оказались артефактами .
• Авторы исходной работы (Пак, Лехи и Фанк) в тот же день опубликовали в Nature свой ответ, где заявили, что их собственный пересчёт с использованием «предпочтительных» критериев оппонентов всё равно показывает статистически значимый спад . Однако авторы опровержения в ответ парируют: если рассматривать только статьи, у которых есть хотя бы 10 ссылок в списке литературы, то можно обнаружить небольшой рост «прорывности», и что индекс CD просто не позволяет делать однозначных выводов о многолетних трендах .

Задержка в 32 месяца: как научное сообщество ждало правды

• Бельгийские учёные подали свою критическую статью в Nature ещё в октябре 2023 года. Однако журнал потратил 32 месяца — почти три года — на то, чтобы принять её к публикации .
• Всё это время Nature продолжал публиковать редакционные колонки и новостные заметки, основанные на выводах оригинальной статьи. За этот период первоначальное исследование процитировали ещё более 1000 раз, и оно легло в основу как минимум 16 политических документов (влияя на распределение грантов и научных приоритетов) .
• Руководитель группы, Винсент Гинис, прокомментировал ситуацию: «Программная ошибка была исправлена сообществом разработчиков открытого кода за несколько месяцев. А для публикации научного исправления потребовались годы. И всё это время политика журнала запрещала нам общаться с прессой, пока наша критика находилась на рецензировании» .

Последствия для научной политики

• Оригинальная статья 2023 года породила более 300 новостных материалов по всему миру и цитировалась как минимум в 16 документах, определяющих государственную политику в области науки, укрепляя нарратив о «замедлении инноваций» .
• Авторы опровержения заявляют прямо: «Методология и выводы 2023 года не являются надёжной основой для научной политики» .
• История вскрыла системные проблемы механизма самокоррекции в науке: ошибку в коде исправили за месяцы, а официальное научное опровержение выходило почти три года. Всё это время ложный вывод продолжал формировать общественное мнение и влиять на распределение бюджетов .
• Этот случай — мощное напоминание об опасности поспешных глобальных выводов об эволюции науки, сделанных на основе одних лишь библиометрических показателей, без тщательной проверки на «ошибки базы данных».