Что утверждало исследование 2023 года

Оригинальная статья «Papers and patents are becoming less disruptive over time» («Статьи и патенты со временем становятся менее прорывными») использовала показатель, названный CD-индексом, чтобы измерить, насколько та или иная статья или патент порывают с предыдущими работами. Было проанализировано примерно 45 миллионов статей (1945–2010) и 3,9 миллиона патентов (1976–2010). Исследователи сообщили о неуклонном снижении показателей прорывности во всех научных областях . Они связали эту тенденцию с тем, что учёные всё больше опираются на более узкий набор существующих знаний . Статья была широко принята научным сообществом: на её основе Nature опубликовал новостную заметку и редакционную статью, а впоследствии на неё сослались по меньшей мере в 16 политических документах .

Исправление 2026 года: где были ошибки

Команда Хольста проследила кажущийся спад до двух основных источников :

• Программная ошибка (баг) в библиотеке визуализации. Баг в программе для построения графиков, которую использовали авторы оригинальной статьи, привёл к тому, что статьи с максимальным показателем прорывности были скрыты от читателей и рецензентов на опубликованных гистограммах. Эти статьи по-прежнему включались в основной статистический анализ, но их визуальное представление — и необычная концентрация максимальных показателей — осталась невидимой. Бельгийская команда обнаружила это, когда попыталась воспроизвести исследование, используя открытые данные .

• Отсутствие данных о ссылках в старых публикациях. Библиометрические базы данных, использованные в исследовании 2023 года, содержали более полные списки литературы для новых статей, чем для старых. Из-за отсутствия полных записей о ссылках старые публикации были ошибочно классифицированы CD-индексом так, как если бы у них не было вообще никаких обратных цитирований. CD-индекс автоматически присваивал таким статьям максимально возможный показатель прорывности. По мере того, как качество баз данных со временем улучшалось, всё меньшее число новых статей получало этот искусственный «бонус», что и создало ложное впечатление о нисходящем тренде .

Когда бельгийские исследователи отфильтровали статьи с отсутствующими данными о ссылках — стандартная процедура контроля качества — 93% зафиксированного спада между 1945 и 2010 годами исчезли в крупнейшем наборе данных из исследования 2023 года .

Почти трёхлетняя задержка публикации

Хольст и его коллеги подали свою критику в Nature в октябре 2023 года, всего через несколько месяцев после выхода оригинальной статьи. Она была опубликована только в августе 2026 года — с задержкой в 32 месяца .

За это время оригинальное исследование набрало более 1000 дополнительных цитирований . Nature опубликовал редакционную статью и новостной материал, в которых заявленный спад уже рассматривался как установленный факт . Кроме того, политика журнала запрещала критикам общаться с прессой, пока их критика находилась на рецензировании, что фактически свело на нет попытки исправить ошибку в тот период, когда ошибочный вывод был наиболее влиятельным .

Эта задержка высвечивает системную проблему научной публикации: стимулы поощряют привлекающие внимание результаты, а не проверку, и исправления движутся слишком медленно, чтобы успевать за распространением сомнительных выводов .

Что меняет исправление — а что нет

Бельгийская команда осторожна в своих выводах. Они утверждают, что «в настоящее время нет убедительных доказательств того, что научные исследования стали менее прорывными, чем раньше» на основе CD-индекса, использованного в исследовании 2023 года . Они доказывают, что методология и выводы оригинальной статьи не являются надёжной основой для научной политики .

Исследователи также предупреждают, что даже небольшие ошибки в больших базах данных могут влиять на выводы, которые затем формируют глобальные дебаты. «Наши результаты служат предостережением о том, что нельзя полагаться на крупномасштабный библиометрический анализ без тщательного контроля качества», — пишут они .

Незавершённая дискуссия

Оригинальные авторы Парк, Лии и Фанк опубликовали прошедший рецензирование ответ в том же выпуске Nature. Они утверждают, что спад остаётся статистически значимым при альтернативных спецификациях, в том числе при использовании набора данных и критериев исключения группы Хольста. Они ссылаются на свою собственную регрессионную модель, которая, по их словам, показывает большой и значимый спад как для статей, так и для патентов .

В свою очередь, бельгийская команда отмечает, что при использовании более строгих критериев (статьи как минимум с 10 ссылками) они фактически обнаружили небольшой рост прорывности с течением времени. Однако они предупреждают, что сам CD-индекс может быть недостаточно надёжным, чтобы делать окончательные выводы в любую сторону .

Почему это важно

Этот спор далеко не академичен. Утверждение о том, что наука становится менее прорывной, уже использовалось для оправдания изменений в финансировании исследований и системах оценки, а также для формирования нарратива о том, живём ли мы в эпоху застоя . Если этот вывод во многом является результатом артефактов данных, то политика, основанная на нём, может быть направлена на решение несуществующей проблемы.

В более широком смысле этот случай подчёркивает хрупкость науки, работающей с большими данными. В статье 2023 года были проанализированы десятки миллионов записей с помощью автоматизированных инструментов, однако одной ошибки в библиотеке визуализации и стандартной неполноты баз данных оказалось достаточно, чтобы породить громкий вывод, на исправление которого ушло три года и который некоторые исследователи продолжают защищать.

Пока вопрос о том, действительно ли научная прорывность находится в упадке, остаётся открытым. Однако ясно одно: уверенность, с которой был встречен вывод 2023 года, была неоправданна теми доказательствами, которые он на самом деле содержал.

Что утверждало исследование 2023 года

Оригинальная статья «Papers and patents are becoming less disruptive over time» («Статьи и патенты со временем становятся менее прорывными») использовала показатель, названный CD-индексом, чтобы измерить, насколько та или иная статья или патент порывают с предыдущими работами. Было проанализировано примерно 45 миллионов статей (1945–2010) и 3,9 миллиона патентов (1976–2010). Исследователи сообщили о неуклонном снижении показателей прорывности во всех научных областях . Они связали эту тенденцию с тем, что учёные всё больше опираются на более узкий набор существующих знаний . Статья была широко принята научным сообществом: на её основе Nature опубликовал новостную заметку и редакционную статью, а впоследствии на неё сослались по меньшей мере в 16 политических документах .

Исправление 2026 года: где были ошибки

Команда Хольста проследила кажущийся спад до двух основных источников :

• Программная ошибка (баг) в библиотеке визуализации. Баг в программе для построения графиков, которую использовали авторы оригинальной статьи, привёл к тому, что статьи с максимальным показателем прорывности были скрыты от читателей и рецензентов на опубликованных гистограммах. Эти статьи по-прежнему включались в основной статистический анализ, но их визуальное представление — и необычная концентрация максимальных показателей — осталась невидимой. Бельгийская команда обнаружила это, когда попыталась воспроизвести исследование, используя открытые данные .

• Отсутствие данных о ссылках в старых публикациях. Библиометрические базы данных, использованные в исследовании 2023 года, содержали более полные списки литературы для новых статей, чем для старых. Из-за отсутствия полных записей о ссылках старые публикации были ошибочно классифицированы CD-индексом так, как если бы у них не было вообще никаких обратных цитирований. CD-индекс автоматически присваивал таким статьям максимально возможный показатель прорывности. По мере того, как качество баз данных со временем улучшалось, всё меньшее число новых статей получало этот искусственный «бонус», что и создало ложное впечатление о нисходящем тренде .

Когда бельгийские исследователи отфильтровали статьи с отсутствующими данными о ссылках — стандартная процедура контроля качества — 93% зафиксированного спада между 1945 и 2010 годами исчезли в крупнейшем наборе данных из исследования 2023 года .

Почти трёхлетняя задержка публикации

Хольст и его коллеги подали свою критику в Nature в октябре 2023 года, всего через несколько месяцев после выхода оригинальной статьи. Она была опубликована только в августе 2026 года — с задержкой в 32 месяца .

За это время оригинальное исследование набрало более 1000 дополнительных цитирований . Nature опубликовал редакционную статью и новостной материал, в которых заявленный спад уже рассматривался как установленный факт . Кроме того, политика журнала запрещала критикам общаться с прессой, пока их критика находилась на рецензировании, что фактически свело на нет попытки исправить ошибку в тот период, когда ошибочный вывод был наиболее влиятельным .

Эта задержка высвечивает системную проблему научной публикации: стимулы поощряют привлекающие внимание результаты, а не проверку, и исправления движутся слишком медленно, чтобы успевать за распространением сомнительных выводов .

Что меняет исправление — а что нет

Бельгийская команда осторожна в своих выводах. Они утверждают, что «в настоящее время нет убедительных доказательств того, что научные исследования стали менее прорывными, чем раньше» на основе CD-индекса, использованного в исследовании 2023 года . Они доказывают, что методология и выводы оригинальной статьи не являются надёжной основой для научной политики .

Исследователи также предупреждают, что даже небольшие ошибки в больших базах данных могут влиять на выводы, которые затем формируют глобальные дебаты. «Наши результаты служат предостережением о том, что нельзя полагаться на крупномасштабный библиометрический анализ без тщательного контроля качества», — пишут они .

Незавершённая дискуссия

Оригинальные авторы Парк, Лии и Фанк опубликовали прошедший рецензирование ответ в том же выпуске Nature. Они утверждают, что спад остаётся статистически значимым при альтернативных спецификациях, в том числе при использовании набора данных и критериев исключения группы Хольста. Они ссылаются на свою собственную регрессионную модель, которая, по их словам, показывает большой и значимый спад как для статей, так и для патентов .

В свою очередь, бельгийская команда отмечает, что при использовании более строгих критериев (статьи как минимум с 10 ссылками) они фактически обнаружили небольшой рост прорывности с течением времени. Однако они предупреждают, что сам CD-индекс может быть недостаточно надёжным, чтобы делать окончательные выводы в любую сторону .

Почему это важно

Этот спор далеко не академичен. Утверждение о том, что наука становится менее прорывной, уже использовалось для оправдания изменений в финансировании исследований и системах оценки, а также для формирования нарратива о том, живём ли мы в эпоху застоя . Если этот вывод во многом является результатом артефактов данных, то политика, основанная на нём, может быть направлена на решение несуществующей проблемы.

В более широком смысле этот случай подчёркивает хрупкость науки, работающей с большими данными. В статье 2023 года были проанализированы десятки миллионов записей с помощью автоматизированных инструментов, однако одной ошибки в библиотеке визуализации и стандартной неполноты баз данных оказалось достаточно, чтобы породить громкий вывод, на исправление которого ушло три года и который некоторые исследователи продолжают защищать.

Пока вопрос о том, действительно ли научная прорывность находится в упадке, остаётся открытым. Однако ясно одно: уверенность, с которой был встречен вывод 2023 года, была неоправданна теми доказательствами, которые он на самом деле содержал.