Що стверджувала стаття 2023 року

Оригінальна робота «Наукові статті та патенти з часом стають менш проривними» використовувала індекс CD — метрику, яка вимірює, наскільки робота відривається від попередніх. Було проаналізовано приблизно 45 млн статей (1945–2010) та 3,9 млн патентів (1976–2010). Автори заявили про стійке зниження «проривності» в усіх наукових галузях, пов'язавши це з тим, що дослідники все більше покладаються на вужчий набір знань . Результати широко цитували: Nature опублікував редакційну статтю та новинний матеріал, що спиралися на ці висновки, а сама робота згадана щонайменше у 16 політичних документах .

Виправлення 2026 року: де критися помилки

Команда Гольста простежила джерело уявного занепаду до двох основних проблем :

• Програмний баг у бібліотеці візуалізації. Помилка в програмі для побудови графіків спричинила те, що статті з максимальним індексом проривності не відображалися на опублікованих гістограмах. Ці роботи все ж були включені в основний статистичний аналіз, але візуальне уявлення — і незвичайна концентрація максимальних балів — залишилися прихованими від читачів і рецензентів. Бельгійська команда виявила це, намагаючись відтворити дослідження за відкритими даними .

• Відсутні дані про цитування у старих публікаціях. Бібліометричні бази, використані у дослідженні 2023 року, мали повніші списки літератури для новіших робіт, ніж для старіших. Старі публікації з неповними переліками посилань були хибно класифіковані індексом CD так, ніби вони мали нуль зворотних цитувань. Індекс CD тоді присвоював цим роботам максимально можливий бал проривності. З часом, коли якість баз даних покращувалася, дедалі менше нових статей отримувало цей штучний бонус, створюючи хибне враження спадної тенденції .

Коли бельгійські дослідники відфільтрували статті з неповними даними — стандартний крок контролю якості — 93% зафіксованого зниження між 1945 і 2010 роками зникло в найбільшому наборі даних з дослідження 2023 року .

Майже трирічна затримка публікації

Гольст і його колеги подали свою критику до Nature у жовтні 2023 року, буквально за кілька місяців після виходу оригінальної статті. Її опублікували лише в серпні 2026 року — затримка у 32 місяці .

За цей час оригінальне дослідження набрало понад 1000 додаткових цитувань . Nature опублікував редакційну статтю та новинний матеріал, де занепад подавався як встановлений факт . Політика журналу також забороняла критикам спілкуватися з пресою, поки їхній коментар перебував на рецензії, фактично унеможливлюючи виправлення в той період, коли хибний висновок мав найбільший вплив .

Така затримка, за словами дослідників, вказує на системну проблему наукових видань: стимули заохочують сенсаційні результати, а не їхню перевірку, а виправлення з'являються надто повільно, аби встигнути за поширенням сумнівних висновків .

Що змінює виправлення — а що ні

Бельгійська команда обережна у своїх висновках. Вони стверджують, що «наразі не існує переконливих доказів того, що наукові дослідження стали менш проривними, ніж раніше» на основі метрики CD-індексу, використаної в дослідженні 2023 року . Вони зазначають, що методологія та висновки оригінальної статті не дають надійної основи для наукової політики .

Дослідники також застерігають: навіть невеликі помилки у великих базах даних можуть формувати висновки, які впливають на глобальну дискусію. «Наші висновки — це застережлива історія про те, як покладатися на великомасштабні бібліометричні аналізи без ретельного контролю якості», — пишуть вони .

Дискусія триває

Автори оригінальної статті — Парк, Лігі та Фанк — опублікували рецензовану відповідь у тому ж номері Nature. Вони стверджують, що занепад лишається статистично значущим при альтернативних специфікаціях, зокрема при використанні набору даних і критеріїв виключення Гольста та інших. Вони посилаються на власну регресійну модель, яка, за їхніми словами, демонструє велике та значуще зниження як для статей, так і для патентів .

Натомість бельгійська команда зауважує: при застосуванні суворішого фільтра (статті щонайменше з 10 посиланнями) вони виявили невелике зростання проривності з часом. Однак вони наголошують, що сам індекс CD може бути недостатньо надійним для остаточних висновків у будь-якому напрямку .

Чому це важливо

Ця дискусія — не суто академічна. Твердження про те, що наука втрачає інноваційність, використовували для обґрунтування змін у фінансуванні досліджень, системах оцінювання та навіть у наративі про те, чи живемо ми в епоху стагнації . Якщо це твердження значною мірою є артефактом даних, то політика, побудована на ньому, може вирішувати проблему, якої не існує.

У ширшому сенсі цей випадок підкреслює крихкість «великих даних» у науці. Стаття 2023 року аналізувала десятки мільйонів записів автоматизованими інструментами, але однієї помилки в бібліотеці візуалізації та звичайної неповноти баз даних вистачило, аби створити сенсаційний висновок, виправлення якого зайняло три роки — і який деякі дослідники досі захищають.

Наразі питання про те, чи справді знижується наукова проривність, залишається відкритим. Очевидно одне: впевненість, з якою сприйняли висновки 2023 року, не була виправдана наявними доказами.

Що стверджувала стаття 2023 року

Оригінальна робота «Наукові статті та патенти з часом стають менш проривними» використовувала індекс CD — метрику, яка вимірює, наскільки робота відривається від попередніх. Було проаналізовано приблизно 45 млн статей (1945–2010) та 3,9 млн патентів (1976–2010). Автори заявили про стійке зниження «проривності» в усіх наукових галузях, пов'язавши це з тим, що дослідники все більше покладаються на вужчий набір знань . Результати широко цитували: Nature опублікував редакційну статтю та новинний матеріал, що спиралися на ці висновки, а сама робота згадана щонайменше у 16 політичних документах .

Виправлення 2026 року: де критися помилки

Команда Гольста простежила джерело уявного занепаду до двох основних проблем :

• Програмний баг у бібліотеці візуалізації. Помилка в програмі для побудови графіків спричинила те, що статті з максимальним індексом проривності не відображалися на опублікованих гістограмах. Ці роботи все ж були включені в основний статистичний аналіз, але візуальне уявлення — і незвичайна концентрація максимальних балів — залишилися прихованими від читачів і рецензентів. Бельгійська команда виявила це, намагаючись відтворити дослідження за відкритими даними .

• Відсутні дані про цитування у старих публікаціях. Бібліометричні бази, використані у дослідженні 2023 року, мали повніші списки літератури для новіших робіт, ніж для старіших. Старі публікації з неповними переліками посилань були хибно класифіковані індексом CD так, ніби вони мали нуль зворотних цитувань. Індекс CD тоді присвоював цим роботам максимально можливий бал проривності. З часом, коли якість баз даних покращувалася, дедалі менше нових статей отримувало цей штучний бонус, створюючи хибне враження спадної тенденції .

Коли бельгійські дослідники відфільтрували статті з неповними даними — стандартний крок контролю якості — 93% зафіксованого зниження між 1945 і 2010 роками зникло в найбільшому наборі даних з дослідження 2023 року .

Майже трирічна затримка публікації

Гольст і його колеги подали свою критику до Nature у жовтні 2023 року, буквально за кілька місяців після виходу оригінальної статті. Її опублікували лише в серпні 2026 року — затримка у 32 місяці .

За цей час оригінальне дослідження набрало понад 1000 додаткових цитувань . Nature опублікував редакційну статтю та новинний матеріал, де занепад подавався як встановлений факт . Політика журналу також забороняла критикам спілкуватися з пресою, поки їхній коментар перебував на рецензії, фактично унеможливлюючи виправлення в той період, коли хибний висновок мав найбільший вплив .

Така затримка, за словами дослідників, вказує на системну проблему наукових видань: стимули заохочують сенсаційні результати, а не їхню перевірку, а виправлення з'являються надто повільно, аби встигнути за поширенням сумнівних висновків .

Що змінює виправлення — а що ні

Бельгійська команда обережна у своїх висновках. Вони стверджують, що «наразі не існує переконливих доказів того, що наукові дослідження стали менш проривними, ніж раніше» на основі метрики CD-індексу, використаної в дослідженні 2023 року . Вони зазначають, що методологія та висновки оригінальної статті не дають надійної основи для наукової політики .

Дослідники також застерігають: навіть невеликі помилки у великих базах даних можуть формувати висновки, які впливають на глобальну дискусію. «Наші висновки — це застережлива історія про те, як покладатися на великомасштабні бібліометричні аналізи без ретельного контролю якості», — пишуть вони .

Дискусія триває

Автори оригінальної статті — Парк, Лігі та Фанк — опублікували рецензовану відповідь у тому ж номері Nature. Вони стверджують, що занепад лишається статистично значущим при альтернативних специфікаціях, зокрема при використанні набору даних і критеріїв виключення Гольста та інших. Вони посилаються на власну регресійну модель, яка, за їхніми словами, демонструє велике та значуще зниження як для статей, так і для патентів .

Натомість бельгійська команда зауважує: при застосуванні суворішого фільтра (статті щонайменше з 10 посиланнями) вони виявили невелике зростання проривності з часом. Однак вони наголошують, що сам індекс CD може бути недостатньо надійним для остаточних висновків у будь-якому напрямку .

Чому це важливо

Ця дискусія — не суто академічна. Твердження про те, що наука втрачає інноваційність, використовували для обґрунтування змін у фінансуванні досліджень, системах оцінювання та навіть у наративі про те, чи живемо ми в епоху стагнації . Якщо це твердження значною мірою є артефактом даних, то політика, побудована на ньому, може вирішувати проблему, якої не існує.

У ширшому сенсі цей випадок підкреслює крихкість «великих даних» у науці. Стаття 2023 року аналізувала десятки мільйонів записів автоматизованими інструментами, але однієї помилки в бібліотеці візуалізації та звичайної неповноти баз даних вистачило, аби створити сенсаційний висновок, виправлення якого зайняло три роки — і який деякі дослідники досі захищають.

Наразі питання про те, чи справді знижується наукова проривність, залишається відкритим. Очевидно одне: впевненість, з якою сприйняли висновки 2023 року, не була виправдана наявними доказами.