2023 Çalışması Ne İddia Ediyordu?

Orijinal makale ('Papers and patents are becoming less disruptive over time'), bir makalenin veya patentin önceki çalışmalardan ne kadar koptuğunu ölçmek için CD endeksi adı verilen bir metrik kullanıyordu. Yaklaşık 45 milyon makale (1945–2010) ve 3.9 milyon patent (1976–2010) üzerinde yapılan analiz, tüm bilimsel alanlarda yıkıcılık puanlarında istikrarlı bir düşüş olduğunu raporluyordu . Yazarlar bu eğilimi, araştırmacıların daha dar bir mevcut bilgi setine güvenmelerine bağlıyordu . Makale geniş çapta kabul gördü: Nature bir haber yazısı ve editoryal yazı yayımladı ve sonunda en az 16 politika belgesinde atıf aldı .

2026 Düzeltmesi: Hatalar Neredeydi?

Holst ve ekibi, görünürdeki düşüşün izini iki ana kaynağa kadar sürdü :

• Görselleştirme kütüphanesindeki bir yazılım hatası. Orijinal yazarların kullandığı grafik yazılımındaki bir hata, maksimum yıkıcılık puanına sahip makalelerin yayımlanan histogramlardan gizlenmesine neden oldu. Bu makaleler ana istatistiksel analize dahil edilmiş olsa da, görsel temsil—ve maksimum puanların olağandışı yoğunluğu—okuyucular ve hakemler tarafından görülemezdi. Belçikalı ekip bu durumu, açık verileri kullanarak çalışmayı tekrarlamaya çalışırken keşfetti .

• Eski yayınlardaki eksik referans verileri. 2023 çalışmasında kullanılan bibliyometrik veritabanları, yeni makaleler için daha eskilere kıyasla daha eksiksiz referans listelerine sahipti. Eksik referans kayıtlarına sahip eski yayınlar, CD endeksi tarafından sıfır geriye dönük atıf almış gibi yanlış sınıflandırıldı. CD endeksi daha sonra bu makalelere mümkün olan en yüksek yıkıcılık puanını verdi. Veritabanı kalitesi zamanla iyileştikçe, daha az yeni makale bu yapay destekten yararlandı ve bu da aşağı yönlü bir eğilim yanılsaması yarattı .

Belçikalı araştırmacılar, eksik referans verilerine sahip makaleleri filtrelediklerinde—standart bir kalite kontrol adımı—2023 çalışmasının en büyük veri setinde 1945 ile 2010 arasında rapor edilen düşüşün %93'ü ortadan kayboldu .

Neredeyse Üç Yıllık Bir Yayın Gecikmesi

Holst ve meslektaşları, eleştirilerini Nature'a orijinal makaleden sadece aylar sonra, Ekim 2023'te teslim etti. Ancak yayın, Ağustos 2026'ya kadar—yani 32 ay sonra—gerçekleşmedi .

Bu süre zarfında orijinal çalışma 1000'den fazla ek atıf aldı . Nature'ın kendisi, düşüşü yerleşik bir gerçek olarak ele alan bir editoryal yazı ve bir haber yazısı yayımladı . Derginin politikası ayrıca eleştirmenlerin, eleştirileri incelenirken basına konuşmalarını engelleyerek, hatalı bulgunun en etkili olduğu dönemde düzeltme çabalarını fiilen susturdu .

Bu gecikme, araştırmacıların bilimsel yayıncılıkta sistemik bir sorun olarak adlandırdığı şeyi vurguluyor: teşvikler, doğrulama yerine göz alıcı sonuçları tercih ediyor ve düzeltmeler, sorgulanabilir bulguların yayılmasına ayak uyduramayacak kadar yavaş ilerliyor .

Düzeltme Neyi Değiştiriyor—ve Neyi Değiştirmiyor

Belçikalı ekip, yeniden analizlerinin neyi kanıtladığı konusunda temkinli. 2023 çalışmasında kullanılan CD endeksine dayanarak 'bilimsel araştırmanın eskisinden daha az çığır açıcı olduğuna dair şu anda ikna edici bir kanıt olmadığı' sonucuna varıyorlar . Orijinal makalenin metodolojisinin ve sonuçlarının bilim politikası için sağlam bir temel oluşturmadığını savunuyorlar .

Araştırmacılar ayrıca büyük veritabanlarındaki küçük hataların bile küresel tartışmayı etkileyen sonuçlara yol açabileceği konusunda uyarıyor. 'Bulgularımız, dikkatli kalite kontrolü olmadan büyük ölçekli bibliyometrik analizlere güvenme konusunda bir uyarı niteliğindedir,' diye yazıyorlar .

Devam Eden Tartışma

Orijinal makalenin yazarları Park, Leahey ve Funk, Nature'ın aynı sayısında hakemli bir Yanıt yayımladı. Düşüşün, Holst ve arkadaşlarının kendi veri seti ve hariç tutma kriterlerini kullandıklarında bile alternatif spesifikasyonlar altında istatistiksel olarak anlamlı kaldığını savunuyorlar. Hem makaleler hem de patentler için büyük ve anlamlı düşüşler veren kendi regresyon modellerine işaret ediyorlar .

Belçikalı ekip ise, daha katı bir filtre kullanıldığında (en az 10 referansa sahip makaleler) zaman içinde yıkıcılıkta hafif bir artış bulduklarını belirtiyor. Ancak, CD endeksinin kendisinin her iki yönde de kesin sonuçları destekleyecek kadar sağlam olmayabileceği konusunda uyarıyorlar .

Neden Önemli?

Bu tartışma sadece akademik değil. Bilimin daha az yıkıcı hale geldiği iddiası, araştırma fonlamasında, değerlendirme sistemlerinde ve hatta bir durgunluk çağında yaşayıp yaşamadığımıza dair anlatıda değişiklikleri haklı çıkarmak için kullanıldı . Eğer bu iddia büyük ölçüde veri artefaktlarının bir sonucuysa, üzerine inşa edilen politikalar var olmayan bir sorunu ele alıyor olabilir.

Daha geniş anlamda, bu vaka büyük veri biliminin kırılganlığının altını çiziyor. 2023 makalesi, otomatik araçlarla on milyonlarca kaydı analiz etti, ancak bir görselleştirme kütüphanesindeki tek bir hata ve rutin veritabanı eksikliği, manşetlere taşınan bir sonuç üretmeye yetti ve bu sonucun düzeltilmesi üç yıl sürdü—ve hala bazı araştırmacılar tarafından savunuluyor.

Şimdilik, bilimsel yıkıcılığın gerçekten azalıp azalmadığı sorusu çözümsüz kaldı. Ancak net olan şu ki, 2023 bulgusuna duyulan güven, içerdiği kanıtlarla haklı çıkarılamazdı.

2023 Çalışması Ne İddia Ediyordu?

Orijinal makale ('Papers and patents are becoming less disruptive over time'), bir makalenin veya patentin önceki çalışmalardan ne kadar koptuğunu ölçmek için CD endeksi adı verilen bir metrik kullanıyordu. Yaklaşık 45 milyon makale (1945–2010) ve 3.9 milyon patent (1976–2010) üzerinde yapılan analiz, tüm bilimsel alanlarda yıkıcılık puanlarında istikrarlı bir düşüş olduğunu raporluyordu . Yazarlar bu eğilimi, araştırmacıların daha dar bir mevcut bilgi setine güvenmelerine bağlıyordu . Makale geniş çapta kabul gördü: Nature bir haber yazısı ve editoryal yazı yayımladı ve sonunda en az 16 politika belgesinde atıf aldı .

2026 Düzeltmesi: Hatalar Neredeydi?

Holst ve ekibi, görünürdeki düşüşün izini iki ana kaynağa kadar sürdü :

• Görselleştirme kütüphanesindeki bir yazılım hatası. Orijinal yazarların kullandığı grafik yazılımındaki bir hata, maksimum yıkıcılık puanına sahip makalelerin yayımlanan histogramlardan gizlenmesine neden oldu. Bu makaleler ana istatistiksel analize dahil edilmiş olsa da, görsel temsil—ve maksimum puanların olağandışı yoğunluğu—okuyucular ve hakemler tarafından görülemezdi. Belçikalı ekip bu durumu, açık verileri kullanarak çalışmayı tekrarlamaya çalışırken keşfetti .

• Eski yayınlardaki eksik referans verileri. 2023 çalışmasında kullanılan bibliyometrik veritabanları, yeni makaleler için daha eskilere kıyasla daha eksiksiz referans listelerine sahipti. Eksik referans kayıtlarına sahip eski yayınlar, CD endeksi tarafından sıfır geriye dönük atıf almış gibi yanlış sınıflandırıldı. CD endeksi daha sonra bu makalelere mümkün olan en yüksek yıkıcılık puanını verdi. Veritabanı kalitesi zamanla iyileştikçe, daha az yeni makale bu yapay destekten yararlandı ve bu da aşağı yönlü bir eğilim yanılsaması yarattı .

Belçikalı araştırmacılar, eksik referans verilerine sahip makaleleri filtrelediklerinde—standart bir kalite kontrol adımı—2023 çalışmasının en büyük veri setinde 1945 ile 2010 arasında rapor edilen düşüşün %93'ü ortadan kayboldu .

Neredeyse Üç Yıllık Bir Yayın Gecikmesi

Holst ve meslektaşları, eleştirilerini Nature'a orijinal makaleden sadece aylar sonra, Ekim 2023'te teslim etti. Ancak yayın, Ağustos 2026'ya kadar—yani 32 ay sonra—gerçekleşmedi .

Bu süre zarfında orijinal çalışma 1000'den fazla ek atıf aldı . Nature'ın kendisi, düşüşü yerleşik bir gerçek olarak ele alan bir editoryal yazı ve bir haber yazısı yayımladı . Derginin politikası ayrıca eleştirmenlerin, eleştirileri incelenirken basına konuşmalarını engelleyerek, hatalı bulgunun en etkili olduğu dönemde düzeltme çabalarını fiilen susturdu .

Bu gecikme, araştırmacıların bilimsel yayıncılıkta sistemik bir sorun olarak adlandırdığı şeyi vurguluyor: teşvikler, doğrulama yerine göz alıcı sonuçları tercih ediyor ve düzeltmeler, sorgulanabilir bulguların yayılmasına ayak uyduramayacak kadar yavaş ilerliyor .

Düzeltme Neyi Değiştiriyor—ve Neyi Değiştirmiyor

Belçikalı ekip, yeniden analizlerinin neyi kanıtladığı konusunda temkinli. 2023 çalışmasında kullanılan CD endeksine dayanarak 'bilimsel araştırmanın eskisinden daha az çığır açıcı olduğuna dair şu anda ikna edici bir kanıt olmadığı' sonucuna varıyorlar . Orijinal makalenin metodolojisinin ve sonuçlarının bilim politikası için sağlam bir temel oluşturmadığını savunuyorlar .

Araştırmacılar ayrıca büyük veritabanlarındaki küçük hataların bile küresel tartışmayı etkileyen sonuçlara yol açabileceği konusunda uyarıyor. 'Bulgularımız, dikkatli kalite kontrolü olmadan büyük ölçekli bibliyometrik analizlere güvenme konusunda bir uyarı niteliğindedir,' diye yazıyorlar .

Devam Eden Tartışma

Orijinal makalenin yazarları Park, Leahey ve Funk, Nature'ın aynı sayısında hakemli bir Yanıt yayımladı. Düşüşün, Holst ve arkadaşlarının kendi veri seti ve hariç tutma kriterlerini kullandıklarında bile alternatif spesifikasyonlar altında istatistiksel olarak anlamlı kaldığını savunuyorlar. Hem makaleler hem de patentler için büyük ve anlamlı düşüşler veren kendi regresyon modellerine işaret ediyorlar .

Belçikalı ekip ise, daha katı bir filtre kullanıldığında (en az 10 referansa sahip makaleler) zaman içinde yıkıcılıkta hafif bir artış bulduklarını belirtiyor. Ancak, CD endeksinin kendisinin her iki yönde de kesin sonuçları destekleyecek kadar sağlam olmayabileceği konusunda uyarıyorlar .

Neden Önemli?

Bu tartışma sadece akademik değil. Bilimin daha az yıkıcı hale geldiği iddiası, araştırma fonlamasında, değerlendirme sistemlerinde ve hatta bir durgunluk çağında yaşayıp yaşamadığımıza dair anlatıda değişiklikleri haklı çıkarmak için kullanıldı . Eğer bu iddia büyük ölçüde veri artefaktlarının bir sonucuysa, üzerine inşa edilen politikalar var olmayan bir sorunu ele alıyor olabilir.

Daha geniş anlamda, bu vaka büyük veri biliminin kırılganlığının altını çiziyor. 2023 makalesi, otomatik araçlarla on milyonlarca kaydı analiz etti, ancak bir görselleştirme kütüphanesindeki tek bir hata ve rutin veritabanı eksikliği, manşetlere taşınan bir sonuç üretmeye yetti ve bu sonucun düzeltilmesi üç yıl sürdü—ve hala bazı araştırmacılar tarafından savunuluyor.

Şimdilik, bilimsel yıkıcılığın gerçekten azalıp azalmadığı sorusu çözümsüz kaldı. Ancak net olan şu ki, 2023 bulgusuna duyulan güven, içerdiği kanıtlarla haklı çıkarılamazdı.