Lỗi phần mềm trong thư viện trực quan hóa. Một lỗi trong phần mềm vẽ biểu đồ mà các tác giả gốc sử dụng đã khiến các bài báo có điểm số đột phá tối đa bị ẩn khỏi các biểu đồ đã được công bố. Những bài báo này vẫn được đưa vào phân tích thống kê chính, nhưng sự thể hiện trực quan—và sự tập trung bất thường của các điểm số tối đa—đã trở nên vô hình trước mắt người đọc và người phản biện. Nhóm nghiên cứu Bỉ đã phát hiện ra điều này khi họ cố gắng tái tạo lại nghiên cứu bằng dữ liệu mở .
Dữ liệu tham khảo bị thiếu trong các ấn phẩm cũ. Các cơ sở dữ liệu thư mục được sử dụng trong nghiên cứu năm 2023 có danh sách tham khảo đầy đủ hơn cho các bài báo mới hơn so với các bài báo cũ. Các ấn phẩm cũ hơn, thiếu hồ sơ tham khảo đầy đủ, đã bị chỉ số CD phân loại sai như thể chúng không có trích dẫn ngược nào. Sau đó, chỉ số CD đã gán cho các bài báo này điểm số đột phá tối đa. Khi chất lượng cơ sở dữ liệu được cải thiện theo thời gian, ngày càng ít bài báo gần đây nhận được sự 'thổi phồng' nhân tạo này, tạo ra một ấn tượng sai lầm về một xu hướng đi xuống .
Khi các nhà nghiên cứu Bỉ lọc ra các bài báo có dữ liệu tham khảo bị thiếu—một bước kiểm soát chất lượng tiêu chuẩn—93% sự suy giảm được báo cáo trong giai đoạn 1945–2010 đã biến mất trong tập dữ liệu lớn nhất từ nghiên cứu năm 2023 .
Holst và các đồng nghiệp đã gửi bài phản biện của họ tới Nature vào tháng 10 năm 2023, chỉ vài tháng sau khi bài báo gốc được xuất bản. Mãi đến tháng 8 năm 2026, nó mới được công bố—sự chậm trễ kéo dài 32 tháng .
Trong thời gian đó, nghiên cứu gốc đã tích lũy thêm hơn 1.000 trích dẫn . Chính Nature đã xuất bản một bài xã luận và một bài báo tin tức coi sự suy giảm là một sự thật đã được xác lập
. Chính sách của tạp chí cũng ngăn cản các nhà phê bình phát biểu với báo chí trong khi bài phản biện của họ đang được xem xét, khiến các nỗ lực điều chỉnh bị im lặng trong suốt thời kỳ mà phát hiện sai lầm này có ảnh hưởng nhất
.
Sự chậm trễ này làm nổi bật một vấn đề mang tính hệ thống trong xuất bản khoa học mà các nhà nghiên cứu gọi là: các ưu đãi thiên về những kết quả bắt mắt hơn là xác minh, và các bản điều chỉnh diễn ra quá chậm để theo kịp sự lan truyền của những phát hiện đáng ngờ .
Nhóm nghiên cứu Bỉ rất thận trọng về những gì phân tích lại của họ chứng minh. Họ kết luận rằng "hiện tại không có bằng chứng thuyết phục nào cho thấy nghiên cứu khoa học ít đột phá hơn so với trước đây" dựa trên thước đo chỉ số CD được sử dụng trong nghiên cứu năm 2023 . Họ lập luận rằng phương pháp luận và kết luận của bài báo gốc không cung cấp một cơ sở vững chắc cho chính sách khoa học
.
Các nhà nghiên cứu cũng cảnh báo rằng ngay cả những lỗi nhỏ trong các cơ sở dữ liệu lớn cũng có thể thúc đẩy các kết luận ảnh hưởng đến cuộc tranh luận toàn cầu. "Phát hiện của chúng tôi là một câu chuyện cảnh báo về sự phụ thuộc vào các phân tích thư mục quy mô lớn mà không có sự kiểm soát chất lượng cẩn thận," họ viết .
Các tác giả gốc, Park, Leahey và Funk, đã công bố một Phản hồi (Reply) được bình duyệt trong cùng một số của Nature. Họ lập luận rằng sự suy giảm vẫn có ý nghĩa thống kê dưới các thông số kỹ thuật thay thế, bao gồm cả khi sử dụng bộ dữ liệu và tiêu chí loại trừ của chính Holst et al. Họ chỉ ra mô hình hồi quy của riêng mình, mà họ cho là mang lại sự suy giảm lớn và đáng kể cho cả bài báo và bằng sáng chế .
Về phần mình, nhóm nghiên cứu Bỉ lưu ý rằng khi sử dụng một bộ lọc chặt chẽ hơn (các bài báo có ít nhất 10 tham khảo), họ thực sự tìm thấy sự gia tăng nhẹ về mức độ đột phá theo thời gian. Tuy nhiên, họ cũng thận trọng rằng bản thân chỉ số CD có thể không đủ mạnh để hỗ trợ các kết luận dứt khoát theo một chiều hướng nào .
Cuộc tranh luận này không chỉ đơn thuần là học thuật. Tuyên bố rằng khoa học đang trở nên kém đột phá hơn đã được sử dụng để biện minh cho những thay đổi trong tài trợ nghiên cứu, hệ thống đánh giá, và thậm chí cả câu chuyện về việc liệu chúng ta có đang sống trong một kỷ nguyên trì trệ hay không . Nếu tuyên bố đó phần lớn là kết quả của các giả tạo dữ liệu, thì các chính sách được xây dựng dựa trên nó có thể đang giải quyết một vấn đề không tồn tại.
Rộng hơn, trường hợp này nhấn mạnh tính dễ vỡ của khoa học dữ liệu lớn. Bài báo năm 2023 đã phân tích hàng chục triệu hồ sơ bằng các công cụ tự động, nhưng một lỗi duy nhất trong một thư viện trực quan hóa và sự thiếu hoàn chỉnh thường xuyên của cơ sở dữ liệu đã đủ để tạo ra một kết luận giật gân mất ba năm mới được sửa chữa—và một số nhà nghiên cứu vẫn còn bảo vệ nó.
Hiện tại, câu hỏi về việc liệu sự đột phá khoa học có thực sự suy giảm hay không vẫn chưa có lời giải đáp. Điều rõ ràng là sự tự tin đặt vào phát hiện năm 2023 là không chính đáng dựa trên bằng chứng mà nó thực sự chứa đựng.