Những phát hiện chính của nghiên cứu phản bác

• Các lỗi là gì: Một lỗi trong phần mềm trực quan hóa (visualization software) mà nhóm tác giả gốc sử dụng đã khiến các bài báo có điểm số đột phá tối đa bị loại khỏi biểu đồ xuất bản mà không có cảnh báo . Quan trọng hơn, nguyên nhân lớn nhất đến từ việc các bản ghi dữ liệu cũ trong cơ sở dữ liệu Web of Science thường có thông tin tham khảo không đầy đủ: những bài báo không có tài liệu tham khảo nào được liệt kê đã bị phân loại sai thành "có tính đột phá tối đa" theo phương pháp chỉ số CD . Khi chất lượng cơ sở dữ liệu được cải thiện theo thời gian, những điểm số tối đa giả tạo này trở nên hiếm hơn, tạo ra ảo giác về sự suy giảm tính đột phá .
• Mức độ ảnh hưởng của lỗi dữ liệu: Sau khi loại bỏ các lỗi cơ sở dữ liệu này, sự suy giảm gần như biến mất. Trong bộ dữ liệu lớn nhất được kiểm tra, "các lỗi dữ liệu chiếm tới 93% mức suy giảm được báo cáo trong giai đoạn 1945-2010" .

Điều này tiết lộ gì về phương pháp luận của nghiên cứu gốc?

• Kết quả của nghiên cứu gốc không đủ vững chắc trước các kiểm tra chất lượng dữ liệu cơ bản. Phát hiện này bị chi phối hoàn toàn bởi một lỗi dữ liệu — các bản ghi tham khảo không đầy đủ trong những năm cũ — chứ không phải một sự thay đổi thực sự trong khoa học .
• Các biểu đồ được công bố là gây hiểu nhầm do lỗi phần mềm đã che giấu chính những điểm dữ liệu mà sau này được xác nhận là lỗi .
• Các tác giả gốc đã có phản hồi (cũng được Nature đăng cùng ngày), bác bỏ kết luận này và khẳng định rằng khi sử dụng các tiêu chí loại trừ do chính nhóm phản bác đề xuất, sự suy giảm vẫn có ý nghĩa thống kê và thực tiễn . Tuy nhiên, nhóm tác giả của nghiên cứu phản bác chỉ ra rằng khi họ giới hạn phân tích ở những bài báo có ít nhất 10 tài liệu tham khảo, họ lại thấy sự gia tăng nhẹ về tính đột phá và kết luận rằng chỉ số đơn thuần không thể đưa ra những tuyên bố kết luận về xu hướng .

Sự chậm trễ kéo dài 32 tháng trong xuất bản

• Nhóm nghiên cứu người Bỉ đã gửi phản biện của họ tới Nature vào tháng 10 năm 2023, nhưng tạp chí đã mất tới 32 tháng để chấp nhận đăng .
• Trong thời gian chậm trễ đó, Nature vẫn tiếp tục đăng các bài xã luận và tin tức dựa trên kết luận của bài báo gốc, và nghiên cứu gốc đã được trích dẫn thêm hơn 1.000 lần cũng như được sử dụng trong ít nhất 16 văn bản chính sách .
• Nhà nghiên cứu chính Vincent Ginis nhận xét: "Trong khi lỗi phần mềm đã được cộng đồng mã nguồn mở sửa chữa trong vài tháng, thì phải mất nhiều năm bản hiệu đính khoa học mới được công bố. Và suốt thời gian đó, chính sách của tạp chí đã cấm chúng tôi phát biểu với báo chí khi phản biện của chúng tôi đang trong quá trình xét duyệt" .

Hàm ý đối với chính sách khoa học

• Bài báo gốc đã tạo ra hơn 300 tin tức trên toàn thế giới và được trích dẫn trong ít nhất 16 văn bản chính sách, ảnh hưởng đến các câu chuyện về "sự chậm lại của đổi mới sáng tạo" .
• Các tác giả phản bác tuyên bố thẳng thắn rằng "phương pháp luận và kết luận từ năm 2023 không cung cấp một cơ sở vững chắc cho chính sách khoa học" .
• Vụ việc này làm nổi bật những điểm yếu về cấu trúc trong quá trình tự sửa lỗi của khoa học: một lỗi phần mềm đã được các cộng tác viên mã nguồn mở sửa nhanh chóng, nhưng việc hiệu đính chính thức lại mất gần ba năm; trong thời gian đó, một phát hiện sai lầm vẫn tiếp tục định hình dư luận và chính sách .
• Nó cũng nhấn mạnh nguy cơ của việc đưa ra những kết luận bao quát về tiến bộ khoa học từ các chỉ số thư mục (bibliometric indicators) mà không có sự kiểm chứng nghiêm ngặt đối với các lỗi chất lượng cơ sở dữ liệu.

Những phát hiện chính của nghiên cứu phản bác

• Các lỗi là gì: Một lỗi trong phần mềm trực quan hóa (visualization software) mà nhóm tác giả gốc sử dụng đã khiến các bài báo có điểm số đột phá tối đa bị loại khỏi biểu đồ xuất bản mà không có cảnh báo . Quan trọng hơn, nguyên nhân lớn nhất đến từ việc các bản ghi dữ liệu cũ trong cơ sở dữ liệu Web of Science thường có thông tin tham khảo không đầy đủ: những bài báo không có tài liệu tham khảo nào được liệt kê đã bị phân loại sai thành "có tính đột phá tối đa" theo phương pháp chỉ số CD . Khi chất lượng cơ sở dữ liệu được cải thiện theo thời gian, những điểm số tối đa giả tạo này trở nên hiếm hơn, tạo ra ảo giác về sự suy giảm tính đột phá .
• Mức độ ảnh hưởng của lỗi dữ liệu: Sau khi loại bỏ các lỗi cơ sở dữ liệu này, sự suy giảm gần như biến mất. Trong bộ dữ liệu lớn nhất được kiểm tra, "các lỗi dữ liệu chiếm tới 93% mức suy giảm được báo cáo trong giai đoạn 1945-2010" .

Điều này tiết lộ gì về phương pháp luận của nghiên cứu gốc?

• Kết quả của nghiên cứu gốc không đủ vững chắc trước các kiểm tra chất lượng dữ liệu cơ bản. Phát hiện này bị chi phối hoàn toàn bởi một lỗi dữ liệu — các bản ghi tham khảo không đầy đủ trong những năm cũ — chứ không phải một sự thay đổi thực sự trong khoa học .
• Các biểu đồ được công bố là gây hiểu nhầm do lỗi phần mềm đã che giấu chính những điểm dữ liệu mà sau này được xác nhận là lỗi .
• Các tác giả gốc đã có phản hồi (cũng được Nature đăng cùng ngày), bác bỏ kết luận này và khẳng định rằng khi sử dụng các tiêu chí loại trừ do chính nhóm phản bác đề xuất, sự suy giảm vẫn có ý nghĩa thống kê và thực tiễn . Tuy nhiên, nhóm tác giả của nghiên cứu phản bác chỉ ra rằng khi họ giới hạn phân tích ở những bài báo có ít nhất 10 tài liệu tham khảo, họ lại thấy sự gia tăng nhẹ về tính đột phá và kết luận rằng chỉ số đơn thuần không thể đưa ra những tuyên bố kết luận về xu hướng .

Sự chậm trễ kéo dài 32 tháng trong xuất bản

• Nhóm nghiên cứu người Bỉ đã gửi phản biện của họ tới Nature vào tháng 10 năm 2023, nhưng tạp chí đã mất tới 32 tháng để chấp nhận đăng .
• Trong thời gian chậm trễ đó, Nature vẫn tiếp tục đăng các bài xã luận và tin tức dựa trên kết luận của bài báo gốc, và nghiên cứu gốc đã được trích dẫn thêm hơn 1.000 lần cũng như được sử dụng trong ít nhất 16 văn bản chính sách .
• Nhà nghiên cứu chính Vincent Ginis nhận xét: "Trong khi lỗi phần mềm đã được cộng đồng mã nguồn mở sửa chữa trong vài tháng, thì phải mất nhiều năm bản hiệu đính khoa học mới được công bố. Và suốt thời gian đó, chính sách của tạp chí đã cấm chúng tôi phát biểu với báo chí khi phản biện của chúng tôi đang trong quá trình xét duyệt" .

Hàm ý đối với chính sách khoa học

• Bài báo gốc đã tạo ra hơn 300 tin tức trên toàn thế giới và được trích dẫn trong ít nhất 16 văn bản chính sách, ảnh hưởng đến các câu chuyện về "sự chậm lại của đổi mới sáng tạo" .
• Các tác giả phản bác tuyên bố thẳng thắn rằng "phương pháp luận và kết luận từ năm 2023 không cung cấp một cơ sở vững chắc cho chính sách khoa học" .
• Vụ việc này làm nổi bật những điểm yếu về cấu trúc trong quá trình tự sửa lỗi của khoa học: một lỗi phần mềm đã được các cộng tác viên mã nguồn mở sửa nhanh chóng, nhưng việc hiệu đính chính thức lại mất gần ba năm; trong thời gian đó, một phát hiện sai lầm vẫn tiếp tục định hình dư luận và chính sách .
• Nó cũng nhấn mạnh nguy cơ của việc đưa ra những kết luận bao quát về tiến bộ khoa học từ các chỉ số thư mục (bibliometric indicators) mà không có sự kiểm chứng nghiêm ngặt đối với các lỗi chất lượng cơ sở dữ liệu.