เปิดโปงงานวิจัยชื่อดังปี 2023: ข้อสรุปที่ว่า 'นวัตกรรมวิทยาศาสตร์กำลังถดถอย' อาจเป็นแค่ภาพลวงตาจากข้อมูลผิดพลาด

1. บั๊กในซอฟต์แวร์ (Software Bug): ซอฟต์แวร์ที่ใช้สร้างกราฟแสดงผลมีข้อผิดพลาด ทำให้เอกสารที่มีคะแนน 'disruptive' สูงสุด หายไปจากฮิสโตแกรม (histogram) ที่ตีพิมพ์ โดยที่ผู้เขียนไม่รู้ตัว
2. ข้อมูลอ้างอิงที่ไม่สมบูรณ์ (Incomplete Reference Metadata): นี่คือปัญหาที่ใหญ่กว่า ฐานข้อมูล Web of Science ในช่วงแรก ๆ มักบันทึกรายการอ้างอิงของเอกสารเก่าไว้ไม่ครบถ้วน เอกสารที่ไม่มีรายการอ้างอิงเลย (zero references) จะถูกตรวจจับโดยอัลกอริทึมว่าเป็น 'เอกสารที่พลิกโลกมากที่สุด' ซึ่งเป็นการตีความที่ผิดมหันต์

เมื่อเวลาผ่านไป ฐานข้อมูลมีคุณภาพดีขึ้น เอกสารที่ไม่มีรายการอ้างอิงจึงลดน้อยลง ทำให้เกิด 'ภาพลวงตา' ว่านวัตกรรมที่พลิกโลกกำลังลดลง

ผลกระทบรุนแรงแค่ไหน?

ทีมวิจัยเบลเยียมพบว่า เมื่อกรองเอกสารที่ไม่มีรายการอ้างอิงออกไป การลดลงของ 'disruptiveness' นั้นแทบจะหายไปทั้งสิ้น ในชุดข้อมูลที่ใหญ่ที่สุดที่พวกเขาตรวจสอบ 'ข้อผิดพลาดของข้อมูลคิดเป็น 93% ของการลดลงที่รายงานระหว่างปี 1945 ถึง 2010'

ทำไมกว่าจะมีการโต้แย้งต้องใช้เวลา 3 ปี?

ทีมวิจัยจาก VUB และ KU Leuven ส่งบทความวิจารณ์ไปยัง Nature ตั้งแต่เดือนตุลาคม 2023 แต่ วารสารใช้เวลาถึง 32 เดือน กว่าจะยอมรับตีพิมพ์

ปัญหาคือ ระหว่างที่รอการตีพิมพ์:

• Nature ยังคงตีพิมพ์บทบรรณาธิการและบทความข่าวที่อ้างอิงงานวิจัยปี 2023 ต่อไป
• งานวิจัยปี 2023 ถูกอ้างอิงเพิ่มอีกกว่า 1,000 ครั้ง และถูกนำไปใช้ในเอกสารกำหนดนโยบายอย่างน้อย 16 ฉบับ

ศาสตราจารย์ Vincent Ginis หัวหน้าทีมวิจัย กล่าวว่า 'ในขณะที่บั๊กซอฟต์แวร์ถูกแก้ไขภายในไม่กี่เดือนโดยชุมชนโอเพนซอร์ส แต่การแก้ไขทางวิทยาศาสตร์ต้องใช้เวลาหลายปี และตลอดเวลานั้น นโยบายของวารสารห้ามเราพูดคุยกับสื่อมวลชน'

ข้อสรุปและนัยสำคัญ

ทีมผู้โต้แย้งระบุอย่างตรงไปตรงมาว่า 'ระเบียบวิธีและข้อสรุปจากปี 2023 ไม่ใช่พื้นฐานที่เชื่อถือได้สำหรับนโยบายวิทยาศาสตร์'

กรณีนี้ชี้ให้เห็นจุดอ่อนเชิงโครงสร้างในกระบวนการตรวจสอบทางวิทยาศาสตร์:

• การแก้ไขบั๊กซอฟต์แวร์ใช้เวลาเพียงเดือนเดียว แต่การแก้ไขข้อผิดพลาดทางวิชาการในระบบตีพิมพ์ต้องรอถึง 3 ปี
• ในระหว่างนั้น ผลการศึกษาที่ผิดพลาดยังคงมีอิทธิพลต่อวาทกรรมสาธารณะและนโยบาย
• เป็นอุทาหรณ์ว่าเราไม่ควรด่วนสรุปภาพรวมของความก้าวหน้าทางวิทยาศาสตร์จากตัวชี้วัดทางบรรณมิติ (bibliometric indicators) เพียงอย่างเดียว โดยไม่ตรวจสอบคุณภาพของฐานข้อมูลอย่างถี่ถ้วน