1. באג בתוכנת ויזואליזציה: גרסת ספריית התוכנה שבה השתמשו החוקרים המקוריים גרמה להשמטה אוטומטית של מאמרים עם ציון הפריצה הגבוה ביותר מההיסטוגרמות שפורסמו, מבלי להתריע על כך .

2. רשומות הפניה חסרות: במקור הנתונים Web of Science, מאמרים ישנים יותר הופיעו לעיתים ללא רשימת הפניות כלל. שיטת המדידה (CD index) סיווגה מאמרים כאלה בטעות כ"פורצי דרך בצורה מקסימלית" . ככל שאיכות מאגרי המידע השתפרה עם הזמן, התופעה של רשומות חסרות הפכה נדירה יותר, מה שיצר אשליה של ירידה בחדשנות .

המספרים מאחורי השגיאה: לאחר שסיננו את רשומות ההפניה החסרות, הירידה המיוחסת לחדשנות המדעית התפוגגה כמעט לחלוטין. במערך הנתונים הגדול ביותר שנבדק, "השגיאות מהוות 93% מהירידה המדווחת בין 1945 ל-2010" .

עיכוב הפרסום: 32 חודשים של השפעה

החוקרים הבלגים הגישו את ביקורתם ל-Nature באוקטובר 2023, אך כתב העת לקח 32 חודשים לקבל אותה לפרסום . במהלך תקופה זו:

• Nature המשיכה לפרסם מאמרי מערכת וכתבות שהסתמכו על מסקנות המחקר המקורי.
• המחקר המקורי צוטף למעלה מ-1,000 פעמים נוספות.
• הוא שימש לפחות 16 מסמכי מדיניות מדעית .

החוקר הראשי Vincent Ginis ציין: "בעוד שהבאג בתוכנה תוקן על ידי קהילת הקוד הפתוח תוך חודשים, לקח שנים עד שהתיקון המדעי פורסם. ובכל הזמן הזה, מדיניות כתב העת אסרה עלינו לדבר עם התקשורת כל עוד הביקורת שלנו הייתה תחת שיפוט" .

תגובת החוקרים המקוריים

בתגובה שפורסמה באותו יום, החוקרים המקוריים (Park, Leahey ו-Funk) טוענים כי גם לאחר יישום קריטריוני ההחרגה שמציעים החוקרים הבלגים, נותרת ירידה מובהקת סטטיסטית ומעשית בחדשנות . עם זאת, צוות ההפרכה מציין שכאשר מגבילים את הניתוח למאמרים עם לפחות 10 הפניות, הם מוצאים דווקא עלייה קלה בחדשנות, ומסכמים כי שיטת המדידה אינה מאפשרת מסקנות נחרצות על מגמות החדשנות לאורך זמן .

השלכות על מדיניות מדעית

המקרה מדגיש כשלים מבניים בתהליך התיקון העצמי של המדע: באג תוכנה פשוט תוקן במהירות על ידי קהילת הקוד הפתוח, אך התיקון המדעי הפורמלי איחר להגיע בכמעט שלוש שנים. במהלך הזמן הזה, ממצא שגוי המשיך לעצב את השיח הציבורי ומדיניות מדעית . החוקרים קובעים בפשטות: "המתודולוגיה והמסקנות מ-2023 אינן מספקות בסיס מוצק למדיניות מדעית" .

1. באג בתוכנת ויזואליזציה: גרסת ספריית התוכנה שבה השתמשו החוקרים המקוריים גרמה להשמטה אוטומטית של מאמרים עם ציון הפריצה הגבוה ביותר מההיסטוגרמות שפורסמו, מבלי להתריע על כך .

2. רשומות הפניה חסרות: במקור הנתונים Web of Science, מאמרים ישנים יותר הופיעו לעיתים ללא רשימת הפניות כלל. שיטת המדידה (CD index) סיווגה מאמרים כאלה בטעות כ"פורצי דרך בצורה מקסימלית" . ככל שאיכות מאגרי המידע השתפרה עם הזמן, התופעה של רשומות חסרות הפכה נדירה יותר, מה שיצר אשליה של ירידה בחדשנות .

המספרים מאחורי השגיאה: לאחר שסיננו את רשומות ההפניה החסרות, הירידה המיוחסת לחדשנות המדעית התפוגגה כמעט לחלוטין. במערך הנתונים הגדול ביותר שנבדק, "השגיאות מהוות 93% מהירידה המדווחת בין 1945 ל-2010" .

עיכוב הפרסום: 32 חודשים של השפעה

החוקרים הבלגים הגישו את ביקורתם ל-Nature באוקטובר 2023, אך כתב העת לקח 32 חודשים לקבל אותה לפרסום . במהלך תקופה זו:

• Nature המשיכה לפרסם מאמרי מערכת וכתבות שהסתמכו על מסקנות המחקר המקורי.
• המחקר המקורי צוטף למעלה מ-1,000 פעמים נוספות.
• הוא שימש לפחות 16 מסמכי מדיניות מדעית .

החוקר הראשי Vincent Ginis ציין: "בעוד שהבאג בתוכנה תוקן על ידי קהילת הקוד הפתוח תוך חודשים, לקח שנים עד שהתיקון המדעי פורסם. ובכל הזמן הזה, מדיניות כתב העת אסרה עלינו לדבר עם התקשורת כל עוד הביקורת שלנו הייתה תחת שיפוט" .

תגובת החוקרים המקוריים

בתגובה שפורסמה באותו יום, החוקרים המקוריים (Park, Leahey ו-Funk) טוענים כי גם לאחר יישום קריטריוני ההחרגה שמציעים החוקרים הבלגים, נותרת ירידה מובהקת סטטיסטית ומעשית בחדשנות . עם זאת, צוות ההפרכה מציין שכאשר מגבילים את הניתוח למאמרים עם לפחות 10 הפניות, הם מוצאים דווקא עלייה קלה בחדשנות, ומסכמים כי שיטת המדידה אינה מאפשרת מסקנות נחרצות על מגמות החדשנות לאורך זמן .

השלכות על מדיניות מדעית

המקרה מדגיש כשלים מבניים בתהליך התיקון העצמי של המדע: באג תוכנה פשוט תוקן במהירות על ידי קהילת הקוד הפתוח, אך התיקון המדעי הפורמלי איחר להגיע בכמעט שלוש שנים. במהלך הזמן הזה, ממצא שגוי המשיך לעצב את השיח הציבורי ומדיניות מדעית . החוקרים קובעים בפשטות: "המתודולוגיה והמסקנות מ-2023 אינן מספקות בסיס מוצק למדיניות מדעית" .