המיתוס הגדול של החדשנות: כיצד שגיאות נתונים יצרו מראית עין של דעיכה מדעית

התיקון של 2026: היכן היו השגיאות?

הולסט וצוותו איתרו את מקור הירידה לכאורה לשני גורמים עיקריים :

• באג בספריית הוויזואליזציה. באג בתוכנת הגרפים שבה השתמשו המחברים המקוריים גרם לכך שמאמרים עם ציון החדשנות המקסימלי הוסתרו מההיסטוגרמות שפורסמו. מאמרים אלה עדיין נכללו בניתוח הסטטיסטי הראשי, אך הייצוג החזותי – והריכוז החריג של הציונים המקסימליים – נותר בלתי נראה לקוראים ולמבקרים. הצוות הבלגי גילה זאת כשניסה לשחזר את המחקר באמצעות הנתונים הפתוחים .

• נתוני הפניות חסרים בפרסומים ישנים יותר. במאגרים הביבליוגרפיים ששימשו במחקר מ-2023 היו רשימות הפניות מלאות יותר למאמרים חדשים לעומת ישנים. פרסומים ישנים יותר, שחסרו להם רשומות הפניות מלאות, סווגו בצורה שגויה על ידי מדד ה-CD כאילו יש להם אפס ציטוטים לאחור. מדד ה-CD העניק אז למאמרים אלה את ציון החדשנות המקסימלי האפשרי. כשאיכות מסד הנתונים השתפרה עם הזמן, פחות מאמרים חדשים קיבלו את החיזוק המלאכותי הזה, מה שיצר רושם כוזב של מגמת ירידה .

כשהחוקרים הבלגיים סיננו את המאמרים עם נתוני הפניות חסרים – צעד סטנדרטי לבקרת איכות – 93% מהירידה שדווחה בין 1945 ל-2010 נעלמה במערך הנתונים הגדול ביותר של המחקר מ-2023 .

עיכוב של כמעט שלוש שנים בפרסום

הולסט ועמיתיו הגישו את הביקורת שלהם ל-Nature באוקטובר 2023, חודשים ספורים לאחר פרסום המאמר המקורי. היא פורסמה רק באוגוסט 2026 – עיכוב של 32 חודשים .

במהלך תקופה זו, המחקר המקורי צבר למעלה מ-1,000 ציטוטים נוספים . Nature עצמה פרסמה מאמר מערכת וכתבת חדשותית שהתייחסו לירידה כעובדה מוגמרת . מדיניות כתב העת גם מנעה מהמבקרים לדבר עם התקשורת בזמן שהביקורת שלהם הייתה בבדיקה, ובכך השתיקה למעשה את מאמצי התיקון בתקופה שבה הממצא הפגום היה המשפיע ביותר .

העיכוב מדגיש מה שהחוקרים מכנים בעיה מערכתית בפרסום המדעי: תמריצים מעדיפים תוצאות מושכות עין על פני אימות, ותיקונים נעים לאט מכדי לעמוד בקצב ההתפשטות של ממצאים מפוקפקים .

מה התיקון משנה – ומה לא

הצוות הבלגי זהיר לגבי מה שהניתוח המחודש שלהם מוכיח. הם מסיקים כי "אין כרגע ראיה משכנעת לכך שהמחקר המדעי פחות פורץ דרך ממה שהיה בעבר" בהתבסס על מדד ה-CD index ששימש במחקר מ-2023 . הם טוענים כי המתודולוגיה והמסקנות של המאמר המקורי אינן מספקות בסיס איתן למדיניות מדע .

החוקרים גם מזהירים שאפילו שגיאות קטנות במאגרי נתונים גדולים יכולות להניע מסקנות המשפיעות על דיון עולמי. "הממצאים שלנו משמשים כסיפור אזהרה על ההסתמכות על ניתוחים ביבליומטריים בקנה מידה גדול ללא בקרת איכות זהירה," הם כותבים .

הדיון המתמשך

המחברים המקוריים, פארק, ליהי ופאנק, פרסמו תגובה שנבדקה עמיתים באותו גיליון של Nature. הם טוענים כי הירידה נותרת מובהקת סטטיסטית תחת מפרטים חלופיים, כולל בשימוש במערך הנתונים ובקריטריוני ההחרגה של הולסט וחב'. הם מצביעים על מודל הרגרסיה שלהם, שלדבריהם מניב ירידות גדולות ומובהקות הן עבור מאמרים והן עבור פטנטים .

מנגד, הצוות הבלגי מציין שכאשר השתמשו במסנן מחמיר יותר (מאמרים עם לפחות 10 הפניות), הם מצאו למעשה עלייה קלה בחדשנות לאורך זמן. עם זאת, הם מזהירים כי מדד ה-CD index עצמו עשוי לא להיות חזק מספיק כדי לתמוך במסקנות חד-משמעיות בכל כיוון שהוא .

למה זה חשוב

הוויכוח הזה אינו אקדמי גרידא. הטענה שהמדע הופך לפחות פורץ דרך שימשה להצדקת שינויים במימון מחקר, במערכות הערכה, ואפילו בנרטיב לגבי האם אנו חיים בעידן של קיפאון . אם הטענה הזו היא בעיקר תוצאה של חפצי נתונים (artifacts), אז מדיניות שנבנתה עליה עשויה לטפל בבעיה שאינה קיימת.

באופן רחב יותר, המקרה מדגיש את השבריריות של מדע מבוסס-נתונים גדולים. המחקר מ-2023 ניתח עשרות מיליוני רשומות עם כלים אוטומטיים, אבל באג יחיד בספריית ויזואליזציה וחוסר שלמות שגרתי במסד הנתונים הספיקו כדי לייצר מסקנה שתפסה כותרות ושנדרשו שלוש שנים לתקן – ושחוקרים מסוימים עדיין מגנים עליה.

לעת עתה, השאלה האם החדשנות המדעית באמת בירידה נותרת לא פתורה. מה שברור הוא שהביטחון שניתן בממצאי 2023 לא היה מוצדק על ידי הראיות שהוא actually הכיל.