יחידת ההערכה אינה מודל בסיס בלבד. היא כוללת את המערכת השלמה: המודל, שכבת התזמור או ה-harness, הכלים, מנגנון הזיכרון ומדיניות הבקרה שמנהלים את החקירה.

מדוע זה שונה ממבחנים עם מפתח תשובות

במבחנים מסורתיים השאלה, הקלטים הזמינים והתשובה הצפויה מוגדרים מראש. TRACES מתחיל דווקא בשאיפה מהעולם האמיתי, שאותה צריך לתרגם לחקירה מעשית. לאחר מכן המערכת פועלת בתוך סביבה, בוחרת פעולות, מפעילה כלים מדעיים או חישוביים ומקבלת משוב דמוי ניסוי או משוב ממאמת.

כך נוצר מעגל הערכה ארוך יותר:

1. ניסוח או חידוד של השערה.
2. בחירת פעולה או הפעלת כלי.
3. בחינת הראיות או המשוב שהתקבלו.
4. זיהוי שגיאות, חולשות או הנחות בעייתיות.
5. תיקון הגישה ובחינת חלופות.
6. ניסוח מסקנה שתואמת את עוצמת הראיות ואת מגבלותיהן.

לכן הבנצ'מרק מתעד את מסלול החקירה ולא רק את השאלה אם הפלט הסופי דומה לתשובת ייחוס. הדבר חשוב במיוחד כשמדובר בשאלה מדעית פתוחה, שאין לה עדיין תשובת אמת מוסכמת שיכולה לשמש כמדד רגיל.

ששת הממדים של TRACES

ראשי התיבות TRACES מתארים שישה ממדים לבדיקת תהליך החקירה, המכונים לעיתים HDS6:

• Tools — כלים: האם המערכת בוחרת כלים חיצוניים או מדעיים מתאימים, משתמשת בהם נכון ומפרשת את התוצאות שלהם כראוי?
• Repair — תיקון: האם היא מסוגלת לאתר כשלונות ולשנות את עבודתה לאחר קבלת משוב?
• Alternatives — חלופות: האם היא שוקלת השערות מתחרות, ומשאירה, דוחה או מעדכנת אותן מסיבות המבוססות על ראיות?
• Coherence — קוהרנטיות: האם היא שומרת לאורך החקירה על קו חשיבה עקבי, מחובר ומובן?
• Evidence — ראיות: האם הטענות שלה נשענות על תצפיות, פלטים של כלים ותוצאות ניסויים?
• Scope — היקף: האם היא מגבילה את המסקנות למה שהראיות הזמינות באמת מאפשרות לקבוע?

ביחד, המדדים האלה אמורים להבדיל בין חקירה אמינה לבין ניחוש בטוח בעצמו אך חסר ביסוס. הם גם מאפשרים להעריך את איכות התהליך כאשר עדיין אין תשובה סופית שאפשר לבדוק מולה את המערכת.

המקור וההיקף הראשוני

מסגרת Apodex Discovery מגדירה כמה תנאים להערכת גילוי פתוח: בעיה מנוסחת היטב, סביבה שמייצגת את המציאות, מנגנוני אימות ומעגלים שמאפשרים למערכת לתקן את עבודתה. TRACES הוא המימוש הבנצ'מרקי של הגישה הזו.

לפי Apodex, תהליך איתור הבעיות כלל סקר של 561 תעשיות ב-16 מגזרים, שבמסגרתו נאספו 423 בעיות בעלות ערך מעשי. במהדורה הראשונית נבחרו 20 בעיות להערכה בסביבות ניתנות להרצה.

החומרים הזמינים מצביעים על דוגמאות מתחומים כגון:

• תכנון קפסידים של AAV — נגיפים המשמשים, בין היתר, כפלטפורמה להעברת חומר גנטי;
• ניתוח ניסויים קליניים;
• שימוש מחדש בתרופות וניסוח מחדש שלהן;
• אימון מערכות ומודלים גדולים של שפה (LLM).

הדוגמאות ממחישות את רוחב היריעה של הבנצ'מרק, אך החומרים שסופקו אינם מציגים רשימה ציבורית מלאה של כל המשימות או של כלל התחומים במהדורה.

מדוע הערכת התהליך חשובה ל-AI אוטונומי

מערכות AI משמשות יותר ויותר — או מוצעות לשימוש — ביצירת השערות, בבחירת כיווני מחקר, בניתוח תוצאות ניסויים ובסיוע בתכנון תהליכי עבודה איטרטיביים. בסביבות כאלה, ניסוח שוטף אינו מספיק. המערכת צריכה לדעת מה לבדוק, להבין מה קרה, להתאושש מטעויות ולהימנע מטענות שחורגות מהראיות.

TRACES מנסה לסגור את הפער הזה בכך שהוא מתייחס לחקירה מדעית כאל תהליך אינטראקטיבי. מערכת שמגיעה לתוצאה מועילה באמצעות ראיות שניתן לעקוב אחריהן ותיקונים מתאימים שונה מהותית ממערכת שמפיקה מסקנה דומה בלי מסלול עבודה אמין.

עם זאת, הגישה אינה מבטלת את הצורך בפיקוח אנושי. חוקרים ומומחים עדיין צריכים להגדיר מטרות ומגבלות, לבחון סיכונים אתיים ומעשיים, לאמת הנחות וראיות ולהחליט אם המסקנה מצדיקה פעולה בעולם האמיתי. הדגש של TRACES על מסלולי חקירה ניתנים לבדיקה ועל טענות מוגבלות חשוב בדיוק משום שהוא נותן למעריכים יותר ממשפט סופי ומבודד שאי אפשר לבקר.

איך אפשר להשתתף

בהודעה הציבורית של Apodex מתואר קול קורא פתוח להגשת מערכות Solver ולהצעת בעיות מדעיות.

הגשת Solver אמורה לייצג את המערכת המלאה שמשמשת לחקירת משימה — לא רק את המודל שמתחתיה. היא כוללת את שכבת התזמור, הכלים, הזיכרון ומדיניות הבקרה שמכוונים את החקירה.

הצעה לבעיה צריכה להיות ניתנת לניסוח כסביבה ניתנת להרצה ולאימות. בפועל, פירוש הדבר הוא להגדיר מה המערכת יכולה לראות ולעשות, איזה משוב היא מקבלת וכיצד ניתן לבדוק טענות ביניים או מסקנות סופיות מול קריטריוני הצלחה מפורשים.

השורה התחתונה

TRACES משנה את שאלת הבנצ'מרק מ"האם ה-AI נתן את התשובה הצפויה?" ל"האם ה-AI ניהל חקירה מסודרת, מבוססת ראיות וניתנת לבדיקה?" בכך הוא מתאים יותר לעולם הגילוי המדעי ממבחנים סטטיים עם מפתח תשובות.

אבל גם הערכת תהליך טובה יותר אינה מוכיחה לבדה שגילוי שנוצר בידי AI בטוח, שימושי או מוכן ליישום. ציונים על שימוש בכלים, תיקון טעויות והיצמדות לראיות יכולים לשפר את ההערכה — אך שיקול דעת מדעי אנושי עדיין חיוני.

יחידת ההערכה אינה מודל בסיס בלבד. היא כוללת את המערכת השלמה: המודל, שכבת התזמור או ה-harness, הכלים, מנגנון הזיכרון ומדיניות הבקרה שמנהלים את החקירה.

מדוע זה שונה ממבחנים עם מפתח תשובות

במבחנים מסורתיים השאלה, הקלטים הזמינים והתשובה הצפויה מוגדרים מראש. TRACES מתחיל דווקא בשאיפה מהעולם האמיתי, שאותה צריך לתרגם לחקירה מעשית. לאחר מכן המערכת פועלת בתוך סביבה, בוחרת פעולות, מפעילה כלים מדעיים או חישוביים ומקבלת משוב דמוי ניסוי או משוב ממאמת.

כך נוצר מעגל הערכה ארוך יותר:

1. ניסוח או חידוד של השערה.
2. בחירת פעולה או הפעלת כלי.
3. בחינת הראיות או המשוב שהתקבלו.
4. זיהוי שגיאות, חולשות או הנחות בעייתיות.
5. תיקון הגישה ובחינת חלופות.
6. ניסוח מסקנה שתואמת את עוצמת הראיות ואת מגבלותיהן.

לכן הבנצ'מרק מתעד את מסלול החקירה ולא רק את השאלה אם הפלט הסופי דומה לתשובת ייחוס. הדבר חשוב במיוחד כשמדובר בשאלה מדעית פתוחה, שאין לה עדיין תשובת אמת מוסכמת שיכולה לשמש כמדד רגיל.

ששת הממדים של TRACES

ראשי התיבות TRACES מתארים שישה ממדים לבדיקת תהליך החקירה, המכונים לעיתים HDS6:

• Tools — כלים: האם המערכת בוחרת כלים חיצוניים או מדעיים מתאימים, משתמשת בהם נכון ומפרשת את התוצאות שלהם כראוי?
• Repair — תיקון: האם היא מסוגלת לאתר כשלונות ולשנות את עבודתה לאחר קבלת משוב?
• Alternatives — חלופות: האם היא שוקלת השערות מתחרות, ומשאירה, דוחה או מעדכנת אותן מסיבות המבוססות על ראיות?
• Coherence — קוהרנטיות: האם היא שומרת לאורך החקירה על קו חשיבה עקבי, מחובר ומובן?
• Evidence — ראיות: האם הטענות שלה נשענות על תצפיות, פלטים של כלים ותוצאות ניסויים?
• Scope — היקף: האם היא מגבילה את המסקנות למה שהראיות הזמינות באמת מאפשרות לקבוע?

ביחד, המדדים האלה אמורים להבדיל בין חקירה אמינה לבין ניחוש בטוח בעצמו אך חסר ביסוס. הם גם מאפשרים להעריך את איכות התהליך כאשר עדיין אין תשובה סופית שאפשר לבדוק מולה את המערכת.

המקור וההיקף הראשוני

מסגרת Apodex Discovery מגדירה כמה תנאים להערכת גילוי פתוח: בעיה מנוסחת היטב, סביבה שמייצגת את המציאות, מנגנוני אימות ומעגלים שמאפשרים למערכת לתקן את עבודתה. TRACES הוא המימוש הבנצ'מרקי של הגישה הזו.

לפי Apodex, תהליך איתור הבעיות כלל סקר של 561 תעשיות ב-16 מגזרים, שבמסגרתו נאספו 423 בעיות בעלות ערך מעשי. במהדורה הראשונית נבחרו 20 בעיות להערכה בסביבות ניתנות להרצה.

החומרים הזמינים מצביעים על דוגמאות מתחומים כגון:

• תכנון קפסידים של AAV — נגיפים המשמשים, בין היתר, כפלטפורמה להעברת חומר גנטי;
• ניתוח ניסויים קליניים;
• שימוש מחדש בתרופות וניסוח מחדש שלהן;
• אימון מערכות ומודלים גדולים של שפה (LLM).

הדוגמאות ממחישות את רוחב היריעה של הבנצ'מרק, אך החומרים שסופקו אינם מציגים רשימה ציבורית מלאה של כל המשימות או של כלל התחומים במהדורה.

מדוע הערכת התהליך חשובה ל-AI אוטונומי

מערכות AI משמשות יותר ויותר — או מוצעות לשימוש — ביצירת השערות, בבחירת כיווני מחקר, בניתוח תוצאות ניסויים ובסיוע בתכנון תהליכי עבודה איטרטיביים. בסביבות כאלה, ניסוח שוטף אינו מספיק. המערכת צריכה לדעת מה לבדוק, להבין מה קרה, להתאושש מטעויות ולהימנע מטענות שחורגות מהראיות.

TRACES מנסה לסגור את הפער הזה בכך שהוא מתייחס לחקירה מדעית כאל תהליך אינטראקטיבי. מערכת שמגיעה לתוצאה מועילה באמצעות ראיות שניתן לעקוב אחריהן ותיקונים מתאימים שונה מהותית ממערכת שמפיקה מסקנה דומה בלי מסלול עבודה אמין.

עם זאת, הגישה אינה מבטלת את הצורך בפיקוח אנושי. חוקרים ומומחים עדיין צריכים להגדיר מטרות ומגבלות, לבחון סיכונים אתיים ומעשיים, לאמת הנחות וראיות ולהחליט אם המסקנה מצדיקה פעולה בעולם האמיתי. הדגש של TRACES על מסלולי חקירה ניתנים לבדיקה ועל טענות מוגבלות חשוב בדיוק משום שהוא נותן למעריכים יותר ממשפט סופי ומבודד שאי אפשר לבקר.

איך אפשר להשתתף

בהודעה הציבורית של Apodex מתואר קול קורא פתוח להגשת מערכות Solver ולהצעת בעיות מדעיות.

הגשת Solver אמורה לייצג את המערכת המלאה שמשמשת לחקירת משימה — לא רק את המודל שמתחתיה. היא כוללת את שכבת התזמור, הכלים, הזיכרון ומדיניות הבקרה שמכוונים את החקירה.

הצעה לבעיה צריכה להיות ניתנת לניסוח כסביבה ניתנת להרצה ולאימות. בפועל, פירוש הדבר הוא להגדיר מה המערכת יכולה לראות ולעשות, איזה משוב היא מקבלת וכיצד ניתן לבדוק טענות ביניים או מסקנות סופיות מול קריטריוני הצלחה מפורשים.

השורה התחתונה

TRACES משנה את שאלת הבנצ'מרק מ"האם ה-AI נתן את התשובה הצפויה?" ל"האם ה-AI ניהל חקירה מסודרת, מבוססת ראיות וניתנת לבדיקה?" בכך הוא מתאים יותר לעולם הגילוי המדעי ממבחנים סטטיים עם מפתח תשובות.

אבל גם הערכת תהליך טובה יותר אינה מוכיחה לבדה שגילוי שנוצר בידי AI בטוח, שימושי או מוכן ליישום. ציונים על שימוש בכלים, תיקון טעויות והיצמדות לראיות יכולים לשפר את ההערכה — אך שיקול דעת מדעי אנושי עדיין חיוני.