למה דירוגי הבנצ'מרק של GPT‑6 Astra סותרים זה את זה

כותרות על בנצ'מרקים יכולות לגרום ל‑GPT‑6 Astra להיראות בעת ובעונה אחת כמוביל, כשווה למתחרים וכמי שנמצא מאחור. הסתירה לכאורה נובעת בעיקר מהשיטה: מדד משוקלל, מבחן לסוכנים אינטראקטיביים, מבחן מתמטי פורמלי ותמחור API אינם מודדים את אותו הדבר — ולעיתים גם לא מפעילים את המודל באותם תנאים.

המסקנה המעשית אינה שאחד המספרים בהכרח שגוי. אין דירוג אוניברסלי למודלי AI בלי לציין מהי המשימה ואיך בדיוק בוצעה ההערכה.

ציון בלוח מובילים הוא תכנון מדידה, לא מד־אינטליגנציה יחיד

מדדים משוקללים מאחדים כמה משימות לציון אחד. התוצאה תלויה בשאלות שנכללו, במשקל שניתן לכל שאלה, בתצורת המודל שנבדקה, ובראיית תהליך החשיבה, השימוש בכלים והעלות. מודל שמצטיין בכיסוי רחב של יכולות יכול להוביל במדד אחד, אך לפגר במדד שמוטה יותר לקוד או לסוכנים אוטונומיים.

לכן ציוני נקודה תלויים גם בזמן ובתצורה. ההשוואה שסופקה מ‑Artificial Analysis, למשל, מציגה את GPT‑6 Astra בתצורת max עם 55 נקודות ואת Claude Fable 5.1 עם 57 — ולא את 61 ו‑66 שהופיעו בחלק מכתבות ההשוואה המוקדמות יותר. 3 הפער הזה הוא סיבה לתעד את תצורת הבדיקה ואת מועד המדידה, במקום להתייחס לצילום מסך יחיד כאל דירוג קבוע.

הטענה על מקום ראשון במדד Capabilities Index של Epoch AI עם 169 נקודות אינה נתמכת בחומר המקור הראשוני הזמין מ‑Epoch. בלי לוח המובילים, משקלי המדדים, הגדרות המודל ונתוני אי־ודאות, אין להשתמש בה כהכרעה בין המודלים.

ARC‑AGI‑3: מעטפת ההרצה שינתה את התוצאה

ARC‑AGI‑3 הוא בנצ'מרק אינטראקטיבי, לא אוסף שאלות סטטי. הסוכן צריך לחקור סביבות לא מוכרות, לרכוש מטרות תוך כדי, לבנות מודל עולם גמיש ולשנות אסטרטגיה על סמך ניסיון. 50

ARC Prize דיווח על שתי תוצאות בולטות של GPT‑6 Astra בהערכת Semi‑Private:

תנאי ההערכה	התוצאה הטובה ביותר שדווחה	עלות מדווחת להרצה
מעטפת Standard, רמת חשיבה max	62.7%	26,098 דולר
OpenAI Provider Adapter, רמת חשיבה high	99.9%	18,817 דולר (כ‑19 אלף דולר)

5152

זה אינו הבדל טכני זניח. ב‑Standard harness הסוכן מקבל ממשק מינימלי וניטרלי לספק, ויכול לשמור בין שלבים רק הערות שהוא בוחר במפורש לשאת הלאה. לעומתו, ה‑Provider Adapter יכול לשמר בין בקשות מצב חשיבה פנימי שאינו חשוף למשתמש, ולהשתמש בדחיסת הקשר בשיחות ארוכות. 5153

לכן ציון ה‑Provider Adapter מודד את Astra יחד עם אינטגרציית ניהול ההקשר המקורית של OpenAI. זו יכולת מוצר משמעותית, אך היא אינה בהכרח השוואה שוות־תנאים למודלים שנבדקו רק דרך הממשק הניטרלי. ARC Prize מציין במפורש שמדובר בתנאי הערכה שונים, העונים על שאלות שונות. 53

ARC Prize דיווח גם ש‑Astra השתמש בפחות פעולות מהחציון של בני האדם שנבדקו ב‑96% מהשלבים. 52 זהו מדד ליעילות בפעולות, לא הוכחה לכך שהמודל טוב מבני אדם בכל עבודה; והוא אינו מחליף בדיקה של הצלחת משימה, אמינות ועלות כוללת בתהליך עבודה אמיתי.

מה FrontierMath Erdős יכול — ולא יכול — להוכיח

FrontierMath Erdős כולל 68 בעיות קשות של ארדש שהיו פתוחות נכון לאוגוסט 2026. כדי לפתור משימה, המערכת צריכה להוכיח או להפריך את ההשערה ב‑Lean, כך שאפשר לאמת את ההוכחה באופן מכני. 3337

מבנה כזה הופך את הבנצ'מרק לקפדני במיוחד בכל הנוגע לנכונות מתמטית פורמלית. אבל תוצאה במתמטיקה אינה הופכת אוטומטית לדירוג כולל בקוד, בסוכנים או בהסקה כללית. הוא מודד הצלחה במשימת הוכחה פורמלית צרה ותובענית, תחת תקציב מוגדר.

חומר המקור הראשוני שסופק אינו מאמת את מספר הפתרונות הכולל של Astra, את ההבדל בין תקציבי הרצה סטנדרטיים ולא־סטנדרטיים, או אילו תוצאות הוחרגו מהערכת FrontierMath Erdős. פרטים כאלה יש לדווח רק על בסיס טבלת התוצאות או דוח ההערכה הספציפי של Epoch, בצירוף התקציב וכללי הזכאות.

בדף נפרד של Epoch עבור FrontierMath: Open Problems מצוין כי בהערכה טרום־השקה GPT‑6 Astra מצא עקום מגנוס 2 עם 648 נקודות רציונליות. זהו הישג בבנצ'מרק אחר, ואין לבלבל בינו לבין ציון ב‑FrontierMath Erdős. 43

מחיר לטוקן אינו מחיר למשימה

OpenAI מפרסמת עבור GPT‑6 Astra מחיר של 10 דולר למיליון טוקני קלט ו‑50 דולר למיליון טוקני פלט. 19 בדיווחי ההשוואה שסופקו נטען של‑Claude Fable 5.1 יש אותם מחירי כותרת, אך מחיר קריאת קלט מהמטמון הוא 0.25 דולר למיליון טוקנים לעומת 1.00 דולר ב‑Astra. 4

מכאן עולות שתי שאלות עלות שונות:

• סוכני קוד ארוכי־ריצה עם הקשר חוזר של מאגר קוד: מחיר נמוך יותר לקריאה מהמטמון עשוי להוזיל משמעותית את העלות, אם עומס העבודה אכן נהנה ממטמון.
• עלות של משימה שהושלמה בהצלחה: מודל יכול להיות זול יותר גם אם הוא מגיע לתוצאה נכונה עם פחות טוקני פלט, קריאות לכלים, ניסיונות חוזרים, פעולות או התערבות אנושית.

OpenAI טוענת שבכמה מההערכות שלה Astra השיג עלות API מוערכת נמוכה יותר למשימה בזכות שימוש מופחת משמעותית בטוקני פלט. 18 זו ראיה שמדווחת בידי הספק, לא הבטחה כללית. ציון בנצ'מרק ומחיר לטוקן, לבדם, אינם יכולים להוכיח איזה מודל יהיה זול יותר עבור בסיס קוד או תהליך סוכני מסוים.

כך משווים מודלים בלי ליפול למלכודת הכותרת

לפני שבוחרים בין Astra, Claude Fable 5.1 או GPT‑5.6 Sol, כדאי להגדיר את המשימה וליישר תנאים:

1. להתאים לעומס העבודה. בדקו בנפרד תחזוקת מאגר קוד, אוטומציית דפדפן, מחקר, הוכחות פורמליות ועבודה על מסמכים.
2. לקבע מדיניות הסקה. הגדירו מאמץ חשיבה דומה, מגבלות טוקנים, הרשאות לכלים וכללי ניסיון חוזר.
3. להפריד בין איכות המודל לאיכות האינטגרציה. הציגו תוצאות בממשק ניטרלי לצד תוצאות באינטגרציה ייעודית לספק — ולא כציון אחד.
4. למדוד הצלחה לכל דולר. עקבו אחר השלמות נכונות, זמן תגובה, ניסיונות חוזרים, שימוש במטמון והיקף הבדיקה האנושית הנדרשת; לא רק אחר מחיר הקלט והפלט.
5. לשמור מקום לאי־ודאות. פערים קטנים במדדים ותצורות שמשתנות לאורך זמן מחייבים פרשנות זהירה, במיוחד כשאין תיעוד ציבורי מלא.

תוצאת ה‑Provider Adapter של Astra ב‑ARC‑AGI‑3 מרשימה מאוד, וגם התוצאה שלו במעטפת הסטנדרטית חזקה. אבל אף אחת מהן אינה מבטלת מדד עצמאי שמעדיף מודל אחר בתמהיל משימות ובתצורה אחרים. השאלה השימושית אינה "מי ניצח?", אלא: איזו תצורת הערכה דומה באמת לעבודה שהמערכת צריכה לבצע?