לעומת זאת, תוצאת AVO השתמשה באותו סוג מודל בסיסי יחד עם מערכת ביצוע שנועדה לאפשר עבודה לאורך שלבים רבים. המערכת יכולה לבדוק ולשנות תוצרים, להפעיל כלים ופקודות, לעיין בתיעוד, להעריך תוצאות ולשנות את הגישה בהתאם למשוב חיצוני.
במקום דפוס של שאלה ותשובה חד-פעמית, AVO פועלת בלולאה מתמשכת:
הלולאה הזו חשובה במיוחד ב-ARC-AGI-3. במבחן, הסוכנים נדרשים להיכנס לסביבות אינטראקטיביות לא מוכרות, להבין את הכללים ואת המטרה דרך הפעולות שלהם, ולא רק להשיב להנחיה מלאה וברורה מראש.
זיכרון מתמשך מאפשר לסוכן לשמור תגליות, ניסיונות כושלים ומידע על מצב המשימה, במקום להתייחס לכל צעד כאילו הוא שיחה נפרדת. במבחן שמבוסס על חקירה, הדבר עשוי להפחית חזרה על טעויות ולסייע בבניית מודל עבודה של סביבה לא מוכרת.
AVO פותחה כמערכת לסוכני תכנות שיכולים לבדוק עבודה, לבצע שינויים, להפעיל פקודות ולאמת תוצאות. לכן ההיגיון של הסוכן מחובר לתוצאה נצפית: אפשר לבדוק הצעה, למדוד אותה ולתקן אותה — ולא להסתפק בכך שהיא נשמעת הגיונית.
שכבת פיקוח מסייעת לנהל את התהליך הארוך. במקום לאפשר לקריאת מודל יחידה לשלוט בכל ההחלטות ללא הגבלה, המערכת יכולה לעקוב אחר ההתקדמות, לזהות כיוונים לא יעילים ולסייע בהתאוששות כאשר הנחה מסוימת מתבררת כשגויה. תיאורים של NVIDIA ושל המערכת מציגים את AVO כשילוב של זיכרון, כלי ביצוע, משוב חיצוני ופיקוח לעבודה אוטונומית מתמשכת.
יחד, הרכיבים האלה מספקים למודל מסגרת מסודרת של חקירה, פעולה, תצפית ותיקון. המודל עדיין מספק חלק גדול מההסקה, אך ה-harness — מעטפת ההרצה והניהול של הסוכן — קובעת כיצד ההסקה הזו מתורגמת לפעולות בסביבה.
| מערכת או תצורה | תוצאה מדווחת ב-ARC-AGI-3 | הקשר ההערכה |
|---|---|---|
| AVO עם Claude Opus 5 | 100.00 RHAE | המערך הציבורי; 183 מתוך 183 שלבים הושלמו |
| Claude Opus 5 לבדו | 30.2% | צילום מצב של טבלת המובילים ותצורת השוואה סטנדרטית |
| GPT-5.6 Sol | 7.8% | השוואה סטנדרטית או מאומתת למחצה |
| GPT-5.6 Sol עם שמירת תהליך החשיבה וקומפקטציה | 38.3% | הרצה מותאמת אישית של OpenAI במשימות ציבוריות |
חשוב להיזהר מהשוואה ישירה מדי. הציון של AVO הוא תוצאה של מערכת סוכן שלמה במערך הציבורי, ואילו הציון של Claude Opus 5 לבדו הוא ציון מודל תחת harness של המבחן. ההבדל הזה הוא לב הסיפור.
GPT-5.6 Sol מדגים את אותה נקודה מכיוון אחר. התוצאות שפרסמה ARC Prize מציבות את Sol על 7.78% במאמץ חשיבה מרבי, בעוד ש-OpenAI דיווחה בנפרד על 38.3% במשימות ציבוריות לאחר שמירת תהליך החשיבה לאורך תורות ושימוש בקומפקטציה. אלה אינן תחליף ישיר לציון הרשמי בטבלת המובילים, אך הן מראות עד כמה זיכרון וניהול מצב יכולים להשפיע על ביצועי סוכן.
המסקנה הזהירה אינה שמודל אחד טוב יותר באופן אוניברסלי. היא שביצועים אוטונומיים תלויים במידה רבה בשילוב בין המודל, מדיניות הזיכרון, ממשק הכלים, אסטרטגיית ניהול המצב ו-harness ההערכה.
AVO נולדה מתוך עבודה על הנדסת תוכנה מורכבת ועל אופטימיזציה של ליבות GPU. בתרחיש כזה, הסוכן צריך לבדוק מימוש קיים, להעלות השערה, להציע שינוי, להריץ בדיקות המבוססות על ביצועי חומרה, לפרש את המשוב ולהחליט מה לנסות בהמשך. הצלחה דורשת ניסוי חוזר ונשנה — לא יצירה נכונה אחת.
NVIDIA מדווחת כי בעבודת האופטימיזציה של ליבות GPU בחנה AVO יותר מ-500 כיוונים, שמרה 40 גרסאות של ליבות, והשיגה שיפור של עד 10.5% לעומת FlashAttention-4 במערכות DGX B200.
היכולת שעוברת מתחום לתחום אינה בהכרח ידע ייחודי בליבות GPU, אלא תהליך ניסויי יציב: יצירת מועמד, הפעלתו, מדידת התוצאה, שמירת הלקחים ושינוי הכיוון כאשר הראיות סותרות את ההשערה. גם ARC-AGI-3 מציב ממשק שונה, אך הוא מתגמל סוכנים שמסוגלים לגלות מבנה וכללים באמצעות אינטראקציה חוזרת.
לפי הדיווח, AVO פתרה את המערך הציבורי המלא ב-6,624 פעולות סביבה, לעומת 7,542 פעולות שדווחו עבור VISTA — הפחתה של כ-12%, תוך השלמת אותם 183 שלבים.
זהו נתון משמעותי מכיוון שמדד RHAE של ARC-AGI-3 משקלל יעילות פעולות ביחס לביצועים אנושיים, ולא רק את השאלה אם הסוכן הגיע בסופו של דבר למצב מוצלח. מערכת שעובדת לאורך זמן צריכה לכן לנהל את החקירה בזהירות: ניסוי וטעייה מופרזים עלולים להפוך סוכן מוכשר לאיטי, יקר או לא מעשי.
עבור יישומים ארגוניים, הלקח החשוב ביותר הוא אדריכלי. מערכת אוטונומית אמינה כנראה לא תהיה פשוט מודל שפה שמחובר לכמה כלים. היא תזדקק לשכבת ביצוע מנוהלת סביב המודל.
שכבה כזו יכולה לכלול:
התוצאה של AVO מחזקת גם את הטיעון בעד מחסניות סוכנים מודולריות ופתוחות. אם חלק גדול מהשיפור מגיע מה-harness, ארגונים עשויים להעדיף להפריד בין שכבת המודל לבין רכיבים כמו זיכרון, מתאמי כלים, מערכי הערכה, בקרות מדיניות וניטור. כך ניתן להחליף מודל או ספק בלי לבנות מחדש את כל המערכת.
עם זאת, אין לראות בציון 100% הוכחה לאמינות ארגונית. מדובר בתוצאה שדווחה על ידי NVIDIA במערך הציבורי של ARC-AGI-3. היא אינה מוכיחה ביצועים זהים במשימות פרטיות, בנתוני ייצור או בתהליכים עסקיים בעלי סיכון גבוה. נדרשים עדיין שחזור בלתי תלוי, בדיקה על מערכים מוסתרים, ניתוח עלות וזמן תגובה, ביקורת אבטחה והערכת בטיחות.
AVO משנה מעט את השאלה המרכזית בתחום הסוכנים האוטונומיים. במקום לשאול רק איזה מודל הוא החכם ביותר, כדאי לשאול גם: איזו מערכת מסוגלת לשמור הקשר, להשתמש בכלים, ללמוד ממשוב ולהתאושש באופן אמין לאורך תהליך ארוך?
המודל עדיין חשוב, אך ARC-AGI-3 מדגים היטב שהמעטפת סביבו יכולה לקבוע אם היכולת שלו תשרוד מפגש עם סביבה לא מוכרת. עבור ארגונים שבונים מערכות AI אוטונומיות, היתרון התחרותי עשוי להימצא יותר ויותר באיכות מערכת הביצוע — ולא בקריאת המודל לבדה.