קלוד פייבל 5 מול קלוד אופוס: למה הפער כל כך גדול?

בקצרה, Fable 5 אינו סתם "אופוס מוגדל". הוא קרוב הרבה יותר למודל סוכן מהדור החמישי, שעבר אופטימיזציה מחדש למטרות של חשיבה ממושכת, שימוש בכלים ואימות עצמי. עם זאת, Anthropic לא חשפה את מספר הפרמטרים, נתוני האימון, כמות החישוב או הארכיטקטורה המדויקת, כך שאיננו יודעים את סודות האימון הספציפיים.

• הקטגוריה עצמה השתנתה. Anthropic מתארת את Fable 5 כמודל החזק ביותר ששוחרר לציבור הרחב, וכמודל בסיס מסוג Mythos (שזמין בגישה מוגבלת בלבד). כלומר, הוא אינו גרסת המשך פשוטה של דרגת Opus, אלא מוצר שהותאם לשימוש כללי מתוך מודל בסיס חזק יותר.

• אומן לבצע משימות ארוכות טווח. על פי ההסבר הרשמי, Fable 5 מתמקד באורח עבודה שבו הוא חוקר תחילה, שומר על הקשר לאורך שעות או ימים, ומאמת את תוצאותיו בעצמו. לכן ההבדל מורגש הרבה יותר בפרויקטי קידוד, ניתוחים מורכבים או משימות הכרוכות בשימוש בכלים מרובים, מאשר בשאלות ותשובות קצרות.

• חלון הקשר ותפוקה גדולים יותר. המודל תומך בחלון הקשר של מיליון טוקנים ובפלט של עד 128,000 טוקנים, מה שמאפשר לטפל בבסיסי קוד גדולים או במסמכים רבים במצב עבודה אחד. זה לא רק משפר את ה"אינטליגנציה" הטהורה, אלא גם מפחית קטיעות בזיכרון ואובדן דחיסה, מה שמעלה את הביצועים הנתפסים.

• בדיקת התנהגות במהלך האימון. סדרת Claude האחרונה כללה הערכות יישור בזמן אמת במהלך האימון, ובנוסף זיהוי ותיקון של אסטרטגיות שגויות שהופיעו כאשר הסוכן ביצע משימות ארוכות טווח.

• הלמידה המאוחרת אינה מסתמכת רק על העדפות אנושיות פשוטות. כפי שניתן לראות במסמכים הזמינים, Claude משתמש בשילוב של חוקה (constitution), משוב אנושי, משוב מבוסס בינה מלאכותית ומסווגי בטיחות. במיוחד, הדגש הוא על לימוד עקרונות (מדוע פעולה מסוימת רצויה) במקום שינון רשימת איסורים.

תחושת "בליגה אחרת" נובעת ככל הנראה משילוב של: ① מודל בסיס חזק יותר, ② אימון ייעודי למשימות סוכן ארוכות טווח, ③ חלון הקשר גדול, ④ יכולת שימוש בכלים ואימות עצמי, ⑤ למידה מאוחרת משופרת. לעומת זאת, פרטים כגון שימוש בארכיטקטורת MoE, מספר הפרמטרים, הרכב הנתונים או אלגוריתם הלמידה לחיזוק נותרו חסויים ולכן מהווים הערכה בלבד.