FlashProve הוא אב־טיפוס קוד פתוח של Anthropic להסקה שניתנת לאימות: ספק מתחייב למשקולות של מודל, ואז יוצר הוכחה קריפטוגרפית שטוקנים מסוימים בתשובה עומדים בכלל מוסכם תחת אותן משקולות. הלקוח יכול לבדוק את ההוכחה בלי לקבל את המשקולות עצמן. הסייג החשוב: FlashProve מוכיח טענה מוגדרת ברמת הטוקנים — לא שהמודל בטוח, שכל פרט בדרך שבה השירות סיפק את התשובה היה תקין, או שכל סוג של פלט שנדגם נוצר בדיוק כפי שנטען.
10
29
מה אפשר לבדוק — ומה לא
הוכחה תקפה יכולה לקשור תשובה להתחייבות למשקולות מסוימות, ולא רק להסתמך על שם המודל שהשירות מציג. הדבר עשוי לסייע בזיהוי החלפת מודל ולהקשות על צורות מסוימות של חטיפת שיחה: אם התשובה אינה מאומתת מול ההתחייבות הצפויה, אפשר לדחות אותה. Anthropic מציינת גם שימוש אפשרי בהערכות בטיחות — בדיקה שהמודל שנבחן הוא אותו מודל שמוגש בהמשך ללקוחות.
10
40
אבל כדי להפיק תועלת מהבדיקה, הלקוחות צריכים לדעת איזו התחייבות ראוי לסמוך עליה. ההוכחה נבדקת מול ההתחייבות והקבצים הציבוריים שסופקו לצורך האימות; היא לא קובעת לבדה שהתחייבות מסוימת אכן שייכת למודל שהספק מפרסם. וגם אם זהות המודל אומתה, אין בכך אישור בטיחות: מודל אותנטי עדיין עלול לתת תשובות מזיקות או שגויות.
30
32
שתי פעימות: מתחייבים פעם אחת, מוכיחים לכל תשובה
1. יצירת התחייבות לא־מקוונת. ספק המודל מריץ את רכיב ההתחייבות של FlashProve על משקולות המודל ומפרסם חומר התחייבות. ההתחייבות כוללת טביעת אצבע בת 32 בתים, שנקראת מזהה התחייבות, וקושרת את ההוכחה לקבוצת משקולות מסוימת. המשקולות עצמן נשארות חסויות.
30
39
2. יצירת הוכחה לכל תשובה. עבור תשובה, הספק יוצר הוכחה שהטוקנים שנבדקו עומדים במדיניות קבלה מסוימת תחת המשקולות שהתחייב להן. מדיניות ברירת המחדל, התאמה מדויקת, דורשת שכל טוקן שנבדק יהיה הבחירה החמדנית של המודל — כלומר, הטוקן בעל הציון הגבוה ביותר באותו שלב. החלופה המתועדת, פער מקוצץ, בודקת אם ציוני הטוקנים עומדים בכלל מוסכם של פערי ציונים; זו אינה אותה טענה כמו הוכחה שהטוקנים נדגמו ביושר מהתפלגות אקראית מוגדרת.
20
32
3. אימות אצל הלקוח. הלקוח בודק את ההוכחה מול מזהה ההתחייבות שהוא מצפה לו, קובצי ההתחייבות הציבוריים הנלווים, הבקשה, טענת הטוקנים והמדיניות. המאמת פועל על מעבד רגיל (CPU), ואינו זקוק למשקולות הסודיות או למעבד גרפי (GPU).
29
30
34
ההפרדה הזאת עשויה להתאים גם לספקים של מודלים סגורים: הם יכולים להציע דרך לבדוק טענת הסקה בלי למסור ללקוחות את פרמטרי המודל. זו אפשרות לשימוש עתידי — לא ראיה ששירות מסחרי כבר הטמיע את FlashProve.
16
29
מה הראה הניסוי עם Llama 4 Maverick
FlashProve הודגם על Llama 4 Maverick של Meta, מודל תערובת מומחים (mixture-of-experts) עם כ־400 מיליארד פרמטרים. חשוב לקרוא את נתוני הביצועים בהקשר: קצב העיבוד דווח עבור אצווה של בקשות, ולא עבור רצף שיחה של משתמש יחיד.
3
7
- קצב יצירת ההוכחות: כ־110 טוקנים בשנייה על מעבד Nvidia H100 יחיד, עבור אצווה של 24 בקשות, כל אחת בחלון של 1,024 טוקנים. עיבוד האצווה ארך כ־223 שניות.
1
7
- גודל ההוכחה: כ־18.78 מגה־בייט — לרוב מעוגל ל־19 מגה־בייט — לכל בקשה של 1,024 טוקנים.
1
7
- זמן האימות: כ־17 שניות על CPU עם 24 תהליכונים במבחן המדווח; בהרצה עם תהליכון אחד, הזמן היה כ־21 שניות.
1
19
- הכנת ההתחייבות: שלב ההתחייבות החד־פעמי ארך, לפי הדיווח, כ־39 דקות; חומר ההתחייבות שפורסם היה בגודל של כ־6.5 מגה־בייט.
7
13
המאגר כולל גם מאמת שנכתב ב־Lean ותוצאות בדיקת נכונות פורמלית. אבל גם כאן חשוב לדייק בהיקף: טענת הנכונות המתועדת מתייחסת למאמת Lean ולטענות התאמה מדויקת, בכפוף להנחות שצוינו; מדיניות הפער המקוצץ תומכת בטענה מצומצמת יותר. אין להסיק מכך שכל מימוש, פריסה או אופן פענוח מכוסים באותה ערובה.
32
33
המחיר והמגבלות
יצירת ההוכחות יקרה מבחינה חישובית. לפי הנתונים המדווחים, תהליך ההוכחה דורש בערך פי 70–95 מזמן ה־GPU של הסקה רגילה באמצעות vLLM. זו תוספת משמעותית למערכת שנועדה לצרף ראיה לתשובות.
1
8
חלון ההקשר שהודגם קצר. המאגר מתאר חלון הקשר של 1,024 טוקנים בהדגמה על המודל המלא. התוצאה אינה מוכיחה תמיכה בהקשרים ארוכים יותר.
23
קצב של אצווה אינו זמן המתנה של משתמש. קצב הכותרת מתייחס יחד ל־24 בקשות, שעיבודן ארך כ־223 שניות. בשירות אמיתי, גם הזמן שנדרש לאסוף בקשות לאצווה עשוי להוסיף להשהיה שהמשתמש חווה.
1
ההבטחה תלויה בכלל הפענוח. התאמה מדויקת בודקת בחירות חמדניות. אפשרות הפער המקוצץ אינה מוכיחה שהטוקנים נדגמו ביושר מהתפלגות אקראית מסוימת. אף אחת מהמדיניויות אינה מוכיחה שהתשובה בטוחה, אמינה או מועילה.
20
32
מי פיתח את FlashProve ומה מצב הפרויקט?
צוות Frontier Red Team של Anthropic פיתח את FlashProve יחד עם משתפי פעולה מ־EPFL, מ־MIT ומ־StarkWare. בין הכותבים המופיעים בפרויקט: חוקרי Anthropic רוי רינברג ואלכס אלאין, והקריפטוגרף אלסנדרו קיאזה, לצד שותפים נוספים.
10
31
הקוד פורסם ברישיון Apache 2.0. עם זאת, המאגר מגדיר את FlashProve כתוצר מחקרי שאינו מתוחזק ואינו מקבל תרומות. רישיון קוד פתוח אינו אומר שהפרויקט מזמין שליחת שינויים.
21
31
35
לפי הדיווחים, Anthropic אינה מתכננת לפרוס את FlashProve — לא בחברה ולא במקום אחר. יחד עם הודעת המאגר על היעדר תחזוקה, המשמעות היא שמדובר באב־טיפוס מחקרי לחקירת הסקה ניתנת לאימות, ולא במוצר מוגמר או בשירות ייצור נתמך.
15
35