ASSERT של מיקרוסופט: איך להפוך חוקים באנגלית פשוטה למבחני סוכן AI אוטומטיים?

מיקרוסופט הכריזה על ASSERT (ראשי תיבות של Adaptive Spec-driven Scoring for Evaluation and Regression Testing) בכנס המפתחים Build 2026 ב-2 ביוני, ושחררה אותו כפרויקט קוד פתוח תחת מעטה ה-Responsible AI ב-GitHub . המסגרת החדשה נותנת מענה לכאב ראש הולך וגובר בפיתוח בינה מלאכותית אוטונומית (Agentic AI): איך אפשר לוודא שסוכן חכם יכבד את החוקים המסחריים ומגבלות הבטיחות הספציפיות למוצר שלכם, לפני שהוא פוגש משתמשים אמיתיים? בעוד שמדדי AI מסורתיים מודדים מועילות, רעילות או דיוק כללי, הם מחמיצים לעתים קרובות כשלים קריטיים בהתנהגות הספציפית לאפליקציה, כמו סוכן שמאשר החזרים כספיים ללא אישור, או משתף מידע חסוי עם גורם הלא נכון . ASSERT סוגרת את הפער הזה על ידי הפיכת מפרטי התנהגות בשפה טבעית לקלט ראשון במעלה בתהליך ההערכה, ולא רק להקשר כללי.

איך ASSERT הופך מילים לחבילות בדיקה

ASSERT פועל בצינור עיבוד בן חמישה שלבים, שהופך כוונה כתובה של מפתח להערכה ניתנת לניקוד ולאבחון:

1. מתחילים עם מדיניות באנגלית פשוטה. מפתחים מתארים את ההתנהגויות הרצויות והאסורות בשפה טבעית. הניסוחים מגיעים ישירות מדרישות המוצר, מסמכי ציות, הנחיות מערכת (System Prompts) או רשימות תיוג להשקה . דוגמה: "סוכן התמיכה הזה לא יאשר החזרים מעל 2,000 שקלים ללא אישור מנהל" .
2. מודל שפה מנתח את המפרט לחוקים מובנים. ASSERT משתמש במודל שפה גדול (LLM) כדי לפרש את התיאורים החופשיים ולייצר מפרט קריא למכונה של פעולות מותרות ואסורות .
3. יצירת מקרי בדיקה עוינים (Adversarial). המסגרת מייצרת באופן שיטתי תרחישים ממוקדים, מקרי קצה וקלטים שנועדו לבדוק האם הסוכן מפר את המדיניות המוצהרת .
4. הרצת חבילת הבדיקה נגד סוכן המטרה. ASSERT מריץ את הבדיקות מול הסוכן בפועל, ומתעד כל צעד ביניים וכל קריאה לכלי חיצוני (Tool Call) שהסוכן מבצע במהלך הדרך . המסגרת היא אגנוסטית לכלי פיתוח – היא עובדת עם LangChain, CrewAI, AutoGen, LiteLLM, OpenAI ועוד, כך שמפתחים אינם כבולים לסביבת Microsoft Foundry .
5. קבלת דוח מנוקד ובר מעקב. כל בדיקה מפיקה כרטיס ניקוד מובנה עם פסק דין של "עבר" או "נכשל", והסבר מפורט ממודל שופט. מכיוון שכל נתיב הביצוע נשמר, מפתחים יכולים לקדוח לעומק ולהגיע בדיוק לקריאת הכלי או לצעד ההחלטה שבו הסוכן שגה .

מעבר למדדים גנריים

מה שמבדיל את ASSERT מכלי הערכה גנריים הוא ההתמקדות בגבולות התנהגותיים ייחודיים לאפליקציה. סוכן עשוי לקבל ציון מושלם במדדי מועילות ואמיתות, ועדיין להפר חוק מוצר כמו "לעולם אל תשתף כתובות אימייל של לקוחות עם שירותים חיצוניים". ASSERT נבנה בדיוק כדי לתפוס את הקטגוריה הזו של כשלים . מיקרוסופט מציבה את המסגרת כממוקדת בטיחות, ומציינת ששיטת ההערכה שלה עברה ולידציה ספציפית להערכת בטיחות, לא רק למדדי איכות .

חלק ממערך אמון רחב יותר

ASSERT מושק לצד Agent Control Specification (ACS), פרויקט קוד פתוח נוסף של מיקרוסופט המאפשר לצוותים להגדיר קבצי מדיניות ניידים (Portable Policy Files). קבצים אלה מפרטים מה סוכן רשאי ומה אסור לו לעשות, מתי נדרש אישור אנושי, ואילו ראיות יש לתעד . זרימת העבודה המשולבת המיועדת היא: מפתחים מריצים תחילה את ASSERT כדי לגלות פגמים, מיישמים בקרות זמן-אמת באמצעות ACS, ואז מריצים מחדש את ASSERT כדי למדוד את השיפור עם מדדי "לפני ואחרי" . לולאה זו – הגדר, הערך, בקר, הערך מחדש – מעניקה לצוותי ההנדסה תהליך ניתן לחזרה להקשחת מערכות אוטונומיות לפני פריסה.

בפועל, מפתח יכול להגדיר חוק כמו: "סוכן מחקר המסמכים הזה לא ישלח אימיילים לאנשים מחוץ לחברה, יגביל מידע חסוי לבכירי הנהלה (C-level) בלבד, ויספק סיכומים תמציתיים עם הקשר קודם." ASSERT ייצר את מקרי הבדיקה העוינים המתאימים באופן אוטומטי, יריץ אותם, ויתריע על כל הפרת מדיניות עם דוח מנוקד ותיעוד מלא .

ASSERT הוא קוד פתוח ומתארח בכתובת github.com/responsibleai/ASSERT. בעת ההשקה, הוא זכה לתמיכת הקהילה מצד CrewAI, Arize AI, LiteLLM, Pipecat ו-Pydantic .