ASSERT של מיקרוסופט: איך להפוך חוקים באנגלית פשוטה למבחני סוכן AI אוטומטיים?

מעבר למדדים גנריים

מה שמבדיל את ASSERT מכלי הערכה גנריים הוא ההתמקדות בגבולות התנהגותיים ייחודיים לאפליקציה. סוכן עשוי לקבל ציון מושלם במדדי מועילות ואמיתות, ועדיין להפר חוק מוצר כמו "לעולם אל תשתף כתובות אימייל של לקוחות עם שירותים חיצוניים". ASSERT נבנה בדיוק כדי לתפוס את הקטגוריה הזו של כשלים . מיקרוסופט מציבה את המסגרת כממוקדת בטיחות, ומציינת ששיטת ההערכה שלה עברה ולידציה ספציפית להערכת בטיחות, לא רק למדדי איכות .

חלק ממערך אמון רחב יותר

ASSERT מושק לצד Agent Control Specification (ACS), פרויקט קוד פתוח נוסף של מיקרוסופט המאפשר לצוותים להגדיר קבצי מדיניות ניידים (Portable Policy Files). קבצים אלה מפרטים מה סוכן רשאי ומה אסור לו לעשות, מתי נדרש אישור אנושי, ואילו ראיות יש לתעד . זרימת העבודה המשולבת המיועדת היא: מפתחים מריצים תחילה את ASSERT כדי לגלות פגמים, מיישמים בקרות זמן-אמת באמצעות ACS, ואז מריצים מחדש את ASSERT כדי למדוד את השיפור עם מדדי "לפני ואחרי" . לולאה זו – הגדר, הערך, בקר, הערך מחדש – מעניקה לצוותי ההנדסה תהליך ניתן לחזרה להקשחת מערכות אוטונומיות לפני פריסה.

בפועל, מפתח יכול להגדיר חוק כמו: "סוכן מחקר המסמכים הזה לא ישלח אימיילים לאנשים מחוץ לחברה, יגביל מידע חסוי לבכירי הנהלה (C-level) בלבד, ויספק סיכומים תמציתיים עם הקשר קודם." ASSERT ייצר את מקרי הבדיקה העוינים המתאימים באופן אוטומטי, יריץ אותם, ויתריע על כל הפרת מדיניות עם דוח מנוקד ותיעוד מלא .

ASSERT הוא קוד פתוח ומתארח בכתובת github.com/responsibleai/ASSERT. בעת ההשקה, הוא זכה לתמיכת הקהילה מצד CrewAI, Arize AI, LiteLLM, Pipecat ו-Pydantic .