מיקרוסופט פתחה את קוד המקור של סוכן AI לכתיבת טסטים - עם 92.1% הצלחה

איך עובדת צינורית Research-Plan-Implement (RPI)?

הסוכן פועל בצורה מובנית, לא קופץ ישר לכתיבה :

1. לומד את מאגר הקוד – סורק את כל הקוד כדי לזהות שפה, test framework, דפוסי טסטים קיימים, ופקודות build ו-test נכונות .
2. בוחר מסלול ביצוע – בהתאם לגודל המשימה, הוא בוחר באחד משלושה מצבים :
   • Direct – קורא קוד, כותב טסטים, מאמת תוצאה.
   • Single pass – חוקר ומתכנן פעם אחת, ואז מיישם.
   • Iterative – חוזר על המחזור של מחקר-תכנון-יישום עבור בקשות גדולות או מטרות כיסוי (coverage).
3. מתכנן וכותב טסטים – מתחיל מקוד פשוט, עובר לקוד עם תלויות מורכבות, ממפה כל התנהגות לקובץ טסט מתאים, עוקב אחר מוסכמות מקומיות, ומתקן שגיאות קומפילציה או אסרציות תוך כדי .
4. מאמת את הטסטים – לפני סיום, הסוכן מריץ בדיקת איכות רב-שלבית (פירוט בהמשך) .

תהליך האימות: mutation testing קל ובקרת איכות

הסוכן מבצע צורה קלה של mutation testing ובקרת איכות על כל טסט שהוא מייצר :

• בוחן שינויים קטנים בקוד שאמורים לגרום לטסט להיכשל.
• בודק אם יש אסרציות חלשות או חסרות.
• מוודא שכל תרחיש מבוקש מכוסה בטסט מתאים.
• בונה את כל ה-workspace ומריץ את כל חבילת הבדיקות.
• מאמת שפקודת ה-test הרגילה של המאגר מוצאת את הטסטים החדשים.

כך מבטיחים שטסט ש"עובר" הוא באמת משמעותי ואפשר למצוא אותו ב-CI .

שפות ופלטפורמות נתמכות

הסוכן מגיע כתוסף dotnet-test בתוך המאגר dotnet/skills ב-GitHub, ברישיון MIT . הוא עובד עם :

• שפות – .NET, Python, Go, TypeScript, Java ו-Rust.
• סביבות עבודה/כלים – GitHub Copilot CLI, Visual Studio Code, ו-VS Code Insiders (באמצעות תמיכה בתוסף כתכונה בהצגה מוקדמת).

כיוון שהוא משוחרר כהגדרת סוכן (agent definition) ולא כשירות מתארח, הוא רץ בתוך כל סוכן קידוד שהצוות כבר משתמש בו, והקוד נשאר מקומי ולא עובר דרך שירות חיצוני .

מגבלות נוכחיות

• סוגי טסטים – רק טסטים יחידתיים נתמכים. טסטים אינטגרציה, end-to-end, דפדפן וביצועים מפורשות מחוץ לתחום .
• אין שינויי קוד ייצור – הסוכן אף פעם לא משנה קוד ייצור במהלך יצירת טסטים .
• נמנע מטסטים רעועים (flaky) – הוא נמנע מטסטים יחידתיים שקוראים לכתובות URL חיצוניות, פותחים פורטים ברשת, או תלויים בתזמון מדויק .

ביצועים במבחנים

במבחן הפנימי של מיקרוסופט על 152 משימות, הסוכן code-testing-generator השלים 140 משימות (92.1%) לעומת 120 משימות (78.9%) ב-GitHub Copilot הרגיל . הפער הזה מדגיש את היתרון של סוכן ייעודי שחוקר את הקוד לפני יצירת טסטים, לעומת הסתמכות על פרומפט גנרי .