Microsoft का ओपन-सोर्स AI एजेंट: कोड टेस्टिंग में क्रांति, 92% सफलता दर

रिसर्च-प्लान-इम्प्लीमेंट (RPI) पाइपलाइन कैसे काम करती है

यह एजेंट तुरंत टेस्ट जेनरेट करने के बजाय एक संरचित पाइपलाइन का पालन करता है :

1. रिपॉजिटरी से सीखना – यह कोडबेस को स्कैन करके भाषा, टेस्ट फ्रेमवर्क, मौजूदा टेस्ट पैटर्न और सही बिल्ड व टेस्ट कमांड का पता लगाता है .
2. एक्ज़ीक्यूशन पथ चुनना – टास्क के आकार के अनुसार यह तीन मोड में से एक चुनता है :
   • डायरेक्ट – कोड पढ़ना, टेस्ट लिखना, रिज़ल्ट को वैलिडेट करना.
   • सिंगल पास – एक बार रिसर्च और प्लान करना, फिर इम्प्लीमेंट करना.
   • इटरेटिव – बड़े अनुरोधों या कवरेज लक्ष्यों के लिए रिसर्च-प्लान-इम्प्लीमेंट चक्र को दोहराना.
3. प्लानिंग और टेस्ट लिखना – एजेंट सरल कोड से शुरू करता है, फिर अधिक डिपेंडेंसी वाले कोड की ओर बढ़ता है. हर व्यवहार को एक टेस्ट फ़ाइल से मैप करता है, स्थानीय कन्वेंशन का पालन करता है, और रास्ते में कम्पाइलेशन या एसर्शन एरर को ठीक करता है .
4. टेस्ट को वैलिडेट करना – खत्म करने से पहले, एजेंट एक मल्टी-स्टेप क्वालिटी चेक चलाता है (नीचे देखें) .

RPI प्रक्रिया में तीन चरण होते हैं: रिसर्च, प्लान और इम्प्लीमेंट .

वैलिडेशन प्रक्रिया: लाइटवेट म्यूटेशन टेस्टिंग और गुणवत्ता आश्वासन

हर जेनरेट किए गए टेस्ट पर एजेंट लाइटवेट म्यूटेशन टेस्टिंग और गुणवत्ता आश्वासन करता है :

• वह छोटे कोड परिवर्तनों पर विचार करता है जो टेस्ट को फेल कराने चाहिए.
• कमज़ोर या गायब एसर्शन की जांच करता है.
• हर अनुरोधित परिदृश्य के लिए मैचिंग टेस्ट होने की पुष्टि करता है.
• पूरे वर्कस्पेस को बनाता (बिल्ड) है और पूरा टेस्ट सूट चलाता है.
• यह सुनिश्चित करता है कि रिपॉजिटरी का सामान्य टेस्ट कमांड नए टेस्ट को ढूंढ़ सके.

इससे यह गारंटी होती है कि "पास" होने वाला टेस्ट वास्तव में सार्थक है और CI (कंटीन्यूअस इंटीग्रेशन) में डिस्कवर किया जा सकता है . एजेंट यूनिट टेस्ट लिखता है जो कोड को आइसोलेट करते हैं और बाहरी सर्विसेज व अन्य डिपेंडेंसी को मॉक करते हैं .

सपोर्टेड भाषाएं और IDE इंटीग्रेशन

यह एजेंट GitHub पर MIT-लाइसेंस्ड dotnet/skills रिपॉजिटरी में dotnet-test प्लगइन के रूप में उपलब्ध है . यह इनके साथ काम करता है :

• भाषाएं – .NET, Python, Go, TypeScript, Java, और Rust.
• IDEs/टूल्स – GitHub Copilot CLI, Visual Studio Code, और VS Code Insiders (प्लगइन सपोर्ट के ज़रिए प्रीव्यू फीचर के रूप में).

चूंकि यह किसी होस्टेड सेवा के बजाय एजेंट डेफिनिशन के रूप में भेजा जाता है, यह उसी कोडिंग एजेंट के अंदर चलता है जिसका टीम पहले से उपयोग कर रही है. कोड लोकल ही रहता है, किसी बाहरी सेवा पर राउंड-ट्रिप नहीं करता .

वर्तमान सीमाएं

• टेस्ट के प्रकार – केवल यूनिट टेस्ट सपोर्टेड हैं. इंटीग्रेशन टेस्ट, एंड-टू-एंड टेस्ट, ब्राउज़र टेस्ट और परफॉर्मेंस टेस्ट स्पष्ट रूप से दायरे से बाहर हैं .
• प्रोडक्शन कोड में कोई बदलाव नहीं – टेस्ट जनरेशन के दौरान एजेंट कभी भी प्रोडक्शन कोड में संशोधन नहीं करता .
• फ्लैकी टेस्ट से बचाव – यह ऐसे यूनिट टेस्ट से बचता है जो बाहरी URL को कॉल करते हैं, नेटवर्क पोर्ट खोलते हैं या सटीक टाइमिंग पर निर्भर होते हैं .

बेंचमार्क प्रदर्शन

Microsoft के आंतरिक बेंचमार्क में 152 टास्क में से code-testing-generator एजेंट ने 140 टास्क (92.1%) पूरे किए, जबकि स्टॉक GitHub Copilot ने 120 टास्क (78.9%) पूरे किए . यह प्रदर्शन अंतर एक स्पेशलाइज्ड एजेंट का फायदा दिखाता है जो टेस्ट जनरेट करने से पहले कोडबेस पर रिसर्च करता है, बजाय इसके कि वह एक सामान्य प्रॉम्प्ट पर निर्भर रहे .