ในการทดสอบภายในบริษัทกับโจทย์ 152 งาน agent ตัวนี้ทำสำเร็จถึง 140 งาน คิดเป็นอัตราความสำเร็จ 92.1% ซึ่งสูงกว่าการใช้ Copilot ปกติที่ทำได้ 120 งาน หรือ 78.9% อย่างไรก็ตาม ปัจจุบัน agent นี้เขียนได้เฉพาะ unit tests เท่านั้น ไม่รวมถึง integration tests, end-to-end tests, browser tests และ performance tests

pipeline Research-Plan-Implement (RPI) ทำงานอย่างไร

agent นี้ทำงานผ่านขั้นตอนที่เป็นระบบ :

1. เรียนรู้ repository – สแกน codebase เพื่อตรวจจับภาษาที่ใช้, test framework, รูปแบบเทสต์ที่มีอยู่ และคำสั่ง build และ test ที่ถูกต้อง
2. เลือกโหมดการทำงาน – ขึ้นอยู่กับขอบเขตของงาน agent จะเลือกหนึ่งในสามโหมด :
   • Direct – อ่านโค้ด, เขียนเทสต์, ตรวจสอบผลลัพธ์
   • Single pass – ค้นคว้าและวางแผนครั้งเดียว แล้วเริ่มเขียน
   • Iterative – ทำซ้ำรอบค้นคว้า-วางแผน-เขียน สำหรับงานใหญ่หรือเป้าหมาย coverage
3. วางแผนและเขียนเทสต์ – เริ่มจากโค้ดง่ายๆ แล้วค่อยๆ ไปโค้ดที่มี dependency มากขึ้น โดยจับคู่ behavior กับไฟล์เทสต์, ตามรูปแบบการเขียนของโปรเจกต์, และแก้ไข compilation หรือ assertion errors
4. ตรวจสอบเทสต์ – ก่อนจะเสร็จ agent จะรันการตรวจสอบคุณภาพแบบหลายขั้นตอน (ดูด้านล่าง)

กระบวนการ RPI ประกอบด้วยสามขั้นตอน: ค้นคว้า (Research), วางแผน (Plan), และเขียน (Implement)

กระบวนการตรวจสอบ: lightweight mutation testing และการประกันคุณภาพ

agent จะทำการกลายพันธุ์โค้ดแบบเบาและตรวจสอบคุณภาพกับทุกๆ เทสต์ที่สร้างขึ้น :

• ตรวจสอบการเปลี่ยนแปลงโค้ดเล็กๆ ที่ ควร ทำให้เทสต์ล้มเหลว
• ตรวจสอบว่า assertion อ่อนหรือขาดหายหรือไม่
• ยืนยันว่า scenario ที่ขอทุกอันมีเทสต์ตรงกัน
• Build workspace ทั้งหมดและรัน test suite ทั้งชุด
• ยืนยันว่าคำสั่ง test ปกติของ repository หาเทสต์ใหม่เจอ

วิธีนี้ช่วยให้เทสต์ที่ "ผ่าน" นั้นมีความหมายและถูกค้นพบได้ใน CI agent นี้เขียน unit tests ที่แยกโค้ดที่กำลังทดสอบและ mock บริการภายนอกและ dependency อื่นๆ

ภาษาที่รองรับและการผสานรวมกับ IDE

agent นี้มาพร้อมในรูปแบบ dotnet-test plugin ที่อยู่ใน repository dotnet/skills บน GitHub ภายใต้สัญญาอนุญาต MIT รองรับ :

• ภาษา – .NET, Python, Go, TypeScript, Java และ Rust
• IDE/เครื่องมือ – GitHub Copilot CLI, Visual Studio Code และ VS Code Insiders (ผ่านการสนับสนุน plugin ซึ่งยังอยู่ในช่วง preview)

เนื่องจากเป็น agent definition ไม่ใช่ hosted service มันจึงทำงานภายใน coding agent ที่ทีมใช้อยู่แล้ว โดยโค้ดจะอยู่ภายในเครื่อง ไม่ต้องส่งผ่านบริการภายนอก

ข้อจำกัดในปัจจุบัน

• ประเภทเทสต์ – รองรับเฉพาะ unit tests เท่านั้น ไม่รวม integration tests, end-to-end tests, browser tests และ performance tests
• ไม่แก้ไข production code – agent จะไม่แก้ไข production code ระหว่างการสร้างเทสต์
• หลีกเลี่ยง flaky tests – agent จะหลีกเลี่ยง unit tests ที่เรียก URL ภายนอก, เปิด network ports, หรือขึ้นอยู่กับเวลาที่แน่นอน

ผลการทดสอบ Benchmark

ในการทดสอบภายในของ Microsoft กับโจทย์ 152 งาน agent code-testing-generator ทำสำเร็จ 140 งาน (92.1%) ในขณะที่ GitHub Copilot ทั่วไปทำสำเร็จ 120 งาน (78.9%) ช่องว่างของประสิทธิภาพนี้ชี้ให้เห็นถึงข้อได้เปรียบของ agent ที่ถูกออกแบบมาเฉพาะทาง ซึ่งค้นคว้า codebase ก่อนที่จะสร้างเทสต์ แทนที่จะพึ่งพา prompt ทั่วไป

ในการทดสอบภายในบริษัทกับโจทย์ 152 งาน agent ตัวนี้ทำสำเร็จถึง 140 งาน คิดเป็นอัตราความสำเร็จ 92.1% ซึ่งสูงกว่าการใช้ Copilot ปกติที่ทำได้ 120 งาน หรือ 78.9% อย่างไรก็ตาม ปัจจุบัน agent นี้เขียนได้เฉพาะ unit tests เท่านั้น ไม่รวมถึง integration tests, end-to-end tests, browser tests และ performance tests

pipeline Research-Plan-Implement (RPI) ทำงานอย่างไร

agent นี้ทำงานผ่านขั้นตอนที่เป็นระบบ :

1. เรียนรู้ repository – สแกน codebase เพื่อตรวจจับภาษาที่ใช้, test framework, รูปแบบเทสต์ที่มีอยู่ และคำสั่ง build และ test ที่ถูกต้อง
2. เลือกโหมดการทำงาน – ขึ้นอยู่กับขอบเขตของงาน agent จะเลือกหนึ่งในสามโหมด :
   • Direct – อ่านโค้ด, เขียนเทสต์, ตรวจสอบผลลัพธ์
   • Single pass – ค้นคว้าและวางแผนครั้งเดียว แล้วเริ่มเขียน
   • Iterative – ทำซ้ำรอบค้นคว้า-วางแผน-เขียน สำหรับงานใหญ่หรือเป้าหมาย coverage
3. วางแผนและเขียนเทสต์ – เริ่มจากโค้ดง่ายๆ แล้วค่อยๆ ไปโค้ดที่มี dependency มากขึ้น โดยจับคู่ behavior กับไฟล์เทสต์, ตามรูปแบบการเขียนของโปรเจกต์, และแก้ไข compilation หรือ assertion errors
4. ตรวจสอบเทสต์ – ก่อนจะเสร็จ agent จะรันการตรวจสอบคุณภาพแบบหลายขั้นตอน (ดูด้านล่าง)

กระบวนการ RPI ประกอบด้วยสามขั้นตอน: ค้นคว้า (Research), วางแผน (Plan), และเขียน (Implement)

กระบวนการตรวจสอบ: lightweight mutation testing และการประกันคุณภาพ

agent จะทำการกลายพันธุ์โค้ดแบบเบาและตรวจสอบคุณภาพกับทุกๆ เทสต์ที่สร้างขึ้น :

• ตรวจสอบการเปลี่ยนแปลงโค้ดเล็กๆ ที่ ควร ทำให้เทสต์ล้มเหลว
• ตรวจสอบว่า assertion อ่อนหรือขาดหายหรือไม่
• ยืนยันว่า scenario ที่ขอทุกอันมีเทสต์ตรงกัน
• Build workspace ทั้งหมดและรัน test suite ทั้งชุด
• ยืนยันว่าคำสั่ง test ปกติของ repository หาเทสต์ใหม่เจอ

วิธีนี้ช่วยให้เทสต์ที่ "ผ่าน" นั้นมีความหมายและถูกค้นพบได้ใน CI agent นี้เขียน unit tests ที่แยกโค้ดที่กำลังทดสอบและ mock บริการภายนอกและ dependency อื่นๆ

ภาษาที่รองรับและการผสานรวมกับ IDE

agent นี้มาพร้อมในรูปแบบ dotnet-test plugin ที่อยู่ใน repository dotnet/skills บน GitHub ภายใต้สัญญาอนุญาต MIT รองรับ :

• ภาษา – .NET, Python, Go, TypeScript, Java และ Rust
• IDE/เครื่องมือ – GitHub Copilot CLI, Visual Studio Code และ VS Code Insiders (ผ่านการสนับสนุน plugin ซึ่งยังอยู่ในช่วง preview)

เนื่องจากเป็น agent definition ไม่ใช่ hosted service มันจึงทำงานภายใน coding agent ที่ทีมใช้อยู่แล้ว โดยโค้ดจะอยู่ภายในเครื่อง ไม่ต้องส่งผ่านบริการภายนอก

ข้อจำกัดในปัจจุบัน

• ประเภทเทสต์ – รองรับเฉพาะ unit tests เท่านั้น ไม่รวม integration tests, end-to-end tests, browser tests และ performance tests
• ไม่แก้ไข production code – agent จะไม่แก้ไข production code ระหว่างการสร้างเทสต์
• หลีกเลี่ยง flaky tests – agent จะหลีกเลี่ยง unit tests ที่เรียก URL ภายนอก, เปิด network ports, หรือขึ้นอยู่กับเวลาที่แน่นอน

ผลการทดสอบ Benchmark

ในการทดสอบภายในของ Microsoft กับโจทย์ 152 งาน agent code-testing-generator ทำสำเร็จ 140 งาน (92.1%) ในขณะที่ GitHub Copilot ทั่วไปทำสำเร็จ 120 งาน (78.9%) ช่องว่างของประสิทธิภาพนี้ชี้ให้เห็นถึงข้อได้เปรียบของ agent ที่ถูกออกแบบมาเฉพาะทาง ซึ่งค้นคว้า codebase ก่อนที่จะสร้างเทสต์ แทนที่จะพึ่งพา prompt ทั่วไป