Microsoft Rilis code-testing-generator: Agen AI Open-Source yang Menulis dan Memvalidasi Unit Test

Cara kerja pipeline research-plan-implement (RPI)

Agen ini mengikuti pipeline terstruktur alih-alih langsung membuat test :

1. Belajar dari repositori – Memindai basis kode untuk mendeteksi bahasa, framework pengujian, pola test yang sudah ada, serta perintah build dan test yang benar .
2. Memilih jalur eksekusi – Berdasarkan cakupan tugas, memilih salah satu dari tiga mode :
   • Langsung – Membaca kode, menulis test, memvalidasi hasil.
   • Satu langkah – Meneliti dan merencanakan sekali, lalu mengimplementasikan.
   • Iteratif – Mengulangi siklus research-plan-implement untuk permintaan besar atau target cakupan.
3. Merencanakan dan menulis test – Agen memulai dengan kode sederhana, beralih ke kode dengan lebih banyak dependensi, memetakan setiap perilaku ke file test, mengikuti konvensi lokal, dan memperbaiki kesalahan kompilasi atau asersi saat proses berlangsung .
4. Memvalidasi test – Sebelum selesai, agen menjalankan pemeriksaan kualitas multi-langkah (lihat di bawah) .

Proses RPI terdiri dari tiga langkah: Research, Plan, dan Implement .

Proses validasi: pengujian mutasi ringan dan jaminan kualitas

Agen melakukan bentuk pengujian mutasi ringan dan jaminan kualitas pada setiap test yang dihasilkan :

• Mempertimbangkan perubahan kode kecil yang seharusnya membuat test gagal.
• Memeriksa asersi yang lemah atau hilang.
• Memverifikasi setiap skenario yang diminta memiliki test yang sesuai.
• Membangun seluruh workspace dan menjalankan seluruh rangkaian pengujian.
• Memastikan perintah pengujian normal repositori dapat menemukan test baru.

Ini memastikan bahwa test yang "lulus" benar-benar bermakna dan dapat ditemukan di CI . Agen menulis unit test yang mengisolasi kode yang diuji dan mengejek layanan eksternal serta dependensi luar lainnya .

Bahasa dan integrasi IDE yang didukung

Agen dikirimkan sebagai plugin dotnet-test dalam repositori dotnet/skills berlisensi MIT di GitHub . Ia bekerja dengan :

• Bahasa – .NET, Python, Go, TypeScript, Java, dan Rust.
• IDE/alat – GitHub Copilot CLI, Visual Studio Code, dan VS Code Insiders (melalui dukungan plugin sebagai fitur pratinjau).

Karena dikirimkan sebagai definisi agen, bukan layanan yang di-host, ia berjalan di dalam agen coding apa pun yang sudah digunakan tim, dengan kode tetap berada di lokal alih-alih bolak-balik melalui layanan eksternal .

Keterbatasan saat ini

• Jenis test – Hanya unit test yang didukung. Test integrasi, end-to-end, browser, dan kinerja secara eksplisit tidak termasuk dalam cakupan .
• Tidak ada perubahan kode produksi – Agen tidak pernah mengubah kode produksi selama pembuatan test .
• Menghindari test lemah (flaky tests) – Agen menghindari unit test yang memanggil URL eksternal, membuka port jaringan, atau bergantung pada waktu yang tepat .

Kinerja tolok ukur

Pada tolok ukur internal Microsoft yang terdiri dari 152 tugas, agen code-testing-generator menyelesaikan 140 tugas (92,1%) berbanding 120 tugas (78,9%) untuk GitHub Copilot standar . Kesenjangan kinerja ini menyoroti keuntungan dari agen khusus yang meneliti basis kode sebelum membuat test, alih-alih mengandalkan perintah serbaguna .