Microsoft Lancarkan Ejen AI Sumber Terbuka Untuk Jana Ujian Unit Secara Automatik

Bagaimana Saluran Penyelidikan-Perancangan-Pelaksanaan (RPI) Berfungsi

Ejen ini mengikuti saluran berstruktur dan bukannya terus menulis ujian :

1. Mempelajari repositori – Ia mengimbas kod untuk mengesan bahasa, rangka kerja ujian, corak ujian sedia ada, dan arahan binaan serta ujian yang betul .
2. Memilih laluan pelaksanaan – Berdasarkan skop tugasan, ia memilih satu daripada tiga mod :
   • Langsung – Baca kod, tulis ujian, sahkan hasil.
   • Laluan tunggal – Selidik dan rancang sekali, kemudian laksana.
   • Berulang – Ulang kitaran penyelidikan-perancangan-pelaksanaan untuk permintaan besar atau sasaran liputan.
3. Merancang dan menulis ujian – Ejen bermula dengan kod mudah, beralih kepada kod yang lebih bergantung, memetakan setiap tingkah laku kepada fail ujian, mengikut konvensyen tempatan, dan membetulkan ralat kompilasi atau pernyataan semasa proses .
4. Mengesahkan ujian – Sebelum selesai, ejen menjalankan pemeriksaan kualiti pelbagai langkah (lihat di bawah) .

Proses RPI terdiri daripada tiga langkah: Penyelidikan, Perancangan, dan Pelaksanaan .

Proses Pengesahan: Ujian Mutasi Ringan dan Jaminan Kualiti

Ejen melakukan bentuk ujian mutasi ringan dan jaminan kualiti ke atas setiap ujian yang dihasilkan :

• Mempertimbangkan perubahan kod kecil yang sepatutnya menyebabkan ujian gagal.
• Memeriksa pernyataan yang lemah atau hilang.
• Memastikan setiap senario yang diminta mempunyai ujian yang sepadan.
• Membina ruang kerja penuh dan menjalankan keseluruhan suite ujian.
• Mengesahkan arahan ujian biasa repositori dapat mengesan ujian baharu.

Ini memastikan ujian yang "lulus" adalah bermakna dan boleh ditemui dalam saluran CI . Ejen menulis ujian unit yang mengasingkan kod yang diuji dan meniru perkhidmatan luaran serta kebergantungan lain .

Bahasa dan Integrasi IDE yang Disokong

Ejen ini dihantar sebagai pemalam dotnet-test dalam repositori dotnet/skills berlesen MIT di GitHub . Ia berfungsi dengan :

• Bahasa – .NET, Python, Go, TypeScript, Java, dan Rust.
• IDE/Alat – GitHub Copilot CLI, Visual Studio Code, dan VS Code Insiders (melalui sokongan pemalam sebagai ciri pratonton).

Oleh kerana ia dihantar sebagai definisi ejen dan bukannya perkhidmatan yang dihoskan, ia berjalan di dalam mana-mana ejen pengekodan yang sudah digunakan oleh pasukan, dengan kod kekal setempat dan tidak perlu melalui perkhidmatan luaran .

Batasan Semasa

• Jenis ujian – Hanya ujian unit disokong. Ujian integrasi, ujian hujung ke hujung, ujian pelayar, dan ujian prestasi secara jelas tidak termasuk dalam skop .
• Tiada perubahan kod pengeluaran – Ejen tidak pernah mengubah suai kod pengeluaran semasa penjanaan ujian .
• Mengelakkan ujian yang tidak stabil – Ia mengelakkan ujian unit yang memanggil URL luaran, membuka port rangkaian, atau bergantung pada masa yang tepat .

Prestasi Penanda Aras

Dalam penanda aras dalaman Microsoft yang merangkumi 152 tugasan, ejen code-testing-generator berjaya menyelesaikan 140 tugasan (92.1%) berbanding 120 tugasan (78.9%) untuk GitHub Copilot biasa . Jurang prestasi ini menyerlahkan kelebihan ejen khusus yang meneliti repositori sebelum menjana ujian, berbanding bergantung pada arahan tujuan umum .