Microsoft code-testing-generator: Birim Testlerini Yazan ve Doğrulayan Açık Kaynak YZ Ajanı

Araştırma-Planla-Uygula (RPI) hattı nasıl çalışıyor?

Ajan, testleri hemen üretmek yerine yapılandırılmış bir hattı takip ediyor :

1. Depoyu öğrenir – Kod tabanını tarayarak dili, test çerçevesini, mevcut test kalıplarını ve doğru derleme/test komutlarını algılar .
2. Bir yürütme yolu seçer – Görevin kapsamına göre üç moddan birini seçer :
   • Doğrudan – Kodu oku, testleri yaz, sonucu doğrula.
   • Tek geçiş – Bir kez araştır ve planla, ardından uygula.
   • Yinelemeli – Büyük talepler veya kapsama hedefleri için araştırma-planla-uygula döngüsünü tekrarla.
3. Testleri planlar ve yazar – Ajan basit kodla başlar, daha fazla bağımlılığı olan koda geçer, her davranışı bir test dosyasına eşler, yerel kurallara uyar ve ilerledikçe derleme veya doğrulama hatalarını düzeltir .
4. Testleri doğrular – Bitirmeden önce ajan, çok adımlı bir kalite kontrolü çalıştırır (aşağıya bakın) .

RPI süreci üç adımdan oluşur: Araştırma, Planlama ve Uygulama .

Doğrulama süreci: Hafif mutasyon testi ve kalite güvencesi

Ajan, üretilen her test üzerinde hafif bir mutasyon testi ve kalite güvencesi uygular :

• Testlerin başarısız olması gereken küçük kod değişikliklerini dikkate alır.
• Zayıf veya eksik iddiaları (assertion) kontrol eder.
• Talep edilen her senaryonun eşleşen bir testi olduğunu doğrular.
• Çalışma alanının tamamını derler ve tüm test süitini çalıştırır.
• Deponun normal test komutunun yeni testleri bulabildiğini onaylar.

Bu, "geçen" bir testin aslında anlamlı olduğunu ve CI'da bulunabildiğini garanti eder . Ajan, test edilen kodu izole eden ve harici servislerle diğer dış bağımlılıkları taklit eden (mock) birim testleri yazar .

Desteklenen diller ve IDE entegrasyonları

Araç, GitHub'daki MIT lisanslı dotnet/skills reposunda dotnet-test eklentisi olarak sunuluyor . Şunlarla çalışır :

• Diller – .NET, Python, Go, TypeScript, Java ve Rust.
• IDE'ler/araçlar – GitHub Copilot CLI, Visual Studio Code ve VS Code Insiders (önizleme özelliği olarak eklenti desteğiyle).

Barındırılan bir hizmet yerine bir ajan tanımı olarak sunulduğu için, ekibin zaten kullandığı kodlama ajanının içinde çalışır ve kod, harici bir hizmete gidip gelmek yerine yerel kalır .

Mevcut sınırlamalar

• Test türleri – Yalnızca birim testleri desteklenir. Entegrasyon testleri, uçtan uca testler, tarayıcı testleri ve performans testleri açıkça kapsam dışındadır .
• Üretim kodu değişikliği yok – Ajan, test oluşturma sırasında üretim kodunu asla değiştirmez .
• Dengesiz (flaky) testlerden kaçınır – Harici URL'leri çağıran, ağ bağlantı noktaları açan veya tam zamanlamaya bağlı olan birim testlerinden kaçınır .

Benchmark performansı

Microsoft'un 152 görevlik iç benchmark'ında, code-testing-generator ajanı 140 görevi (%92,1) tamamlarken, standart GitHub Copilot 120 görevi (%78,9) tamamladı . Bu performans farkı, genel amaçlı bir komuta güvenmek yerine, testleri oluşturmadan önce kod tabanını araştıran özel bir ajanın avantajını vurguluyor .