Microsoft ASSERT: Sade İngilizce Kuralları Otomatik Yapay Zeka Ajan Testlerine Dönüştürün

1. Sade dille yazılmış politikalarla başlayın. Geliştiriciler, ürün gereksinimlerinden, uyumluluk belgelerinden, sistem talimatlarından veya lansman kontrol listelerinden yola çıkarak beklenen ve yasaklanan davranışları doğal bir dille tanımlar . Örnek: "Bu destek ajanı, yönetici onayı olmadan 500 TL'den fazla iade yapmamalıdır" .

2. LLM, spesifikasyonları yapılandırılmış kurallara dönüştürür. ASSERT, serbest metin açıklamalarını yorumlamak ve kabul edilebilir ile kabul edilemez eylemlerin makine tarafından okunabilir bir şartnamesini oluşturmak için bir dil modeli kullanır .

3. Zorlu (Adversarial) test senaryosu üretimi. Çerçeve, ajanın belirtilen politikaları ihlal edip etmediğini araştırmak için sistematik olarak hedefli senaryolar, uç durumlar ve girdiler oluşturur .

4. Test paketini hedef ajana karşı çalıştırın. ASSERT, testleri gerçek ajan uygulamasına karşı çalıştırır ve ajanın yaptığı her ara adımı ve araç çağrısını kaydeder . Çerçeve bağımsızdır; LangChain, CrewAI, AutoGen, LiteLLM ve OpenAI gibi birçok platformla çalışır. Geliştiriciler Microsoft Foundry'ye bağlı kalmazlar .

5. Puanlı ve izlenebilir bir rapor alın. Her test, bir jüri modelinden geçti/kaldı kararı ve ayrıntılı bir gerekçe içeren yapılandırılmış bir puan kartı üretir. Tüm yürütme izi korunduğu için geliştiriciler, ajanın tam olarak hangi araç çağrısında veya karar adımında hata yaptığını görebilir .

Genel Kıyaslamaların Ötesinde

ASSERT'i genel değerlendirme araçlarından ayıran şey, uygulamaya özgü davranışsal sınırlara odaklanmasıdır. Bir ajan, faydalılık ve doğruluk kıyaslamalarında mükemmel puanlar alırken, "müşteri e-posta adreslerini asla harici hizmetlerle paylaşma" gibi bir ürün kuralını ihlal edebilir. ASSERT, tam olarak bu tür hataları yakalamak için özel olarak üretilmiştir . Microsoft, bu çerçeveyi güvenlik odaklı olarak konumlandırıyor ve değerlendirme metodolojisinin yalnızca kalite metrikleri için değil, özellikle güvenlik değerlendirmesi için doğrulandığını belirtiyor .

Daha Büyük Bir Güven Yapısının Parçası

ASSERT, Microsoft'un ekiplerin bir ajanın ne yapıp ne yapamayacağını, ne zaman insan onayı gerektiğini ve hangi kanıtların kaydedilmesi gerektiğini belirleyen taşınabilir politika dosyaları tanımlamasına olanak tanıyan bir diğer açık kaynak projesi olan Ajan Kontrol Spesifikasyonu (ACS) ile birlikte sunuluyor . Amaçlanan iş akışı entegre bir şekilde işliyor: Geliştiriciler önce kusurları keşfetmek için ASSERT'i çalıştırır, ardından ACS aracılığıyla çalışma zamanı kontrolleri uygular ve son olarak iyileştirmeyi öncesi-sonrası metrikleriyle ölçmek için ASSERT'i yeniden çalıştırır . Bu döngü —belirle, değerlendir, kontrol et, yeniden değerlendir— mühendislik ekiplerine, ajan sistemlerini dağıtımdan önce sağlamlaştırmak için tekrarlanabilir bir süreç sunar.

Pratikte bir geliştirici, şöyle bir kural belirleyebilir: "Bu belge araştırma ajanı, şirket dışındaki kişilere e-posta göndermemeli, gizli bilgileri yalnızca C-seviyesi yöneticilerle sınırlamalı ve önceki bağlamı içeren özlü özetler sunmalıdır." ASSERT, ilgili zorlu test senaryolarını otomatik olarak oluşturur, çalıştırır ve herhangi bir politika ihlalini, puanlı bir rapor ve tam izleme ile işaretler .

ASSERT açık kaynaktır ve github.com/responsibleai/ASSERT adresinde barındırılmaktadır. Lansmanında CrewAI, Arize AI, LiteLLM, Pipecat ve Pydantic'ten topluluk desteği aldı .