उत्तरप्रकाशित16 स्रोत
माइक्रोसॉफ्ट का ASSERT फ्रेमवर्क: कैसे AI एजेंट्स की गलतियाँ प्रोडक्शन से पहले पकड़ी जाएंगी
ASSERT (अडैप्टिव स्पेक ड्रिवन स्कोरिंग फॉर इवैल्यूएशन एंड रिग्रेशन टेस्टिंग) एक ओपन सोर्स फ्रेमवर्क है जो सादी भाषा के व्यवहार नियमों को क्रियान्वयन योग्य और स्कोर योग्य टेस्ट सूट में बदलता है, तथा नीति उल्लंघनों और स... यह प्रतिकूल (एडवर्सेरियल) परिदृश्य तैयार करता है, हर टूल कॉल को लॉग करता है, और स्कोर के साथ पास...
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Microsoft's ASSERT framework, announced at Build 2026, and how does it convert natural-language AI behavior policies into structured. Article summary: Here is a concise answer based on the official Microsoft sources and trusted reporting.. Topic tags: general, general web. Reference image context from search candidates: Reference image 1: visual subject "# Build agents you can trust across any framework with open evals and a control standard. The gap is concrete: written policies do not translate into working runtime controls, eval" source context "Build agents you can trust across any framework with open evals ..." Reference image 2: visual subject "# Microsoft is making AI behavior testing easier for developers. Microsoft has released ASSERT, an open-source framework that turns plain-language AI behavior re
माइक्रोसॉफ्ट ने 2 जून, 2026 को अपने बिल्ड 2026 डेवलपर कॉन्फ्रेंस में ASSERT (अडैप्टिव स्पेक-ड्रिवन स्कोरिंग फॉर इवैल्यूएशन एंड रिग्रेशन टेस्टिंग) की घोषणा की और इसे रिस्पॉन्सिबल AI पहल के तहत GitHub पर एक ओपन-सोर्स प्रोजेक्ट के रूप में जारी किया । यह फ्रेमवर्क एजेंटिक AI डेवलपमेंट की एक बड़ी समस्या का समाधान करता है: आप कैसे सुनिश्चित करें कि एक स्वायत्त एजेंट, असली यूज़र्स या सिस्टम से संपर्क करने से पहले, आपके उत्पाद के विशिष्ट नियमों और सुरक्षा सीमाओं का पालन करेगा? पारंपरिक AI बेंचमार्क — जो सहायकता, विषाक्तता, या सामान्य सटीकता मापते हैं — अक्सर एप्लिकेशन-विशिष्ट व्यवहार में होने वाली गंभीर विफलताओं को मिस कर देते हैं, जैसे कोई एजेंट बिना अनुमति रिफंड जारी कर दे या गोपनीय डेटा गलत व्यक्ति को भेज दे
। ASSERT इस कमी को पूरा करता है और प्राकृतिक भाषा के व्यवहार विनिर्देशों को मूल्यांकन का प्रथम-श्रेणी इनपुट बनाता है, न कि सिर्फ पृष्ठभूमि संदर्भ।
कैसे ASSERT शब्दों को टेस्ट सूट में बदलता है
ASSERT पांच चरणों वाली एक प्रक्रिया का अनुसरण करता है जो एक डेवलपर के लिखित इरादे को एक स्कोर योग्य और जांच योग्य मूल्यांकन में बदल देती है:
-
सादी अंग्रेज़ी नीतियों से शुरुआत करें। डेवलपर्स उत्पाद आवश्यकताओं, अनुपालन दस्तावेज़ों, सिस्टम प्रॉम्प्ट, या लॉन्च चेकलिस्ट से प्राकृतिक भाषा में अपेक्षित और निषिद्ध व्यवहारों का वर्णन करते हैं
। एक उदाहरण: "यह सपोर्ट एजेंट मैनेजर की मंज़ूरी के बिना $500 से अधिक का रिफंड जारी नहीं करेगा"
।
-
LLM विनिर्देशों को संरचित नियमों में बदलता है। ASSERT एक भाषा मॉडल (LLM) का उपयोग करके फ्री-टेक्स्ट विवरणों की व्याख्या करता है और स्वीकार्य तथा अस्वीकार्य कार्यों का एक मशीन-पठनीय विनिर्देश तैयार करता है
।
-
प्रतिकूल (एडवर्सेरियल) टेस्ट-केस का निर्माण। फ्रेमवर्क व्यवस्थित रूप से लक्षित परिदृश्य, एज केसेस और इनपुट तैयार करता है, ताकि यह जांचा जा सके कि एजेंट बताई गई नीतियों का उल्लंघन करता है या नहीं
।
-
लक्षित एजेंट के खिलाफ टेस्ट सूट को चलाएं। ASSERT वास्तविक एजेंट कार्यान्वयन के खिलाफ टेस्ट चलाता है और एजेंट द्वारा उठाए गए हर मध्यवर्ती कदम और टूल कॉल को रिकॉर्ड करता है
। यह फ्रेमवर्क-अज्ञेयवादी (फ्रेमवर्क-एग्नॉस्टिक) है और LangChain, CrewAI, AutoGen, LiteLLM, और OpenAI के साथ काम करता है — डेवलपर्स सिर्फ माइक्रोसॉफ्ट फाउंड्री तक सीमित नहीं हैं
।
-
एक स्कोर की गई, ट्रेस करने योग्य रिपोर्ट प्राप्त करें। हर टेस्ट एक संरचित स्कोरकार्ड तैयार करता है जिसमें पास/फेल का फैसला और एक जज मॉडल से विस्तृत तर्क शामिल होता है। चूंकि पूरा निष्पादन ट्रेस सुरक्षित रखा जाता है, डेवलपर्स ठीक उस टूल कॉल या निर्णय चरण तक पहुंच सकते हैं जहां एजेंट ने गलती की
।
आम बेंचमार्क से आगे
ASSERT को आम मूल्यांकन उपकरणों से जो चीज़ अलग करती है, वह है इसका एप्लिकेशन-विशिष्ट व्यवहार सीमाओं पर ध्यान केंद्रित करना। एक एजेंट सहायकता और सत्यता के बेंचमार्क पर पूर्ण अंक प्राप्त कर सकता है, फिर भी "ग्राहक के ईमेल पते बाहरी सेवाओं के साथ कभी साझा न करने" जैसे उत्पाद नियम का उल्लंघन कर सकता है। ASSERT को विशेष रूप से इसी श्रेणी की विफलताओं को पकड़ने के लिए बनाया गया है । माइक्रोसॉफ्ट इस फ्रेमवर्क को सुरक्षा-केंद्रित बताता है, और यह भी नोट करता है कि इसकी मूल्यांकन पद्धति को विशेष रूप से सुरक्षा आकलन के लिए मान्य किया गया था, न कि केवल गुणवत्ता मीट्रिक्स के लिए
।
एक बड़े ट्रस्ट स्टैक का हिस्सा
ASSERT के साथ एजेंट कंट्रोल स्पेसिफिकेशन (ACS) भी जारी किया गया है, जो माइक्रोसॉफ्ट की एक और ओपन-सोर्स परियोजना है। यह टीमों को पोर्टेबल नीति फाइलों को परिभाषित करने की सुविधा देती है जो यह निर्दिष्ट करती हैं कि एक एजेंट क्या कर सकता है और क्या नहीं, कब मानवीय मंजूरी की आवश्यकता है, और क्या सबूत लॉग किए जाने चाहिए । अभिप्रेत वर्कफ़्लो एकीकृत है: डेवलपर्स सबसे पहले खामियों का पता लगाने के लिए ASSERT चलाते हैं, ACS के माध्यम से रनटाइम नियंत्रण लागू करते हैं, और फिर सुधार को पहले-और-बाद के मीट्रिक्स के साथ मापने के लिए ASSERT को फिर से चलाते हैं
। यह चक्र — निर्दिष्ट करना, मूल्यांकन करना, नियंत्रित करना, पुनर्मूल्यांकन करना — इंजीनियरिंग टीमों को डिप्लॉयमेंट से पहले एजेंटिक सिस्टम को मजबूत करने के लिए एक दोहराने योग्य प्रक्रिया प्रदान करता है।
व्यवहार में, एक डेवलपर ऐसा नियम निर्दिष्ट कर सकता है जैसे: "यह दस्तावेज़ अनुसंधान एजेंट कंपनी के बाहर के लोगों को ईमेल नहीं भेजेगा, गोपनीय जानकारी को सी-लेवल अधिकारियों तक सीमित रखेगा, और पूर्व संदर्भ के साथ संक्षिप्त सारांश प्रदान करेगा।" ASSERT स्वचालित रूप से संबंधित प्रतिकूल टेस्ट केस तैयार करेगा, उन्हें चलाएगा, और एक स्कोर रिपोर्ट और पूर्ण ट्रेस के साथ किसी भी नीति उल्लंघन को चिह्नित करेगा ।
ASSERT ओपन सोर्स है और github.com/responsibleai/ASSERT पर होस्ट किया गया है। लॉन्च के समय, इसे CrewAI, Arize AI, LiteLLM, Pipecat, और Pydantic से सामुदायिक समर्थन प्राप्त हुआ ।
Studio Global AI
Search, cite, and publish your own answer
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
लोग पूछते भी हैं
"माइक्रोसॉफ्ट का ASSERT फ्रेमवर्क: कैसे AI एजेंट्स की गलतियाँ प्रोडक्शन से पहले पकड़ी जाएंगी" का संक्षिप्त उत्तर क्या है?
ASSERT (अडैप्टिव स्पेक ड्रिवन स्कोरिंग फॉर इवैल्यूएशन एंड रिग्रेशन टेस्टिंग) एक ओपन सोर्स फ्रेमवर्क है जो सादी भाषा के व्यवहार नियमों को क्रियान्वयन योग्य और स्कोर योग्य टेस्ट सूट में बदलता है, तथा नीति उल्लंघनों और स...
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
ASSERT (अडैप्टिव स्पेक ड्रिवन स्कोरिंग फॉर इवैल्यूएशन एंड रिग्रेशन टेस्टिंग) एक ओपन सोर्स फ्रेमवर्क है जो सादी भाषा के व्यवहार नियमों को क्रियान्वयन योग्य और स्कोर योग्य टेस्ट सूट में बदलता है, तथा नीति उल्लंघनों और स... यह प्रतिकूल (एडवर्सेरियल) परिदृश्य तैयार करता है, हर टूल कॉल को लॉग करता है, और स्कोर के साथ पास/फेल डायग्नोस्टिक्स प्रदान करता है। यह LangChain, CrewAI, AutoGen, OpenAI और अन्य बड़े फ्रेमवर्क के साथ काम करता है।
मुझे अभ्यास में आगे क्या करना चाहिए?
सहायकता या विषाक्तता जांचने वाले आम बेंचमार्क के उलट, ASSERT एप्लिकेशन विशिष्ट व्यवहार सीमाओं पर फोकस करता है — यह जांचता है कि AI एजेंट डेवलपर्स द्वारा लिखे सटीक उत्पाद नियमों का पालन करता है या नहीं।
सूत्र
- devblogs.microsoft.comBuild agents you can trust across any framework with open evals ...
- techcrunch.comNew Microsoft tool lets devs spin up AI behavior tests using text ...
- commandline.microsoft.comTurn specs into evals for any agent with ASSERT - Command Line
- devblogs.microsoft.comModels And Compute
- aiweekly.coMicrosoft AI News — Latest Updates, Tracker & Coverage
- binance.comMicrosoft Build 2026 Developer Conference: The 'Agent First' Era ...
- theaiinsider.techMicrosoft Builds AI Governance Stack to Tame the Agentic Era
- aiagentstore.aiDaily AI Agent News - June 2026
- zamin.uzMicrosoft introduces ASSERT, an AI testing tool for developers
- geniusfirms.comMicrosoft Launches ASSERT for AI Behavior Testing - GeniusFirms
- contentbuffer.comMicrosoft Open-Sources ASSERT for Spec-Driven AI Tests
- getaibook.comMicrosoft Foundry Ships ASSERT for Stochastic Agent Evaluation
- blog.ratnesh-maurya.comMicrosoft's AI Offensive: New Models, Dev Tools, and Agent Security Take ...
- ecosistemastartup.comMicrosoft ASSERT: testing de IA con texto en 2026
- tpsreport.newsTPS — Tokens Per Second | The Fastest LLM News
- pulse2.comMicrosoft Unveils Wave Of AI Tools And Platforms At Build 2026