How is Microsoft addressing AI agent safety risks in enterprise environments with its new open‑source tools RAMPART and Clarity, and how doMicrosoft’s open‑source RAMPART and Clarity tools aim to embed AI agent safety checks throughout the development lifecycle.
AI พรอมต์
Create a landscape editorial hero image for this Studio Global article: How is Microsoft addressing AI agent safety risks in enterprise environments with its new open‑source tools RAMPART and Clarity, and how do. Article summary: Microsoft is addressing enterprise AI-agent safety by moving safety work into the normal engineering lifecycle: RAMPART turns adversarial and benign agent scenarios into repeatable CI tests, while Clarity helps teams rea. Topic tags: general, documentation, academic, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "### Microsoft Open Sources AI Safety Tools for Agent Development. Microsoft released RAMPART and Clarity as open-source projects intended to help developers test AI agents earlier" source context "Microsoft Open Sources AI Safety Tools for Agent Development -- Redmondmag.com" Reference ima
openai.com
AI Agent กำลังถูกนำไปใช้มากขึ้นในองค์กร ไม่ว่าจะเป็นการช่วยทำงานอัตโนมัติ เข้าถึงระบบภายใน เรียกใช้ API หรือจัดการข้อมูลสำคัญ แต่ความสามารถแบบ “ทำงานได้เอง” ของระบบเหล่านี้ก็สร้างความเสี่ยงด้านความปลอดภัยรูปแบบใหม่ เช่น prompt injection, การเรียกใช้เครื่องมือที่อันตราย หรือการรั่วไหลของข้อมูลภายใน
เพื่อรับมือกับปัญหานี้ Microsoft ได้เปิดตัวเครื่องมือโอเพนซอร์สสองตัวในเดือนพฤษภาคม 2026 ได้แก่ RAMPART และ Clarity ซึ่งถูกออกแบบมาเพื่อฝังแนวคิดด้านความปลอดภัยของ AI เข้าไปในกระบวนการพัฒนาซอฟต์แวร์ตั้งแต่ต้นจนจบ ไม่ใช่แค่ตรวจสอบในช่วงท้ายของโปรเจกต์เท่านั้น
แนวคิดหลักคือทำให้ "AI safety" กลายเป็นส่วนหนึ่งของงานวิศวกรรมปกติ เช่นเดียวกับการทดสอบ unit test หรือ integration test ในระบบซอฟต์แวร์ทั่วไป
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
How is Microsoft addressing AI agent safety risks in enterprise environments with its new open‑source tools RAMPART and Clarity, and how doMicrosoft’s open‑source RAMPART and Clarity tools aim to embed AI agent safety checks throughout the development lifecycle.
AI พรอมต์
Create a landscape editorial hero image for this Studio Global article: How is Microsoft addressing AI agent safety risks in enterprise environments with its new open‑source tools RAMPART and Clarity, and how do. Article summary: Microsoft is addressing enterprise AI-agent safety by moving safety work into the normal engineering lifecycle: RAMPART turns adversarial and benign agent scenarios into repeatable CI tests, while Clarity helps teams rea. Topic tags: general, documentation, academic, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "### Microsoft Open Sources AI Safety Tools for Agent Development. Microsoft released RAMPART and Clarity as open-source projects intended to help developers test AI agents earlier" source context "Microsoft Open Sources AI Safety Tools for Agent Development -- Redmondmag.com" Reference ima
openai.com
AI Agent กำลังถูกนำไปใช้มากขึ้นในองค์กร ไม่ว่าจะเป็นการช่วยทำงานอัตโนมัติ เข้าถึงระบบภายใน เรียกใช้ API หรือจัดการข้อมูลสำคัญ แต่ความสามารถแบบ “ทำงานได้เอง” ของระบบเหล่านี้ก็สร้างความเสี่ยงด้านความปลอดภัยรูปแบบใหม่ เช่น prompt injection, การเรียกใช้เครื่องมือที่อันตราย หรือการรั่วไหลของข้อมูลภายใน
เพื่อรับมือกับปัญหานี้ Microsoft ได้เปิดตัวเครื่องมือโอเพนซอร์สสองตัวในเดือนพฤษภาคม 2026 ได้แก่ RAMPART และ Clarity ซึ่งถูกออกแบบมาเพื่อฝังแนวคิดด้านความปลอดภัยของ AI เข้าไปในกระบวนการพัฒนาซอฟต์แวร์ตั้งแต่ต้นจนจบ ไม่ใช่แค่ตรวจสอบในช่วงท้ายของโปรเจกต์เท่านั้น
แนวคิดหลักคือทำให้ "AI safety" กลายเป็นส่วนหนึ่งของงานวิศวกรรมปกติ เช่นเดียวกับการทดสอบ unit test หรือ integration test ในระบบซอฟต์แวร์ทั่วไป
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
RAMPART (Risk Assessment and Measurement Platform for Agentic Red Teaming) คือเฟรมเวิร์กสำหรับทดสอบความปลอดภัยของ AI Agent โดยเฉพาะ โดยเปิดให้นักพัฒนาสร้างสถานการณ์ทดสอบทั้งแบบปกติและแบบโจมตี (adversarial scenarios) เป็นชุดทดสอบที่สามารถรันซ้ำได้
ใช้งานร่วมกับ pytest
RAMPART ถูกออกแบบให้ทำงานแบบ pytest-native ซึ่งหมายความว่านักพัฒนาที่ใช้ Python สามารถเขียนการทดสอบความปลอดภัยในรูปแบบเดียวกับ unit test ทั่วไป และรันพร้อมกับการทดสอบอื่น ๆ ในระบบ CI ได้ทันที
ข้อดีคือทีมวิศวกรไม่ต้องเรียนรู้ workflow ใหม่ ทำให้การตรวจสอบความปลอดภัยของ AI กลายเป็นส่วนหนึ่งของ pipeline ปกติของการพัฒนา
จำลองการโจมตีจริงในรูปแบบ test case
นักพัฒนาสามารถเขียน test case เพื่อจำลองสถานการณ์เสี่ยงที่ AI Agent อาจพบในโลกจริง เช่น
การโจมตีแบบ prompt injection
คำสั่งที่พยายามหลีกเลี่ยงนโยบายความปลอดภัย
การเรียกใช้เครื่องมือหรือคำสั่ง shell ที่อันตราย
ความพยายามดึงข้อมูลลับจากระบบ
การทดสอบเหล่านี้ช่วยให้ทีมตรวจสอบว่า AI Agent จะ ปฏิเสธคำสั่งที่ไม่ปลอดภัย หรือไม่
เมื่อทีม security หรือ red team พบช่องโหว่ เช่น prompt injection นักพัฒนาสามารถเพิ่มสถานการณ์นั้นเข้าไปในชุด regression test เพื่อให้ระบบตรวจสอบทุกครั้งที่มีการเปลี่ยนโค้ดหรือโมเดลในอนาคต
รองรับพฤติกรรมแบบไม่แน่นอนของ AI
ต่างจากซอฟต์แวร์ทั่วไป ระบบ AI มักมีพฤติกรรม probabilistic หรือไม่ให้ผลลัพธ์เหมือนเดิมทุกครั้ง
ด้วยการรวม การวิเคราะห์ความเสี่ยงในการออกแบบ (Clarity) และ การทดสอบเชิงรุกแบบอัตโนมัติ (RAMPART) Microsoft ต้องการให้ความปลอดภัยของ AI กลายเป็นกระบวนการต่อเนื่องในงานวิศวกรรม ไม่ใช่การตรวจสอบครั้งเดียวก่อนเปิดใช้งาน
เมื่อ AI Agent มีความสามารถและอิสระในการทำงานมากขึ้น วิธีคิดแบบนี้—ที่ฝังการทดสอบความปลอดภัยเข้าไปใน workflow การพัฒนา—อาจกลายเป็นมาตรฐานสำคัญของการสร้างระบบ AI สำหรับองค์กรในอนาคต
RAMPART (Risk Assessment and Measurement Platform for Agentic Red Teaming) คือเฟรมเวิร์กสำหรับทดสอบความปลอดภัยของ AI Agent โดยเฉพาะ โดยเปิดให้นักพัฒนาสร้างสถานการณ์ทดสอบทั้งแบบปกติและแบบโจมตี (adversarial scenarios) เป็นชุดทดสอบที่สามารถรันซ้ำได้
ใช้งานร่วมกับ pytest
RAMPART ถูกออกแบบให้ทำงานแบบ pytest-native ซึ่งหมายความว่านักพัฒนาที่ใช้ Python สามารถเขียนการทดสอบความปลอดภัยในรูปแบบเดียวกับ unit test ทั่วไป และรันพร้อมกับการทดสอบอื่น ๆ ในระบบ CI ได้ทันที
ข้อดีคือทีมวิศวกรไม่ต้องเรียนรู้ workflow ใหม่ ทำให้การตรวจสอบความปลอดภัยของ AI กลายเป็นส่วนหนึ่งของ pipeline ปกติของการพัฒนา
จำลองการโจมตีจริงในรูปแบบ test case
นักพัฒนาสามารถเขียน test case เพื่อจำลองสถานการณ์เสี่ยงที่ AI Agent อาจพบในโลกจริง เช่น
การโจมตีแบบ prompt injection
คำสั่งที่พยายามหลีกเลี่ยงนโยบายความปลอดภัย
การเรียกใช้เครื่องมือหรือคำสั่ง shell ที่อันตราย
ความพยายามดึงข้อมูลลับจากระบบ
การทดสอบเหล่านี้ช่วยให้ทีมตรวจสอบว่า AI Agent จะ ปฏิเสธคำสั่งที่ไม่ปลอดภัย หรือไม่
เมื่อทีม security หรือ red team พบช่องโหว่ เช่น prompt injection นักพัฒนาสามารถเพิ่มสถานการณ์นั้นเข้าไปในชุด regression test เพื่อให้ระบบตรวจสอบทุกครั้งที่มีการเปลี่ยนโค้ดหรือโมเดลในอนาคต
รองรับพฤติกรรมแบบไม่แน่นอนของ AI
ต่างจากซอฟต์แวร์ทั่วไป ระบบ AI มักมีพฤติกรรม probabilistic หรือไม่ให้ผลลัพธ์เหมือนเดิมทุกครั้ง
ด้วยการรวม การวิเคราะห์ความเสี่ยงในการออกแบบ (Clarity) และ การทดสอบเชิงรุกแบบอัตโนมัติ (RAMPART) Microsoft ต้องการให้ความปลอดภัยของ AI กลายเป็นกระบวนการต่อเนื่องในงานวิศวกรรม ไม่ใช่การตรวจสอบครั้งเดียวก่อนเปิดใช้งาน
เมื่อ AI Agent มีความสามารถและอิสระในการทำงานมากขึ้น วิธีคิดแบบนี้—ที่ฝังการทดสอบความปลอดภัยเข้าไปใน workflow การพัฒนา—อาจกลายเป็นมาตรฐานสำคัญของการสร้างระบบ AI สำหรับองค์กรในอนาคต
microsoft.comIntroducing RAMPART and Clarity: Open source tools to bring safety ...
en.cryptonomist.chMicrosoft AI safety tools: RAMPART and Clarity for CI
openclawsome.comMicrosoft open-sources RAMPART and Clarity for agent safety
campustechnology.comMicrosoft Releases Open Source AI Safety Tools for Agent Development -- Campus Technology