หัวใจสำคัญของ ASSERT คือการปิดช่องว่างของการทดสอบ AI ในปัจจุบัน ที่มักใช้มาตรฐานกลางประเมิน AI แบบกว้างๆ เช่น วัดผลเรื่องความมีประโยชน์ (Helpfulness) หรือการไม่สร้างเนื้อหาที่เป็นพิษ (Toxicity) แต่ไม่เคยเจาะจงไปถึง “กฎเหล็ก” ของแต่ละธุรกิจเลย การที่ AI Agent ตัวหนึ่งจะดีหรือไม่ มันไม่ได้อยู่ที่มันพูดจาดีอย่างเดียว แต่อยู่ที่มัน “ไม่แหกกฎ” ต่างหาก

เปลี่ยน “ภาษาคน” สู่ “ชุดทดสอบ AI” ภายใน 5 ขั้นตอน

ความเจ๋งของ ASSERT คือการยกระดับ “ข้อกำหนดภาษาเขียนธรรมดา” ให้กลายเป็นข้อมูลป้อนเข้าขั้นแรก (First-class Input) สำหรับการประเมินผล ที่ไม่ใช่แค่เป็นพื้นหลังอีกต่อไป กระบวนการทำงาน 5 ขั้นตอนของมันมีดังนี้:

1. เริ่มจากนโยบายภาษาอังกฤษธรรมดา: นักพัฒนาแค่เขียนคำอธิบายพฤติกรรมที่คาดหวังหรือห้ามทำ อย่างเช่น “แชทบอทฝ่ายสนับสนุนนี้ห้ามอนุมัติการคืนเงินเกิน 500 ดอลลาร์ โดยไม่ได้รับการอนุมัติจากผู้จัดการก่อน” หรือกฎที่ซับซ้อนกว่านั้น เช่น มาจากข้อกำหนดของผลิตภัณฑ์ หรือเอกสาร Compliance ต่างๆ
2. LLM แปลงข้อกำหนดเป็นกฎที่มีโครงสร้าง: ตัวเฟรมเวิร์กจะใช้ LLM ตีความคำอธิบายที่เราเขียน แล้วปั้นออกมาเป็นข้อกำหนดที่เครื่องอ่านเข้าใจได้ว่าอะไรคือสิ่งที่ยอมรับได้และยอมรับไม่ได้
3. สร้างกรณีทดสอบแบบ “จงใจหาเรื่อง” (Adversarial Test): ระบบจะคิดสถานการณ์สุดโต่ง, กรณีผิดปกติ, หรือลูกเล่นต่างๆ ขึ้นมาอัตโนมัติ โดยมีเป้าหมายเพื่อ “ลองดี” กับ AI Agent ว่ามันจะพลาดทำผิดกฎที่ตั้งไว้หรือไม่
4. ลงมือทดสอบกับ Agent เป้าหมาย: ASSERT จะรันชุดทดสอบที่สร้างขึ้นบน Agent จริงๆ และบันทึกทุกขั้นตอนการทำงาน ทุกการเรียกใช้เครื่องมือ (Tool Call) ระหว่างทางไว้อย่างละเอียด ไม่ต้องห่วงเรื่องการผูกขาด เพราะ ASSERT ถูกออกแบบมาให้ ทำงานข้ามเฟรมเวิร์ก ได้หลากหลาย ไม่ว่าจะเป็น LangChain, CrewAI, AutoGen, LiteLLM, หรือ OpenAI โดยไม่ต้องง้อ Microsoft Foundry
5. รับรายงานพร้อมคะแนนชี้จุดผิดพลาด: ผลลัพธ์ที่ได้จะเป็น Scorecard ที่มีสถานะ ผ่าน/ไม่ผ่าน พร้อมคำอธิบายเหตุผลจาก LLM ที่ทำหน้าที่เป็นกรรมการตัดสิน (Judge Model) และด้วยการที่มันบันทึกเส้นทางการทำงานทั้งหมด (Execution Trace) เอาไว้ เราเลยสามารถเจาะลึกลงไปดูได้เลยว่า Agent เริ่ม “ออกนอกลู่นอกทาง” ตั้งแต่การเรียกใช้เครื่องมือตัวไหน หรือขั้นตอนการตัดสินใจใด

ไม่ใช่แค่เกณฑ์มาตรฐานเดิมๆ

สิ่งสำคัญที่ทำให้ ASSERT แตกต่างจากเครื่องมือวัดผล AI ทั่วไป คือการโฟกัสไปที่ ขอบเขตพฤติกรรมเฉพาะของแอปพลิเคชัน ต่อให้ Agent คุณจะสอบผ่าน Benchmark ด้านความจริงและความมีประโยชน์มาเต็ม 100 แต่ถ้ามันหลุดทำอะไรผิดกฎง่ายๆ เช่น “ห้ามแชร์อีเมลลูกค้าให้บริการภายนอก” มันก็ยังนับว่าเป็นความล้มเหลว และ ASSERT ถูกสร้างมาเพื่อจัดการกับจุดบอดแบบนี้โดยเฉพาะ

ทาง Microsoft ยังได้วางตำแหน่งให้เฟรมเวิร์กนี้เน้นเรื่องความปลอดภัยเป็นศูนย์กลาง โดยระบุว่าวิธีการประเมินผลของมันผ่านการตรวจสอบมาแล้วว่ามีประสิทธิภาพสำหรับการประเมินด้านความปลอดภัยโดยเฉพาะ ไม่ใช่แค่เมตริกคุณภาพทั่วไป

กลไกคู่หูใน ‘Stack แห่งความน่าเชื่อถือ’ (Trust Stack)

ASSERT ไม่ได้มาแบบโดดเดี่ยว แต่มันมาพร้อมกับโปรเจกต์โอเพนซอร์สอีกตัวที่ชื่อว่า Agent Control Specification (ACS) ซึ่งเป็นมาตรฐานที่ให้ทีมพัฒนา, Compliance, และความปลอดภัย สามารถกำหนดไฟล์นโยบายให้ Agent ได้อย่างละเอียด เช่น Agent ทำอะไรได้-ไม่ได้บ้าง, การกระทำไหนต้องขออนุมัติจากคนก่อน, และข้อมูลอะไรที่ต้องถูกบันทึกไว้ตรวจสอบ

แนวทางการทำงานแบบบูรณาการที่ Microsoft ตั้งใจไว้คือ เริ่มจากการใช้ ASSERT ค้นหาจุดบกพร่อง ก่อน จากนั้นใช้ ACS วางระบบควบคุมตอนรันไทม์ แล้ว กลับมาใช้ ASSERT วัดผลซ้ำอีกครั้ง เพื่อดูว่าแก้ไขแล้วดีขึ้นแค่ไหนด้วยเมตริกก่อน-หลัง การวนลูปแบบนี้ (ระบุ → ประเมิน → ควบคุม → ประเมินใหม่) คือกระบวนการที่จะช่วยให้ทีมวิศวกรสร้างระบบ Agentic AI ที่แข็งแกร่งและเชื่อถือได้อย่างยั่งยืน

ในทางปฏิบัติ ภาพคือ นักพัฒนาอยากให้ “AI ผู้ช่วยค้นคว้าข้อมูล” ทำงานภายใต้กฎประมาณว่า “ห้ามส่งอีเมลหาคนนอกบริษัท, จำกัดการเข้าถึงข้อมูลลับไว้เฉพาะผู้บริหารระดับ C-Level, และต้องสรุปใจความสำคัญโดยอ้างอิงบริบทก่อนหน้าเท่านั้น” ASSERT จะช่วยสร้างกรณีทดสอบสุดโหดเพื่อจับผิดกฎเหล่านี้ให้อัตโนมัติเลย

สุดท้ายนี้ ASSERT เปิดให้ใช้งานฟรีในรูปแบบโอเพนซอร์สบน GitHub ที่ github.com/responsibleai/ASSERT และในวันเปิดตัว มีการสนับสนุนจากคอมมูนิตี้ใหญ่อย่าง CrewAI, Arize AI, LiteLLM, Pipecat, และ Pydantic

หัวใจสำคัญของ ASSERT คือการปิดช่องว่างของการทดสอบ AI ในปัจจุบัน ที่มักใช้มาตรฐานกลางประเมิน AI แบบกว้างๆ เช่น วัดผลเรื่องความมีประโยชน์ (Helpfulness) หรือการไม่สร้างเนื้อหาที่เป็นพิษ (Toxicity) แต่ไม่เคยเจาะจงไปถึง “กฎเหล็ก” ของแต่ละธุรกิจเลย การที่ AI Agent ตัวหนึ่งจะดีหรือไม่ มันไม่ได้อยู่ที่มันพูดจาดีอย่างเดียว แต่อยู่ที่มัน “ไม่แหกกฎ” ต่างหาก

เปลี่ยน “ภาษาคน” สู่ “ชุดทดสอบ AI” ภายใน 5 ขั้นตอน

ความเจ๋งของ ASSERT คือการยกระดับ “ข้อกำหนดภาษาเขียนธรรมดา” ให้กลายเป็นข้อมูลป้อนเข้าขั้นแรก (First-class Input) สำหรับการประเมินผล ที่ไม่ใช่แค่เป็นพื้นหลังอีกต่อไป กระบวนการทำงาน 5 ขั้นตอนของมันมีดังนี้:

1. เริ่มจากนโยบายภาษาอังกฤษธรรมดา: นักพัฒนาแค่เขียนคำอธิบายพฤติกรรมที่คาดหวังหรือห้ามทำ อย่างเช่น “แชทบอทฝ่ายสนับสนุนนี้ห้ามอนุมัติการคืนเงินเกิน 500 ดอลลาร์ โดยไม่ได้รับการอนุมัติจากผู้จัดการก่อน” หรือกฎที่ซับซ้อนกว่านั้น เช่น มาจากข้อกำหนดของผลิตภัณฑ์ หรือเอกสาร Compliance ต่างๆ
2. LLM แปลงข้อกำหนดเป็นกฎที่มีโครงสร้าง: ตัวเฟรมเวิร์กจะใช้ LLM ตีความคำอธิบายที่เราเขียน แล้วปั้นออกมาเป็นข้อกำหนดที่เครื่องอ่านเข้าใจได้ว่าอะไรคือสิ่งที่ยอมรับได้และยอมรับไม่ได้
3. สร้างกรณีทดสอบแบบ “จงใจหาเรื่อง” (Adversarial Test): ระบบจะคิดสถานการณ์สุดโต่ง, กรณีผิดปกติ, หรือลูกเล่นต่างๆ ขึ้นมาอัตโนมัติ โดยมีเป้าหมายเพื่อ “ลองดี” กับ AI Agent ว่ามันจะพลาดทำผิดกฎที่ตั้งไว้หรือไม่
4. ลงมือทดสอบกับ Agent เป้าหมาย: ASSERT จะรันชุดทดสอบที่สร้างขึ้นบน Agent จริงๆ และบันทึกทุกขั้นตอนการทำงาน ทุกการเรียกใช้เครื่องมือ (Tool Call) ระหว่างทางไว้อย่างละเอียด ไม่ต้องห่วงเรื่องการผูกขาด เพราะ ASSERT ถูกออกแบบมาให้ ทำงานข้ามเฟรมเวิร์ก ได้หลากหลาย ไม่ว่าจะเป็น LangChain, CrewAI, AutoGen, LiteLLM, หรือ OpenAI โดยไม่ต้องง้อ Microsoft Foundry
5. รับรายงานพร้อมคะแนนชี้จุดผิดพลาด: ผลลัพธ์ที่ได้จะเป็น Scorecard ที่มีสถานะ ผ่าน/ไม่ผ่าน พร้อมคำอธิบายเหตุผลจาก LLM ที่ทำหน้าที่เป็นกรรมการตัดสิน (Judge Model) และด้วยการที่มันบันทึกเส้นทางการทำงานทั้งหมด (Execution Trace) เอาไว้ เราเลยสามารถเจาะลึกลงไปดูได้เลยว่า Agent เริ่ม “ออกนอกลู่นอกทาง” ตั้งแต่การเรียกใช้เครื่องมือตัวไหน หรือขั้นตอนการตัดสินใจใด

ไม่ใช่แค่เกณฑ์มาตรฐานเดิมๆ

สิ่งสำคัญที่ทำให้ ASSERT แตกต่างจากเครื่องมือวัดผล AI ทั่วไป คือการโฟกัสไปที่ ขอบเขตพฤติกรรมเฉพาะของแอปพลิเคชัน ต่อให้ Agent คุณจะสอบผ่าน Benchmark ด้านความจริงและความมีประโยชน์มาเต็ม 100 แต่ถ้ามันหลุดทำอะไรผิดกฎง่ายๆ เช่น “ห้ามแชร์อีเมลลูกค้าให้บริการภายนอก” มันก็ยังนับว่าเป็นความล้มเหลว และ ASSERT ถูกสร้างมาเพื่อจัดการกับจุดบอดแบบนี้โดยเฉพาะ

ทาง Microsoft ยังได้วางตำแหน่งให้เฟรมเวิร์กนี้เน้นเรื่องความปลอดภัยเป็นศูนย์กลาง โดยระบุว่าวิธีการประเมินผลของมันผ่านการตรวจสอบมาแล้วว่ามีประสิทธิภาพสำหรับการประเมินด้านความปลอดภัยโดยเฉพาะ ไม่ใช่แค่เมตริกคุณภาพทั่วไป

กลไกคู่หูใน ‘Stack แห่งความน่าเชื่อถือ’ (Trust Stack)

ASSERT ไม่ได้มาแบบโดดเดี่ยว แต่มันมาพร้อมกับโปรเจกต์โอเพนซอร์สอีกตัวที่ชื่อว่า Agent Control Specification (ACS) ซึ่งเป็นมาตรฐานที่ให้ทีมพัฒนา, Compliance, และความปลอดภัย สามารถกำหนดไฟล์นโยบายให้ Agent ได้อย่างละเอียด เช่น Agent ทำอะไรได้-ไม่ได้บ้าง, การกระทำไหนต้องขออนุมัติจากคนก่อน, และข้อมูลอะไรที่ต้องถูกบันทึกไว้ตรวจสอบ

แนวทางการทำงานแบบบูรณาการที่ Microsoft ตั้งใจไว้คือ เริ่มจากการใช้ ASSERT ค้นหาจุดบกพร่อง ก่อน จากนั้นใช้ ACS วางระบบควบคุมตอนรันไทม์ แล้ว กลับมาใช้ ASSERT วัดผลซ้ำอีกครั้ง เพื่อดูว่าแก้ไขแล้วดีขึ้นแค่ไหนด้วยเมตริกก่อน-หลัง การวนลูปแบบนี้ (ระบุ → ประเมิน → ควบคุม → ประเมินใหม่) คือกระบวนการที่จะช่วยให้ทีมวิศวกรสร้างระบบ Agentic AI ที่แข็งแกร่งและเชื่อถือได้อย่างยั่งยืน

ในทางปฏิบัติ ภาพคือ นักพัฒนาอยากให้ “AI ผู้ช่วยค้นคว้าข้อมูล” ทำงานภายใต้กฎประมาณว่า “ห้ามส่งอีเมลหาคนนอกบริษัท, จำกัดการเข้าถึงข้อมูลลับไว้เฉพาะผู้บริหารระดับ C-Level, และต้องสรุปใจความสำคัญโดยอ้างอิงบริบทก่อนหน้าเท่านั้น” ASSERT จะช่วยสร้างกรณีทดสอบสุดโหดเพื่อจับผิดกฎเหล่านี้ให้อัตโนมัติเลย

สุดท้ายนี้ ASSERT เปิดให้ใช้งานฟรีในรูปแบบโอเพนซอร์สบน GitHub ที่ github.com/responsibleai/ASSERT และในวันเปิดตัว มีการสนับสนุนจากคอมมูนิตี้ใหญ่อย่าง CrewAI, Arize AI, LiteLLM, Pipecat, และ Pydantic