Microsoft Ra Mắt ASSERT: 'Vị Cứu Tinh' Cho Các Lỗi AI Agent Trước Khi Lên Sóng

ASSERT tuân theo một quy trình năm bước, biến ý định của nhà phát triển thành một bản đánh giá có chấm điểm và khả năng chẩn đoán chi tiết:

1. Bắt đầu với các chính sách bằng tiếng Anh đơn giản. Các nhà phát triển mô tả các hành vi được mong đợi và bị cấm bằng ngôn ngữ tự nhiên, trích xuất từ yêu cầu sản phẩm, tài liệu tuân thủ, lời nhắc hệ thống hoặc danh sách kiểm tra trước khi phát hành . Một ví dụ điển hình: "Agent hỗ trợ này không được phép hoàn tiền trên $500 nếu không có sự phê duyệt của quản lý" .

2. LLM phân tích đặc tả thành các quy tắc có cấu trúc. ASSERT sử dụng một mô hình ngôn ngữ lớn (LLM) để diễn giải các mô tả văn bản tự do và tạo ra một bản đặc tả có thể đọc được bằng máy về các hành động được chấp nhận và không được chấp nhận .

3. Tạo tình huống kiểm thử đối nghịch. Framework này tạo ra một cách có hệ thống các kịch bản có mục tiêu, các ca kiểm thử và yếu tố đầu vào được thiết kế để thăm dò xem liệu agent có vi phạm các chính sách đã nêu hay không .

4. Thực thi bộ kiểm thử trên agent mục tiêu. ASSERT chạy các bài kiểm tra trên cài đặt agent thực tế, ghi lại từng bước trung gian và lệnh gọi công cụ mà agent thực hiện . Nó không phụ thuộc vào bất kỳ framework cụ thể nào và tương thích với LangChain, CrewAI, AutoGen, LiteLLM, và OpenAI, cùng nhiều nền tảng khác—các nhà phát triển sẽ không bị bó buộc vào Microsoft Foundry .

5. Nhận một báo cáo có chấm điểm và có thể truy vết. Mỗi bài kiểm tra tạo ra một phiếu điểm có cấu trúc với phán quyết đạt/không đạt và lý do chi tiết từ một mô hình giám định. Vì toàn bộ dấu vết thực thi được bảo toàn, các nhà phát triển có thể đào sâu vào chính xác lệnh gọi công cụ hoặc bước quyết định nơi agent đã mắc lỗi .

Vượt Ra Ngoài Các Bài Kiểm Tra Chung Chung

Điều làm nên sự khác biệt của ASSERT so với các công cụ đánh giá chung chung là sự tập trung vào các ranh giới hành vi cụ thể của ứng dụng. Một agent có thể đạt điểm tuyệt đối trong các bài kiểm tra về độ hữu ích và trung thực nhưng vẫn vi phạm một quy tắc sản phẩm như "không bao giờ chia sẻ địa chỉ email của khách hàng với các dịch vụ bên ngoài." ASSERT được xây dựng chính xác để bắt lấy nhóm lỗi này . Microsoft định vị framework này là một công cụ tập trung vào an toàn, lưu ý rằng phương pháp đánh giá của nó đã được xác thực đặc biệt cho đánh giá an toàn, chứ không chỉ là các thước đo chất lượng .

Một Phần Của Bộ Công Cụ Tin Cậy Lớn Hơn

ASSERT được phát hành cùng với Đặc tả Điều khiển Agent (Agent Control Specification - ACS), một dự án mã nguồn mở khác từ Microsoft cho phép các nhóm định nghĩa các tệp chính sách di động chỉ định những gì một agent có thể và không được làm, khi nào cần sự phê duyệt của con người và bằng chứng nào phải được ghi lại . Luồng công việc dự kiến là một quy trình tích hợp: các nhà phát triển chạy ASSERT trước để khám phá lỗi, áp dụng các biện pháp kiểm soát thời gian chạy qua ACS, sau đó chạy lại ASSERT để đo lường sự cải thiện bằng các số liệu trước và sau . Vòng lặp đó—đặc tả, đánh giá, kiểm soát, đánh giá lại—cung cấp cho các nhóm kỹ thuật một quy trình có thể lặp lại để củng cố các hệ thống tác tử trước khi triển khai.

Trong thực tế, một nhà phát triển có thể chỉ định một quy tắc như: "Agent nghiên cứu tài liệu này không được gửi email cho người ngoài công ty, phải giới hạn thông tin bảo mật cho các giám đốc điều hành cấp cao, và phải cung cấp các bản tóm tắt ngắn gọn với ngữ cảnh trước đó." ASSERT sẽ tự động tạo ra các ca kiểm thử tương ứng, chạy chúng và đánh dấu bất kỳ vi phạm chính sách nào bằng một báo cáo có điểm và dấu vết đầy đủ .

ASSERT là mã nguồn mở và được lưu trữ tại github.com/responsibleai/ASSERT. Ngay khi ra mắt, nó đã nhận được sự ủng hộ từ cộng đồng, bao gồm CrewAI, Arize AI, LiteLLM, Pipecat và Pydantic .