AI TAP: Singapore chuẩn bị công nhận các đơn vị kiểm thử và “bẻ khóa” AI

Các đơn vị được công nhận sẽ được ghi nhận là có năng lực kỹ thuật và khả năng vận hành trong một phạm vi kiểm thử cụ thể, được công bố rõ ràng. Họ cũng có thể được kết nối với những tổ chức đang tìm kiếm nhà cung cấp dịch vụ kiểm thử đủ điều kiện.

Tuy nhiên, AI TAP không phải giấy chứng nhận rằng một hệ thống AI hoàn toàn an toàn hoặc không có rủi ro. Những rủi ro phát sinh từ cách triển khai, quá trình tích hợp hoặc các mối đe dọa mới vẫn có thể tồn tại. Tổ chức sử dụng AI vẫn chịu trách nhiệm về quản trị, chấp nhận rủi ro và triển khai các biện pháp giảm thiểu bổ sung.

Các đơn vị kiểm thử sẽ tìm kiếm điểm yếu nào?

Một phần quan trọng của hoạt động đánh giá là red team — hình thức kiểm thử đối kháng, trong đó chuyên gia chủ động đóng vai kẻ tấn công để tìm cách khiến hệ thống hoạt động ngoài dự kiến.

Các bài kiểm thử có thể bao gồm:

• Prompt injection: đưa chỉ dẫn độc hại vào câu lệnh hoặc dữ liệu mà hệ thống xử lý, nhằm khiến AI bỏ qua chỉ dẫn ban đầu hoặc làm theo yêu cầu trái với thiết kế.
• Jailbreak: tìm cách vượt qua các lớp bảo vệ của mô hình để tạo ra nội dung vi phạm chính sách hoặc không an toàn.
• Kiểm tra khả năng chống chịu trước các cuộc tấn công đặc biệt quan trọng với AI tạo sinh và các hệ thống AI có khả năng tự thực hiện chuỗi tác vụ.

Phạm vi đánh giá có thể bao gồm:

• An toàn và độ tin cậy: phát hiện câu trả lời sai, bịa đặt hoặc nội dung gây hại và không mong muốn.
• Tính công bằng: tìm kiếm thiên lệch trong quá trình ra quyết định.
• Quyền riêng tư và bảo mật: kiểm tra nguy cơ rò rỉ dữ liệu và các lỗ hổng kỹ thuật.
• Khả năng chống prompt injection và jailbreak: đánh giá xem hệ thống có giữ được các cơ chế bảo vệ trước những chỉ dẫn đối kháng hay không.

Doanh nghiệp phải đáp ứng những điều kiện nào?

Hồ sơ đăng ký sẽ được đánh giá cả về năng lực kiểm thử lẫn năng lực tổ chức. Các nhóm tiêu chí chính gồm:

• Năng lực kỹ thuật: doanh nghiệp phải chứng minh có thể thực hiện đúng các dịch vụ kiểm thử cụ thể mà mình tuyên bố cung cấp. Việc đánh giá có thể dựa trên các hướng dẫn như Starter Kit for Testing LLM-Based Applications for Safety and Reliability của IMDA.
• Quản trị và tư cách kinh doanh: có kinh nghiệm phù hợp, duy trì tình trạng hoạt động tốt và cam kết có hoạt động kinh doanh tại Singapore.
• Khả năng tài chính: có nền tảng tài chính đủ vững để vận hành bền vững.
• Mức độ sẵn sàng vận hành: có đủ năng lực tổ chức và khả năng cung cấp các dịch vụ đã đề xuất.
• Phạm vi dịch vụ chính xác: phạm vi dịch vụ công bố phải phù hợp với năng lực đã được chứng minh.

Năm rủi ro cốt lõi trong Starter Kit của IMDA

Starter Kit là bộ hướng dẫn tự nguyện, cung cấp phương pháp kiểm thử cơ bản đối với các ứng dụng mô hình ngôn ngữ lớn (LLM) về độ an toàn và độ tin cậy. Bộ hướng dẫn tập trung vào năm nhóm rủi ro:

1. Ảo giác và thông tin không chính xác.
2. Thiên lệch trong ra quyết định.
3. Nội dung không mong muốn hoặc gây hại.
4. Rò rỉ dữ liệu.
5. Các lỗ hổng, bao gồm nguy cơ bị khai thác bởi chỉ dẫn đối kháng.

Doanh nghiệp có thể xác định những rủi ro liên quan đến ứng dụng của mình, điều chỉnh mức độ kiểm thử cần thiết, sau đó thực hiện các bài kiểm tra theo cách có cấu trúc. Vì vậy, AI TAP không chỉ xem xét việc một công ty có “biết dùng công cụ” hay không, mà còn chú trọng phạm vi, phương pháp và khả năng kiểm thử có thể lặp lại của công ty đó.

Có mất phí không? Thời hạn công nhận bao lâu?

Theo AI Verify Foundation, chương trình sẽ không thu phí đăng ký hoặc phí công nhận. Cách tiếp cận này nhằm giảm rào cản tham gia và hỗ trợ sự phát triển của thị trường dịch vụ bảo đảm AI.

Mỗi lần công nhận có hiệu lực 12 tháng. Sau thời hạn này, doanh nghiệp phải gia hạn và tiếp tục chứng minh năng lực, trong bối cảnh tiêu chuẩn kỹ thuật và môi trường đe dọa có thể thay đổi.

Các công ty được cho là đã bày tỏ sự quan tâm ban đầu gồm Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro và Vulcan.

AI TAP có thể tác động thế nào đến thị trường?

Singapore kỳ vọng chương trình sẽ tạo ra một thị trường kiểm thử bên ngoài nhất quán và đáng tin cậy hơn. Thay vì để mỗi nhà cung cấp tự định nghĩa “kiểm thử AI chất lượng cao” theo một cách khác nhau, AI TAP hướng tới các kỳ vọng chung về:

• Năng lực của đơn vị kiểm thử.
• Phương pháp đánh giá dựa trên bằng chứng và có tài liệu ghi nhận.
• Phạm vi kiểm thử được xác định rõ.
• Khả năng điều chỉnh bài kiểm tra theo mục đích sử dụng và mức độ rủi ro của từng hệ thống.

Các tài liệu được cung cấp không nêu những phát biểu cụ thể của đại diện ngành về việc AI TAP sẽ cải thiện mức độ tùy biến, quản trị hay niềm tin vào an toàn AI như thế nào. Dù vậy, thiết kế của chương trình có thể hỗ trợ các mục tiêu này bằng cách giúp bên mua nhận diện đơn vị đủ năng lực, làm rõ phạm vi kiểm thử và bổ sung một lớp bảo đảm từ đánh giá độc lập.

Điểm đáng chú ý là AI TAP tập trung vào đơn vị kiểm thử, chứ không trực tiếp tuyên bố một sản phẩm AI cụ thể là an toàn. Đây là cách tiếp cận đặt trách nhiệm đúng vào cả hai phía: các chuyên gia kiểm thử phải chứng minh năng lực, còn tổ chức triển khai vẫn phải tự quản trị rủi ro trong bối cảnh sử dụng thực tế.