Giskard Guards: Cách một startup Pháp đang bảo vệ AI agent trong doanh nghiệp

Giskard Guards: Lớp bảo mật runtime cho AI agent

Giskard xây dựng Guards như một lớp trung gian nằm giữa AI agent và các hệ thống mà agent truy cập.

Thay vì chỉ kiểm tra prompt hoặc câu trả lời cuối cùng, nền tảng này phân tích toàn bộ ngữ cảnh thực thi của agent — bao gồm prompt, các bước trung gian, lời gọi công cụ và đầu ra. Mục tiêu là phát hiện hành vi rủi ro trước khi nó ảnh hưởng đến hệ thống sản xuất.

Một số thành phần chính của cách tiếp cận này gồm:

Guardrail dựa trên ngữ cảnh
Hệ thống đánh giá ý định và bối cảnh của tương tác thay vì chỉ dựa vào từ khóa. Nhờ vậy, nó có thể hiểu yêu cầu có liên quan thế nào đến nhiệm vụ của agent, công cụ được kết nối và dữ liệu mà agent truy cập.

Nhiều lớp phát hiện (multi‑detector)
Guards sử dụng nhiều bộ phát hiện cùng lúc để nhận diện jailbreak, prompt injection, rò rỉ dữ liệu nhạy cảm hoặc vi phạm chính sách. Khi phát hiện hành vi đáng ngờ, hệ thống có thể cho phép, theo dõi hoặc chặn hành động đó.

Giám sát toàn bộ chuỗi thực thi
Nền tảng không chỉ kiểm tra đầu vào và đầu ra, mà còn theo dõi chuỗi hành động của agent. Điều này quan trọng vì các cuộc tấn công có thể xuất hiện ở bước trung gian — chẳng hạn một tài liệu chứa hướng dẫn độc hại hoặc một lời gọi công cụ nguy hiểm.

“Policy‑as‑code”: biến quy định thành mã kiểm soát

Một ý tưởng trung tâm của nền tảng là policy‑as‑code.

Doanh nghiệp thường có nhiều quy tắc quản trị: chính sách bảo mật dữ liệu, yêu cầu tuân thủ pháp lý hoặc quy định nội bộ. Thay vì chỉ viết chúng dưới dạng hướng dẫn cho mô hình, policy‑as‑code biến các quy tắc này thành cơ chế kiểm soát có thể thực thi bằng máy.

Nghiên cứu về quản trị AI agent cho thấy các chính sách viết bằng ngôn ngữ tự nhiên có thể được chuyển thành guardrail runtime — ví dụ bằng cách xây dựng cây chính sách và biên dịch thành các bộ phân loại nhẹ để giám sát hoạt động của agent theo thời gian thực.

Nhờ đó, doanh nghiệp có thể định nghĩa các quy tắc như:

• cấm tiết lộ dữ liệu y tế hoặc tài chính
• yêu cầu con người phê duyệt trước các quyết định quan trọng
• giới hạn công cụ mà agent được phép gọi
• ghi log mọi hành động để phục vụ kiểm toán

Vì các quy tắc này được quản lý như mã nguồn, chúng có thể được cập nhật và phiên bản hóa cùng với hệ thống AI.

Liên hệ với EU AI Act

Quản trị AI cũng đang chịu áp lực lớn từ các quy định pháp lý mới.

EU AI Act của Liên minh châu Âu áp dụng khung quản lý dựa trên mức độ rủi ro. Các hệ thống AI được phân loại là high‑risk — ví dụ liên quan đến y tế, việc làm, giáo dục hoặc cơ sở hạ tầng quan trọng — phải đáp ứng nhiều yêu cầu nghiêm ngặt như quản lý rủi ro, ghi log, minh bạch, độ tin cậy và giám sát của con người.

Các nền tảng như Giskard Guards có thể hỗ trợ tuân thủ bằng cách:

• giám sát hành vi hệ thống và lưu nhật ký
• thực thi chính sách trong quá trình runtime
• cung cấp khả năng kiểm toán và giám sát quyết định tự động

Những cơ chế này phù hợp với các yêu cầu như human oversight và technical robustness trong luật AI của EU.

Vì sao ngân hàng, bảo hiểm và y tế đặc biệt quan tâm

Nhu cầu quản trị AI agent rõ rệt nhất trong các ngành có quy định chặt.

Trong ngân hàng và bảo hiểm, AI agent có thể hỗ trợ phân tích bảo hiểm, phát hiện gian lận, xử lý yêu cầu bồi thường hoặc chăm sóc khách hàng. Những quy trình này liên quan trực tiếp đến dữ liệu tài chính và nghĩa vụ pháp lý.

Trong y tế, mức độ rủi ro còn cao hơn. AI agent có thể tóm tắt hồ sơ bệnh án, truy xuất dữ liệu bệnh nhân hoặc hỗ trợ phân loại bệnh. Guardrail phải đảm bảo dữ liệu y tế được bảo vệ và các đề xuất tự động không vượt qua bước kiểm soát của bác sĩ.

Vì vậy, nhiều tổ chức muốn các cơ chế bảo mật ở cấp hạ tầng, thay vì chỉ dựa vào prompt hoặc hướng dẫn mô hình.

Tham vọng “AI chủ quyền” của châu Âu

Giskard cũng định vị Guards trong xu hướng sovereign AI của châu Âu.

Nền tảng hỗ trợ triển khai on‑premise hoặc trong hạ tầng do doanh nghiệp kiểm soát, giúp các tổ chức giữ dữ liệu nhạy cảm, log hệ thống và chính sách bảo mật bên trong môi trường của mình.

Điều này đặc biệt quan trọng với các công ty hoạt động trong khuôn khổ pháp lý của EU như GDPR và EU AI Act, nơi vị trí lưu trữ dữ liệu và quyền kiểm soát hạ tầng có thể ảnh hưởng đến quyết định triển khai AI.

Xu hướng lớn: bảo mật hành vi AI, không chỉ nội dung

Sự nổi lên của AI agent đang thay đổi cách tiếp cận an toàn AI.

Các guardrail chỉ kiểm tra prompt hoặc văn bản đầu ra không thể bao quát những hệ thống có khả năng lập kế hoạch, truy cập dữ liệu và gọi công cụ. Vì vậy, hướng đi mới là giám sát hành vi của AI trong toàn bộ quy trình hoạt động và áp dụng các quy tắc quản trị ngay khi agent đang chạy.

Giskard Guards là một ví dụ cho xu hướng đó: chuyển trọng tâm từ kiểm duyệt nội dung sang bảo mật hành vi của AI agent trong môi trường doanh nghiệp.

Dù vậy, việc liệu các nền tảng như vậy có thể ngăn chặn hoàn toàn các lỗi phức tạp trong hệ thống AI quy mô lớn hay không vẫn là câu hỏi mở — đặc biệt khi AI agent ngày càng mạnh và được tích hợp sâu vào hạ tầng kinh doanh.