Giskard Guards: Cách một startup Pháp đang bảo vệ AI agent trong doanh nghiệp

AI agent đang nhanh chóng chuyển từ thử nghiệm sang các quy trình thực tế trong doanh nghiệp. Chúng có thể truy xuất tài liệu, gọi API, thao tác nhiều bước và tương tác trực tiếp với các hệ thống kinh doanh.

Nhưng chính khả năng này cũng mở ra một loạt rủi ro mới: prompt injection, hành động do “hallucination”, rò rỉ dữ liệu nhạy cảm hoặc sử dụng công cụ sai cách. Các hệ thống kiểm duyệt AI truyền thống vốn chỉ được thiết kế để lọc nội dung — nên không đủ để kiểm soát các hệ thống agent phức tạp.

Startup Pháp Giskard đang cố gắng lấp khoảng trống đó bằng nền tảng Giskard Guards — một lớp bảo mật và quản trị chạy thời gian thực dành riêng cho AI agent trong doanh nghiệp.

Khoảng trống bảo mật của AI agent hiện đại

Các cơ chế an toàn ban đầu của AI chủ yếu tập trung vào hai thứ: prompt của người dùng và câu trả lời của mô hình.

Điều này từng đủ khi mô hình ngôn ngữ chỉ đóng vai trò chatbot tạo văn bản. Nhưng AI agent hiện đại có thể:

• truy xuất tài liệu bên ngoài hoặc dữ liệu nội bộ
• gọi API và công cụ tự động hóa
• lập kế hoạch nhiều bước
• tương tác với hệ thống vận hành nhạy cảm

Do đó, rủi ro đã chuyển từ “nội dung xấu” sang “hành vi xấu”.

Một agent có thể:

• tạo ra thông tin sai do hallucination
• làm theo chỉ dẫn độc hại được chèn trong tài liệu truy xuất
• vô tình tiết lộ dữ liệu nhạy cảm
• thực hiện hành động ngoài ý muốn thông qua công cụ kết nối

Những lỗi này có thể làm gián đoạn quy trình kinh doanh hoặc làm lộ thông tin mật nếu xảy ra trong môi trường production.

Các guardrail truyền thống — thường chỉ là bộ lọc từ khóa hoặc phân loại nội dung — khó xử lý các tình huống như vậy. Chúng thường thiếu bối cảnh vận hành, dẫn đến việc chặn nhầm yêu cầu hợp lệ nhưng lại bỏ sót các tấn công phức tạp như prompt injection nhiều bước.

Giskard Guards: Lớp bảo mật runtime cho AI agent

Giskard xây dựng Guards như một lớp trung gian nằm giữa AI agent và các hệ thống mà agent truy cập.

Thay vì chỉ kiểm tra prompt hoặc câu trả lời cuối cùng, nền tảng này phân tích toàn bộ ngữ cảnh thực thi của agent — bao gồm prompt, các bước trung gian, lời gọi công cụ và đầu ra. Mục tiêu là phát hiện hành vi rủi ro trước khi nó ảnh hưởng đến hệ thống sản xuất.

Một số thành phần chính của cách tiếp cận này gồm:

Guardrail dựa trên ngữ cảnh
Hệ thống đánh giá ý định và bối cảnh của tương tác thay vì chỉ dựa vào từ khóa. Nhờ vậy, nó có thể hiểu yêu cầu có liên quan thế nào đến nhiệm vụ của agent, công cụ được kết nối và dữ liệu mà agent truy cập.

Nhiều lớp phát hiện (multi‑detector)
Guards sử dụng nhiều bộ phát hiện cùng lúc để nhận diện jailbreak, prompt injection, rò rỉ dữ liệu nhạy cảm hoặc vi phạm chính sách. Khi phát hiện hành vi đáng ngờ, hệ thống có thể cho phép, theo dõi hoặc chặn hành động đó.

Giám sát toàn bộ chuỗi thực thi
Nền tảng không chỉ kiểm tra đầu vào và đầu ra, mà còn theo dõi chuỗi hành động của agent. Điều này quan trọng vì các cuộc tấn công có thể xuất hiện ở bước trung gian — chẳng hạn một tài liệu chứa hướng dẫn độc hại hoặc một lời gọi công cụ nguy hiểm.

“Policy‑as‑code”: biến quy định thành mã kiểm soát

Một ý tưởng trung tâm của nền tảng là policy‑as‑code.

Doanh nghiệp thường có nhiều quy tắc quản trị: chính sách bảo mật dữ liệu, yêu cầu tuân thủ pháp lý hoặc quy định nội bộ. Thay vì chỉ viết chúng dưới dạng hướng dẫn cho mô hình, policy‑as‑code biến các quy tắc này thành cơ chế kiểm soát có thể thực thi bằng máy.

Nghiên cứu về quản trị AI agent cho thấy các chính sách viết bằng ngôn ngữ tự nhiên có thể được chuyển thành guardrail runtime — ví dụ bằng cách xây dựng cây chính sách và biên dịch thành các bộ phân loại nhẹ để giám sát hoạt động của agent theo thời gian thực.

Nhờ đó, doanh nghiệp có thể định nghĩa các quy tắc như:

• cấm tiết lộ dữ liệu y tế hoặc tài chính
• yêu cầu con người phê duyệt trước các quyết định quan trọng
• giới hạn công cụ mà agent được phép gọi
• ghi log mọi hành động để phục vụ kiểm toán

Vì các quy tắc này được quản lý như mã nguồn, chúng có thể được cập nhật và phiên bản hóa cùng với hệ thống AI.

Liên hệ với EU AI Act

Quản trị AI cũng đang chịu áp lực lớn từ các quy định pháp lý mới.

EU AI Act của Liên minh châu Âu áp dụng khung quản lý dựa trên mức độ rủi ro. Các hệ thống AI được phân loại là high‑risk — ví dụ liên quan đến y tế, việc làm, giáo dục hoặc cơ sở hạ tầng quan trọng — phải đáp ứng nhiều yêu cầu nghiêm ngặt như quản lý rủi ro, ghi log, minh bạch, độ tin cậy và giám sát của con người.

Các nền tảng như Giskard Guards có thể hỗ trợ tuân thủ bằng cách:

• giám sát hành vi hệ thống và lưu nhật ký
• thực thi chính sách trong quá trình runtime
• cung cấp khả năng kiểm toán và giám sát quyết định tự động

Những cơ chế này phù hợp với các yêu cầu như human oversight và technical robustness trong luật AI của EU.

Vì sao ngân hàng, bảo hiểm và y tế đặc biệt quan tâm

Nhu cầu quản trị AI agent rõ rệt nhất trong các ngành có quy định chặt.

Trong ngân hàng và bảo hiểm, AI agent có thể hỗ trợ phân tích bảo hiểm, phát hiện gian lận, xử lý yêu cầu bồi thường hoặc chăm sóc khách hàng. Những quy trình này liên quan trực tiếp đến dữ liệu tài chính và nghĩa vụ pháp lý.

Trong y tế, mức độ rủi ro còn cao hơn. AI agent có thể tóm tắt hồ sơ bệnh án, truy xuất dữ liệu bệnh nhân hoặc hỗ trợ phân loại bệnh. Guardrail phải đảm bảo dữ liệu y tế được bảo vệ và các đề xuất tự động không vượt qua bước kiểm soát của bác sĩ.

Vì vậy, nhiều tổ chức muốn các cơ chế bảo mật ở cấp hạ tầng, thay vì chỉ dựa vào prompt hoặc hướng dẫn mô hình.

Tham vọng “AI chủ quyền” của châu Âu

Giskard cũng định vị Guards trong xu hướng sovereign AI của châu Âu.

Nền tảng hỗ trợ triển khai on‑premise hoặc trong hạ tầng do doanh nghiệp kiểm soát, giúp các tổ chức giữ dữ liệu nhạy cảm, log hệ thống và chính sách bảo mật bên trong môi trường của mình.

Điều này đặc biệt quan trọng với các công ty hoạt động trong khuôn khổ pháp lý của EU như GDPR và EU AI Act, nơi vị trí lưu trữ dữ liệu và quyền kiểm soát hạ tầng có thể ảnh hưởng đến quyết định triển khai AI.

Xu hướng lớn: bảo mật hành vi AI, không chỉ nội dung

Sự nổi lên của AI agent đang thay đổi cách tiếp cận an toàn AI.

Các guardrail chỉ kiểm tra prompt hoặc văn bản đầu ra không thể bao quát những hệ thống có khả năng lập kế hoạch, truy cập dữ liệu và gọi công cụ. Vì vậy, hướng đi mới là giám sát hành vi của AI trong toàn bộ quy trình hoạt động và áp dụng các quy tắc quản trị ngay khi agent đang chạy.

Giskard Guards là một ví dụ cho xu hướng đó: chuyển trọng tâm từ kiểm duyệt nội dung sang bảo mật hành vi của AI agent trong môi trường doanh nghiệp.

Dù vậy, việc liệu các nền tảng như vậy có thể ngăn chặn hoàn toàn các lỗi phức tạp trong hệ thống AI quy mô lớn hay không vẫn là câu hỏi mở — đặc biệt khi AI agent ngày càng mạnh và được tích hợp sâu vào hạ tầng kinh doanh.