White Circle và cuộc đua xây lớp kiểm soát AI thời gian thực

White Circle hoạt động như thế nào

Thay vì chỉ kiểm tra mô hình trước khi triển khai, White Circle tập trung vào giám sát AI ngay trong môi trường production.

Nền tảng đặt một lớp trung gian giữa người dùng (hoặc ứng dụng) và mô hình AI. Mọi yêu cầu và phản hồi đều được quan sát và phân tích theo thời gian thực, sau đó áp các chính sách bảo mật hoặc quy tắc vận hành do doanh nghiệp thiết lập.

Nhờ vậy, doanh nghiệp có thể:

• Theo dõi mọi đầu vào và đầu ra của hệ thống AI
• Phát hiện phản hồi sai hoặc nguy hiểm
• Áp dụng các chính sách bảo mật và tuân thủ
• Đánh giá hiệu suất và độ ổn định của mô hình

White Circle mô tả hệ thống của mình là nền tảng giúp kiểm thử, bảo vệ, giám sát và cải thiện AI liên tục, biến quản trị AI thành một năng lực vận hành hàng ngày thay vì chỉ là bước kiểm tra một lần trước khi triển khai.

Những rủi ro AI mà nền tảng muốn phát hiện

Khi các doanh nghiệp triển khai AI sinh nội dung (generative AI), một số vấn đề kỹ thuật và bảo mật thường xuyên xuất hiện. White Circle thiết kế hệ thống để phát hiện các rủi ro này theo thời gian thực.

Hallucination (AI “bịa” thông tin)

Các mô hình ngôn ngữ lớn có thể đưa ra câu trả lời nghe rất tự tin nhưng lại sai sự thật. Nền tảng của White Circle phân tích phản hồi và đánh dấu các câu trả lời đáng ngờ trước khi chúng đến tay người dùng hoặc hệ thống khác.

Tấn công Prompt‑Injection và Jailbreak

Kẻ tấn công có thể viết prompt để ép mô hình bỏ qua các quy tắc an toàn hoặc tiết lộ thông tin bị hạn chế. Hệ thống của White Circle theo dõi prompt và phản hồi để phát hiện và chặn các hành vi này.

Model Drift

Theo thời gian, hành vi của mô hình có thể thay đổi do dữ liệu đầu vào mới, tích hợp hệ thống mới hoặc thay đổi hành vi người dùng. Việc giám sát liên tục giúp phát hiện các thay đổi bất thường trong đầu ra của mô hình.

Rò rỉ dữ liệu nhạy cảm

AI có thể vô tình tiết lộ dữ liệu nội bộ thông qua prompt, hệ thống bộ nhớ hoặc nguồn tri thức tích hợp. White Circle quét các tương tác để phát hiện và ngăn chặn nguy cơ rò rỉ thông tin.

Rủi ro từ tốc độ phát triển AI quá nhanh

Xu hướng phát triển phần mềm với AI hỗ trợ—đôi khi được gọi là “vibe coding”—khiến các nhóm có thể triển khai tính năng AI rất nhanh nhưng thiếu lớp kiểm soát và giám sát. White Circle định vị mình như lớp an toàn vận hành cho những môi trường phát triển nhanh như vậy.

Câu chuyện “jailbreak” khiến nhà sáng lập nổi tiếng

White Circle được thành lập bởi kỹ sư Denis Shilov. Ông thu hút sự chú ý trong cộng đồng AI vào năm 2024 khi chứng minh rằng một prompt duy nhất có thể vượt qua bộ lọc an toàn của nhiều mô hình AI lớn.

Kỹ thuật này thường được gọi là “universal jailbreak”. Shilov yêu cầu mô hình không hành xử như chatbot có quy tắc an toàn, mà như một API đơn thuần chỉ trả lời yêu cầu. Khi vai trò của mô hình bị “tái định nghĩa” như vậy, nhiều hệ thống đã bỏ qua các guardrail và trả về nội dung bị cấm.

Thí nghiệm này làm nổi bật một vấn đề quan trọng: các cơ chế an toàn tích hợp trong mô hình có thể chưa đủ, và các lớp kiểm soát bên ngoài có thể cần thiết khi AI được triển khai trong sản phẩm thực.

Vòng gọi vốn 11 triệu USD

White Circle đã huy động 11 triệu USD vòng seed từ một nhóm nhà đầu tư gồm nhiều lãnh đạo và kỹ sư nổi tiếng trong ngành AI và hạ tầng phần mềm.

Một số nhà đầu tư đáng chú ý gồm:

• Romain Huet (OpenAI)
• Dirk Kingma (Anthropic, trước đây thuộc OpenAI)
• Guillaume Lample (Mistral)
• Thomas Wolf (Hugging Face)
• Olivier Pomel (Datadog)
• François Chollet (Keras)
• Mehdi Ghissassi (cựu DeepMind)
• Paige Bailey (DeepMind)
• David Cramer (Sentry)

Sự tham gia của các tên tuổi này cho thấy hạ tầng giám sát và quản trị AI đang trở thành một lĩnh vực quan trọng khi các doanh nghiệp mở rộng triển khai AI.

White Circle sẽ dùng tiền để làm gì

Theo các báo cáo, nguồn vốn mới sẽ được dùng cho ba mục tiêu chính:

• Tăng tốc phát triển nền tảng giám sát AI
• Mở rộng đội ngũ kỹ sư và vận hành tại Mỹ, Anh và châu Âu
• Mở rộng khách hàng doanh nghiệp trên toàn cầu

Nền tảng của công ty được cho là đã xử lý hơn một tỷ yêu cầu API, cho thấy các doanh nghiệp đang bắt đầu áp dụng các công cụ giám sát AI ở quy mô lớn.

Xu hướng lớn hơn: AI cần một “lớp vận hành” riêng

Khi AI được tích hợp sâu vào phần mềm doanh nghiệp—từ ngân hàng số đến công cụ lập trình—thách thức không chỉ là xây dựng mô hình, mà còn là quản lý chúng một cách an toàn sau khi triển khai.

Các startup như White Circle đang cố gắng tạo ra lớp hạ tầng còn thiếu trong “AI stack”: công cụ giúp hệ thống AI có thể quan sát, kiểm soát và vận hành an toàn trong thời gian thực. Bằng cách theo dõi từng tương tác giữa người dùng và mô hình, các nền tảng này hy vọng giảm rủi ro từ hallucination, tấn công prompt và rò rỉ dữ liệu—những vấn đề ngày càng phổ biến khi AI được triển khai ở quy mô doanh nghiệp.