Cloudflare AI Gateway Đem Đến Kiểm Soát Chi Tiêu Thực Sự: Ngân Sách Bằng Đô-La, Không Còn Giới Hạn Tần Suất

Hai Lớp Thực Thi

Giới hạn chi tiêu được thực thi ở hai cấp độ độc lập. Một giới hạn chi tiêu cấp tài khoản (account-level) sẽ áp trần cho tổng chi tiêu trên tất cả các gateway đối với các tổ chức sử dụng Hóa đơn Hợp nhất (Unified Billing). Các quy tắc cho từng gateway riêng lẻ cung cấp khả năng kiểm soát chi tiết hơn. Bất kỳ giới hạn nào bị chạm tới trước sẽ chặn các yêu cầu tiếp theo . Các giới hạn này hoạt động cho cả các yêu cầu qua Unified Billing – nơi Cloudflare nạp tín dụng với phí giao dịch 5% – và thiết lập 'mang theo khóa riêng' (BYOK), với điều kiện là giá của mô hình đã được biết đến .

Định Tuyến Động: Chuyển Đổi Dự Phòng Thay Vì Thất Bại

Phản hồi 429 là một công cụ thô sơ. Tính năng Định tuyến Động (Dynamic Routing) của Cloudflare (đang trong giai đoạn beta) cung cấp một giải pháp thay thế thông minh hơn bằng cách cho phép chuyển đổi dự phòng sang các mô hình rẻ hơn khi ngân sách đã cạn kiệt. Các luồng định tuyến có thể bao gồm nút Giới hạn Ngân sách (Budget Limit) để thực thi hạn mức chi phí và, thay vì hủy yêu cầu, tự động chuyển sang một mô hình thay thế . Hệ thống tương tự cũng hỗ trợ các nút Giới hạn Tần suất, phân tách lưu lượng A/B theo tỷ lệ phần trăm, và phân nhánh có điều kiện dựa trên metadata của yêu cầu như gói người dùng hoặc nhóm, tất cả đều không cần chạm vào mã ứng dụng .

Ngân Sách Dựa Trên Danh Tính với Cloudflare Access

Có lẽ thông báo quan trọng nhất là bản beta kín dành cho ngân sách dựa trên danh tính, tích hợp với Cloudflare Access và nhà cung cấp danh tính (IdP) hiện có của tổ chức. Điều này giải quyết vấn đề dai dẳng của các khóa API dùng chung, nơi mà như blog của Cloudflare mô tả, "không ai biết ai đã tiêu bao nhiêu" . Việc quy kết và thực thi chi tiêu cho từng người, gắn trực tiếp với danh tính công ty, cung cấp cho các CIO và bộ phận tài chính mô hình kinh tế đơn vị cho AI, thứ mà họ đã có cho mọi hạng mục kinh doanh khác .

Áp Lực Ngành Đằng Sau Bản Phát Hành

Bộ tính năng này là phản hồi trực tiếp cho những thất bại thị trường cụ thể mà Cloudflare đã quan sát thấy ở các khách hàng của mình :

• Chi phí vượt tầm kiểm soát: Các công ty đã thúc đẩy việc áp dụng AI một cách tích cực với tâm lý "cứ làm nhanh đi, rồi tính hóa đơn sau", dẫn đến những khoản vượt chi đau đớn và nỗi lo lắng của các CFO.
• Hố đen quy trách nhiệm: Khóa API dùng chung khiến việc truy vết chi tiêu đến một người dùng, một nhóm, hay thậm chí một tác vụ CI tự động cụ thể là bất khả thi.
• Mặc định dùng mô hình đắt nhất: Khi không có ngân sách, các nhóm tự động định tuyến mọi tác vụ đến mô hình đắt tiền nhất hiện có, ngay cả khi một giải pháp thay thế rẻ hơn là đủ.

Bằng cách gắn giới hạn chi tiêu với đô-la thực tế và con người thực, Cloudflare đang đặt cược rằng việc quản lý chi phí AI sẽ sớm trở nên thường xuyên như việc theo dõi bất kỳ khoản chi phí cơ sở hạ tầng đám mây nào khác.