Cloudflare AI Gateway Đem Đến Kiểm Soát Chi Tiêu Thực Sự: Ngân Sách Bằng Đô-La, Không Còn Giới Hạn Tần Suất

Các công ty đang tích cực áp dụng AI đã phải đối mặt với một cơn ác mộng chung: một hóa đơn bất ngờ lên đến hàng trăm nghìn, thậm chí hàng triệu đô-la mà không có cách nào truy vết được nhóm, người dùng, hay quy trình tự động nào đã gây ra khoản chi đó. Bản cập nhật ngày 5 tháng 6 năm 2026 của Cloudflare cho AI Gateway nhắm thẳng vào vấn đề này bằng cách chuyển đổi cơ chế kiểm soát chi phí từ việc đếm số lượng yêu cầu sang theo dõi chi tiêu thực tế bằng đô-la, và gắn những ngân sách đó với danh tính của từng cá nhân.

Cơ Chế Hoạt Động của Giới Hạn Chi Tiêu Dựa Trên Đô-La

Sự đổi mới cốt lõi nằm ở việc chuyển từ giới hạn tần suất (rate limiting) truyền thống – vốn chỉ giới hạn số lượng yêu cầu API – sang ngân sách dựa trên chi phí, theo dõi tổng chi tiêu lũy kế bằng đô-la dựa trên mức sử dụng token thực tế và giá của từng mô hình . Khi gateway nhận được một yêu cầu, nó sẽ tính toán chi phí dựa trên bảng giá đã biết của mô hình và số token đã tiêu thụ. Nếu tổng chi tiêu trong khung thời gian được thiết lập vượt quá giới hạn, yêu cầu sẽ bị chặn lại với phản hồi HTTP 429 .

Phạm Vi và Cấu Hình Ngân Sách

Các giới hạn không cào bằng cho tất cả. Chúng có thể được thiết lập một cách chi tiết theo mô hình, nhà cung cấp, hoặc các chiều metadata tùy chỉnh như ID người dùng, nhóm, hoặc ứng dụng . Ví dụ, một tổ chức có thể đặt ngân sách 200 đô-la mỗi ngày cho mỗi người dùng, giới hạn tổng chi tiêu của gateway ở mức 10.000 đô-la mỗi ngày, hoặc giới hạn 50 đô-la mỗi ngày cho một mô hình đắt tiền cụ thể . Mỗi quy tắc sử dụng một khung thời gian có thể cấu hình với chiến lược đặt lại cố định (theo lịch) hoặc trượt (theo chu kỳ cuốn chiếu) .

Hai Lớp Thực Thi

Giới hạn chi tiêu được thực thi ở hai cấp độ độc lập. Một giới hạn chi tiêu cấp tài khoản (account-level) sẽ áp trần cho tổng chi tiêu trên tất cả các gateway đối với các tổ chức sử dụng Hóa đơn Hợp nhất (Unified Billing). Các quy tắc cho từng gateway riêng lẻ cung cấp khả năng kiểm soát chi tiết hơn. Bất kỳ giới hạn nào bị chạm tới trước sẽ chặn các yêu cầu tiếp theo . Các giới hạn này hoạt động cho cả các yêu cầu qua Unified Billing – nơi Cloudflare nạp tín dụng với phí giao dịch 5% – và thiết lập 'mang theo khóa riêng' (BYOK), với điều kiện là giá của mô hình đã được biết đến .

Định Tuyến Động: Chuyển Đổi Dự Phòng Thay Vì Thất Bại

Phản hồi 429 là một công cụ thô sơ. Tính năng Định tuyến Động (Dynamic Routing) của Cloudflare (đang trong giai đoạn beta) cung cấp một giải pháp thay thế thông minh hơn bằng cách cho phép chuyển đổi dự phòng sang các mô hình rẻ hơn khi ngân sách đã cạn kiệt. Các luồng định tuyến có thể bao gồm nút Giới hạn Ngân sách (Budget Limit) để thực thi hạn mức chi phí và, thay vì hủy yêu cầu, tự động chuyển sang một mô hình thay thế . Hệ thống tương tự cũng hỗ trợ các nút Giới hạn Tần suất, phân tách lưu lượng A/B theo tỷ lệ phần trăm, và phân nhánh có điều kiện dựa trên metadata của yêu cầu như gói người dùng hoặc nhóm, tất cả đều không cần chạm vào mã ứng dụng .

Ngân Sách Dựa Trên Danh Tính với Cloudflare Access

Có lẽ thông báo quan trọng nhất là bản beta kín dành cho ngân sách dựa trên danh tính, tích hợp với Cloudflare Access và nhà cung cấp danh tính (IdP) hiện có của tổ chức. Điều này giải quyết vấn đề dai dẳng của các khóa API dùng chung, nơi mà như blog của Cloudflare mô tả, "không ai biết ai đã tiêu bao nhiêu" . Việc quy kết và thực thi chi tiêu cho từng người, gắn trực tiếp với danh tính công ty, cung cấp cho các CIO và bộ phận tài chính mô hình kinh tế đơn vị cho AI, thứ mà họ đã có cho mọi hạng mục kinh doanh khác .

Áp Lực Ngành Đằng Sau Bản Phát Hành

Bộ tính năng này là phản hồi trực tiếp cho những thất bại thị trường cụ thể mà Cloudflare đã quan sát thấy ở các khách hàng của mình :

• Chi phí vượt tầm kiểm soát: Các công ty đã thúc đẩy việc áp dụng AI một cách tích cực với tâm lý "cứ làm nhanh đi, rồi tính hóa đơn sau", dẫn đến những khoản vượt chi đau đớn và nỗi lo lắng của các CFO.
• Hố đen quy trách nhiệm: Khóa API dùng chung khiến việc truy vết chi tiêu đến một người dùng, một nhóm, hay thậm chí một tác vụ CI tự động cụ thể là bất khả thi.
• Mặc định dùng mô hình đắt nhất: Khi không có ngân sách, các nhóm tự động định tuyến mọi tác vụ đến mô hình đắt tiền nhất hiện có, ngay cả khi một giải pháp thay thế rẻ hơn là đủ.

Bằng cách gắn giới hạn chi tiêu với đô-la thực tế và con người thực, Cloudflare đang đặt cược rằng việc quản lý chi phí AI sẽ sớm trở nên thường xuyên như việc theo dõi bất kỳ khoản chi phí cơ sở hạ tầng đám mây nào khác.