Cloudflare AI Gateway מקבל בקרת תקציב אמיתית: תקציבים בדולרים, לא הגבלת קצב

שתי שכבות אכיפה

מגבלות ההוצאה נאכפות בשתי רמות עצמאיות. מגבלת הוצאה ברמת החשבון (Account-level) קובעת תקרה לסך ההוצאה בכל ה-Gateways עבור ארגונים המשתמשים בחיוב אחוד (Unified Billing). כללים ייעודיים לכל Gateway מספקים בקרה מדויקת יותר. המגבלה הראשונה שתושג היא זו שתחסום בקשות עוקבות . המגבלות עובדות הן עבור בקשות דרך חיוב אחוד – כאשר Cloudflare טוענת קרדיטים בתוספת עמלת עסקה של 5% – והן בהגדרות "הבא מפתח משלך" (BYOK), כל עוד התמחור של המודל ידוע .

ניתוב דינמי: מעבר לכשלון לפתרון חלופי

דחיית בקשה בשגיאת 429 היא כלי גס. ניתוב דינמי (Dynamic Routing), שנמצא בבטא, מציע חלופה חכמה יותר בכך שהוא מאפשר מעבר אוטומטי למודלים זולים יותר כשהתקציב מנוצל. מסלולי ניתוב יכולים לכלול צמתי מגבלת תקציב (Budget Limit nodes) האוכפים מכסות עלות, ובמקום לדחות את הבקשה, מנתבים אותה אוטומטית למודל חלופי . אותה מערכת תומכת גם בצמתי הגבלת קצב, פיצול תעבורה באחוזים לבדיקות A/B, והסתעפות מותנית על סמך מטה-דאטה של הבקשה, כמו תוכנית משתמש או צוות – כל זאת בלי צורך לגעת בקוד האפליקציה .

תקציבים מבוססי זהות עם Cloudflare Access

אולי ההכרזה המשמעותית ביותר היא השקת בטא סגור לתקציבים מבוססי זהות, המשתלבים עם Cloudflare Access ועם ספקית הזהויות הארגונית הקיימת (IdP). זה פותר את הבעיה המתמשכת של מפתחות API משותפים, מצב שבו, כפי שמגדיר זאת הבלוג של Cloudflare, "אף אחד לא יודע מי הוציא מה" . ייחוס ואכיפה ברמת הפרט, הקשורים ישירות לזהות הארגונית, מספקים למנמ"רים ולמנהלי כספים את הכלכלה היחידתית (Unit Economics) עבור AI, שקיימת כבר לכל סעיף תקציבי אחר בארגון .

הלחצים בתעשייה מאחורי ההשקה

מערך הפיצ'רים הזה הוא מענה ישיר לכשלי שוק ספציפיים ש-Cloudflare זיהתה בקרב לקוחותיה :

• עלויות בורחות משליטה: חברות דחפו לאימוץ AI אגרסיבי בגישת "תזוז מהר, נסתדר עם החשבון אחר כך", מה שהוביל לחריגות כואבות וחרדה אצל סמנכ"לי כספים.
• חורים שחורים של ייחוס: מפתחות API משותפים הפכו את זה לבלתי אפשרי לעקוב אחר הוצאות למשתמש, צוות, או אפילו למשימת CI אוטומטית.
• ברירת מחדל למודל המתקדם ביותר: ללא תקציבים, צוותים הפנו אוטומטית כל משימה למודל היקר ביותר, אפילו כשחלופה זולה יותר הייתה מספיקה.

באמצעות קשירת מגבלות הוצאה לדולרים אמיתיים ולאנשים אמיתיים, Cloudflare מהמרת שניהול עלויות AI יהפוך לשגרה כמו מעקב אחר כל הוצאה אחרת בתשתיות הענן.