Cloudflare AI Gateway: veri controlli di spesa con budget in dollari, non più solo limiti di traffico

I limiti non sono mai calati dall'alto, uguali per tutti. Possono essere definiti in modo estremamente granulare per modello, fornitore, o su dimensioni di metadati personalizzate come l'ID utente, il team o l'applicazione . Qualche esempio concreto? * Un'organizzazione può fissare un budget di 200$ al giorno per ogni singolo utente. * Un tetto massimo di 10.000$ al giorno per l'intera spesa del gateway. * Un limite di 50$ al giorno per un modello specifico, notoriamente più costoso . Ogni regola utilizza una finestra temporale personalizzabile, con una strategia di ripristino "fissa" (allineata al calendario) o "a scorrimento" (finestra mobile) .

Due livelli di controllo

L'applicazione dei limiti di spesa funziona su due livelli indipendenti. Un limite a livello di account fissa un tetto alla spesa totale su tutti i gateway per le organizzazioni che usano la Fatturazione Unificata. Le regole per singolo gateway offrono un controllo ancora più fine. Qualunque dei due limiti venga raggiunto per primo, fa scattare il blocco delle richieste successive . Questo meccanismo vale sia per le richieste in Fatturazione Unificata – dove Cloudflare carica credito con una commissione di transazione del 5% – sia per configurazioni "bring-your-own-key" (BYOK), a patto che il prezzo del modello sia noto .

Instradamento dinamico: una via di fuga invece del fallimento

Un rifiuto secco con errore 429 è uno strumento spuntato. L'Instradamento Dinamico di Cloudflare (ora in beta) offre un'alternativa più intelligente: il reindirizzamento verso modelli più economici quando un budget è esaurito. I flussi di instradamento possono includere nodi "Budget Limit" che fanno rispettare le quote di costo e, invece di far cadere la richiesta, passano automaticamente a un modello alternativo . Lo stesso sistema supporta nodi "Rate Limit", suddivisioni percentuali del traffico per test A/B e diramazioni condizionali basate sui metadati della richiesta, come il piano utente o il team. Il bello è che si può fare tutto senza toccare una riga di codice dell'applicazione .

Budget legati all'identità con Cloudflare Access

Forse l'annuncio più significativo è la beta chiusa per i budget legati all'identità, che si integra con Cloudflare Access e il sistema di gestione delle identità (IdP) già in uso in azienda. Questa funzione risolve il problema cronico delle chiavi API condivise, quelle per cui, come scrive il blog di Cloudflare, "nessuno sa chi ha speso cosa" . L'attribuzione e il controllo spesa direttamente collegati all'identità aziendale di una persona offrono finalmente ai CIO e agli uffici finanziari quell'economia di unità per l'AI che già esiste per ogni altra voce di costo .

Le pressioni del mercato dietro questa mossa

Questo set di funzionalità è una risposta diretta a specifici fallimenti di mercato che Cloudflare ha osservato tra i suoi clienti :

• Costi fuori controllo: Le aziende hanno spinto forte sull'adozione dell'AI con una mentalità da "corriamo e poi vediamo il conto", portando a sforamenti dolorosi e notti insonni per i CFO.
• Buchi neri nell'attribuzione: Le chiavi API condivise rendevano impossibile risalire alla spesa di un utente, un team o persino un processo CI automatico. Era la spesa di un ingegnere o quella di uno script impazzito?
• Il default verso il modello più costoso: Senza budget, ogni attività veniva automaticamente indirizzata al modello di frontiera più potente (e caro), anche quando un'alternativa più modesta sarebbe stata più che sufficiente.

Agganciando i limiti di spesa a soldi veri e persone reali, Cloudflare scommette che la gestione dei costi dell'AI diventerà una routine noiosa e prevedibile come il monitoraggio di qualsiasi altra spesa per l'infrastruttura cloud.