I limiti non sono mai calati dall'alto, uguali per tutti. Possono essere definiti in modo estremamente granulare per modello, fornitore, o su dimensioni di metadati personalizzate come l'ID utente, il team o l'applicazione . Qualche esempio concreto? * Un'organizzazione può fissare un budget di 200$ al giorno per ogni singolo utente. * Un tetto massimo di 10.000$ al giorno per l'intera spesa del gateway. * Un limite di 50$ al giorno per un modello specifico, notoriamente più costoso
. Ogni regola utilizza una finestra temporale personalizzabile, con una strategia di ripristino "fissa" (allineata al calendario) o "a scorrimento" (finestra mobile)
.
L'applicazione dei limiti di spesa funziona su due livelli indipendenti. Un limite a livello di account fissa un tetto alla spesa totale su tutti i gateway per le organizzazioni che usano la Fatturazione Unificata. Le regole per singolo gateway offrono un controllo ancora più fine. Qualunque dei due limiti venga raggiunto per primo, fa scattare il blocco delle richieste successive . Questo meccanismo vale sia per le richieste in Fatturazione Unificata – dove Cloudflare carica credito con una commissione di transazione del 5% – sia per configurazioni "bring-your-own-key" (BYOK), a patto che il prezzo del modello sia noto
.
Un rifiuto secco con errore 429 è uno strumento spuntato. L'Instradamento Dinamico di Cloudflare (ora in beta) offre un'alternativa più intelligente: il reindirizzamento verso modelli più economici quando un budget è esaurito. I flussi di instradamento possono includere nodi "Budget Limit" che fanno rispettare le quote di costo e, invece di far cadere la richiesta, passano automaticamente a un modello alternativo . Lo stesso sistema supporta nodi "Rate Limit", suddivisioni percentuali del traffico per test A/B e diramazioni condizionali basate sui metadati della richiesta, come il piano utente o il team. Il bello è che si può fare tutto senza toccare una riga di codice dell'applicazione
.
Forse l'annuncio più significativo è la beta chiusa per i budget legati all'identità, che si integra con Cloudflare Access e il sistema di gestione delle identità (IdP) già in uso in azienda. Questa funzione risolve il problema cronico delle chiavi API condivise, quelle per cui, come scrive il blog di Cloudflare, "nessuno sa chi ha speso cosa" . L'attribuzione e il controllo spesa direttamente collegati all'identità aziendale di una persona offrono finalmente ai CIO e agli uffici finanziari quell'economia di unità per l'AI che già esiste per ogni altra voce di costo
.
Questo set di funzionalità è una risposta diretta a specifici fallimenti di mercato che Cloudflare ha osservato tra i suoi clienti :
Agganciando i limiti di spesa a soldi veri e persone reali, Cloudflare scommette che la gestione dei costi dell'AI diventerà una routine noiosa e prevedibile come il monitoraggio di qualsiasi altra spesa per l'infrastruttura cloud.
Comments
0 comments