Cloudflare AI Gateway passe aux contrôles réels : des budgets en euros, pas des limites de débit

Deux niveaux d'application

Les limites de dépenses sont appliquées à deux niveaux indépendants. Une limite au niveau du compte plafonne les dépenses totales sur toutes les passerelles pour les organisations utilisant la facturation unifiée. Des règles par passerelle offrent un contrôle plus fin. La première limite atteinte bloque les requêtes suivantes . Ces limites fonctionnent à la fois pour les requêtes en facturation unifiée — où Cloudflare charge des crédits avec des frais de transaction de 5 % — et pour les configurations de type "apportez votre propre clé" (BYOK), à condition que le prix du modèle soit connu .

Routage dynamique : un plan de repli plutôt qu'un échec

Un rejet par une erreur 429 est un instrument brutal. Le routage dynamique de Cloudflare (en version bêta) offre une alternative plus intelligente en permettant un basculement automatique vers des modèles moins chers lorsqu'un budget est épuisé. Les flux de routage peuvent inclure des nœuds de limite budgétaire qui appliquent des quotas de coûts et, au lieu de rejeter la requête, basculent automatiquement vers un modèle alternatif . Le même système prend en charge des nœuds de limite de débit, des répartitions de trafic A/B en pourcentage et des embranchements conditionnels basés sur les métadonnées de la requête (comme le profil utilisateur ou l'équipe), le tout sans toucher au code de l'application .

Des budgets liés à l'identité avec Cloudflare Access

L'annonce la plus significative est peut-être la bêta fermée pour les budgets pilotés par l'identité, qui s'intègre avec Cloudflare Access et le fournisseur d'identité (IdP) existant d'une organisation. Cela résout le problème persistant des clés API partagées, où, comme le souligne le blog de Cloudflare, « personne ne sait qui a dépensé quoi » . Une attribution et une application par personne, directement liées à l'identité d'entreprise, fournissent aux DSI et aux équipes financières les indicateurs de coûts unitaires pour l'IA qui existent pour tous les autres postes de dépenses .

Les pressions du marché à l'origine de cette sortie

Cet ensemble de fonctionnalités est une réponse directe à des défaillances spécifiques du marché que Cloudflare a observées chez ses clients :

• Des coûts incontrôlables : Les entreprises ont adopté l'IA de manière agressive avec une mentalité « allons vite, on verra la facture plus tard », ce qui a conduit à des dépassements douloureux et à l'angoisse des directeurs financiers.
• Des trous noirs d'attribution : Les clés API partagées rendaient impossible de retracer une dépense jusqu'à un utilisateur, une équipe ou même un job d'intégration continue automatisé.
• Le modèle frontalier par défaut : Sans budget, les équipes dirigeaient automatiquement chaque tâche vers le modèle le plus cher disponible, même quand une alternative plus économique aurait suffi.

En liant les limites de dépenses à des euros réels et à des personnes réelles, Cloudflare parie que la gestion des coûts de l'IA deviendra aussi routinière que le suivi de toute autre dépense d'infrastructure cloud.