Cloudflare AI Gateway bekommt echte Kostenkontrolle: Dollar-Budgets statt Anfragenlimits

Zwei Ebenen der Durchsetzung

Die Ausgabenlimits werden auf zwei unabhängigen Ebenen durchgesetzt. Ein kontoweites Ausgabenlimit deckelt die Gesamtausgaben über alle Gateways hinweg für Organisationen, die Unified Billing nutzen. Pro-Gateway-Regeln ermöglichen eine feingranularere Kontrolle. Welches Limit auch immer zuerst erreicht wird – es blockiert weitere Anfragen . Die Limits funktionieren sowohl für Unified-Billing-Anfragen – bei denen Cloudflare Guthaben mit einer Transaktionsgebühr von 5 % auflädt – als auch für „Bring-your-own-Key“-Setups (BYOK), vorausgesetzt, die Preise des Modells sind bekannt .

Dynamisches Routing: Ausweichen statt Scheitern

Eine 429-Ablehnung ist ein stumpfes Instrument. Das dynamische Routing von Cloudflare (in der Beta-Phase) bietet eine intelligentere Alternative, indem es bei erschöpftem Budget ein Ausweichen auf günstigere Modelle ermöglicht. Routing-Abläufe können Budget-Limit-Knoten enthalten, die Kostenkontingente durchsetzen und, anstatt die Anfrage zu verwerfen, automatisch zu einem alternativen Modell wechseln . Dasselbe System unterstützt auch Raten-Limit-Knoten, prozentuale A/B-Traffic-Aufteilungen und bedingte Verzweigungen basierend auf Anfrage-Metadaten wie dem Benutzer-Tarif oder Team – und das alles, ohne den Anwendungscode zu verändern .

Identitätsbasierte Budgets mit Cloudflare Access

Die vielleicht bedeutsamste Ankündigung ist eine geschlossene Beta für identitätsbasierte Budgets, die sich mit Cloudflare Access und dem bestehenden Identitätsanbieter (IdP) eines Unternehmens integrieren lässt. Dies löst das hartnäckige Problem gemeinsam genutzter API-Schlüssel, bei dem, wie Cloudflare in seinem Blog schreibt, „niemand weiß, wer was ausgegeben hat“ . Eine personengenaue Zuordnung und Durchsetzung, direkt gekoppelt an die Unternehmensidentität, verschafft CIOs und Finanzabteilungen jene Kostenstellentransparenz für KI, die es für jeden anderen Geschäftsbereich längst gibt .

Die Marktzwänge hinter der Veröffentlichung

Dieses Funktionspaket ist eine direkte Antwort auf konkrete Marktprobleme, die Cloudflare bei seinen Kunden beobachtet hat :

• Außer Kontrolle geratene Kosten: Unternehmen trieben die KI-Einführung nach dem Motto „Einfach machen, die Rechnung klären wir später“ voran, was zu schmerzhaften Kostenüberschreitungen und nervösen CFOs führte.
• Attributions-Blackboxen: Gemeinsam genutzte API-Schlüssel machten es unmöglich, Ausgaben einem bestimmten Nutzer, Team oder sogar einem automatisierten CI-Job zuzuordnen.
• Standardmäßig die teuerste KI: Ohne Budgets leiteten Teams jede Aufgabe automatisch an das teuerste verfügbare Modell weiter, selbst wenn eine günstigere Alternative ausgereicht hätte.

Indem Cloudflare Ausgabenlimits an echte Dollarbeträge und echte Personen knüpft, wettet das Unternehmen darauf, dass das KI-Kostenmanagement bald genauso alltäglich sein wird wie die Nachverfolgung jeder anderen Cloud-Infrastrukturausgabe.