Diese Limits sind keine Einheitslösung. Sie lassen sich granular nach Modell, Anbieter oder benutzerdefinierten Metadaten-Dimensionen wie Benutzer-ID, Team oder Applikation festlegen . So könnte ein Unternehmen beispielsweise ein tägliches Budget von 200 Dollar pro Benutzer, eine tägliche Obergrenze von 10.000 Dollar für das gesamte Gateway oder ein tägliches Limit von 50 Dollar für ein bestimmtes, teures Modell festlegen . Jede Regel arbeitet mit einem konfigurierbaren Zeitfenster, das entweder eine feste (kalenderorientierte) oder eine gleitende (rollierende) Zurücksetzungsstrategie verwenden kann .
Die Ausgabenlimits werden auf zwei unabhängigen Ebenen durchgesetzt. Ein kontoweites Ausgabenlimit deckelt die Gesamtausgaben über alle Gateways hinweg für Organisationen, die Unified Billing nutzen. Pro-Gateway-Regeln ermöglichen eine feingranularere Kontrolle. Welches Limit auch immer zuerst erreicht wird – es blockiert weitere Anfragen . Die Limits funktionieren sowohl für Unified-Billing-Anfragen – bei denen Cloudflare Guthaben mit einer Transaktionsgebühr von 5 % auflädt – als auch für „Bring-your-own-Key“-Setups (BYOK), vorausgesetzt, die Preise des Modells sind bekannt .
Eine 429-Ablehnung ist ein stumpfes Instrument. Das dynamische Routing von Cloudflare (in der Beta-Phase) bietet eine intelligentere Alternative, indem es bei erschöpftem Budget ein Ausweichen auf günstigere Modelle ermöglicht. Routing-Abläufe können Budget-Limit-Knoten enthalten, die Kostenkontingente durchsetzen und, anstatt die Anfrage zu verwerfen, automatisch zu einem alternativen Modell wechseln . Dasselbe System unterstützt auch Raten-Limit-Knoten, prozentuale A/B-Traffic-Aufteilungen und bedingte Verzweigungen basierend auf Anfrage-Metadaten wie dem Benutzer-Tarif oder Team – und das alles, ohne den Anwendungscode zu verändern .
Die vielleicht bedeutsamste Ankündigung ist eine geschlossene Beta für identitätsbasierte Budgets, die sich mit Cloudflare Access und dem bestehenden Identitätsanbieter (IdP) eines Unternehmens integrieren lässt. Dies löst das hartnäckige Problem gemeinsam genutzter API-Schlüssel, bei dem, wie Cloudflare in seinem Blog schreibt, „niemand weiß, wer was ausgegeben hat“ . Eine personengenaue Zuordnung und Durchsetzung, direkt gekoppelt an die Unternehmensidentität, verschafft CIOs und Finanzabteilungen jene Kostenstellentransparenz für KI, die es für jeden anderen Geschäftsbereich längst gibt .
Dieses Funktionspaket ist eine direkte Antwort auf konkrete Marktprobleme, die Cloudflare bei seinen Kunden beobachtet hat :
Indem Cloudflare Ausgabenlimits an echte Dollarbeträge und echte Personen knüpft, wettet das Unternehmen darauf, dass das KI-Kostenmanagement bald genauso alltäglich sein wird wie die Nachverfolgung jeder anderen Cloud-Infrastrukturausgabe.
Diese Limits sind keine Einheitslösung. Sie lassen sich granular nach Modell, Anbieter oder benutzerdefinierten Metadaten-Dimensionen wie Benutzer-ID, Team oder Applikation festlegen . So könnte ein Unternehmen beispielsweise ein tägliches Budget von 200 Dollar pro Benutzer, eine tägliche Obergrenze von 10.000 Dollar für das gesamte Gateway oder ein tägliches Limit von 50 Dollar für ein bestimmtes, teures Modell festlegen . Jede Regel arbeitet mit einem konfigurierbaren Zeitfenster, das entweder eine feste (kalenderorientierte) oder eine gleitende (rollierende) Zurücksetzungsstrategie verwenden kann .
Die Ausgabenlimits werden auf zwei unabhängigen Ebenen durchgesetzt. Ein kontoweites Ausgabenlimit deckelt die Gesamtausgaben über alle Gateways hinweg für Organisationen, die Unified Billing nutzen. Pro-Gateway-Regeln ermöglichen eine feingranularere Kontrolle. Welches Limit auch immer zuerst erreicht wird – es blockiert weitere Anfragen . Die Limits funktionieren sowohl für Unified-Billing-Anfragen – bei denen Cloudflare Guthaben mit einer Transaktionsgebühr von 5 % auflädt – als auch für „Bring-your-own-Key“-Setups (BYOK), vorausgesetzt, die Preise des Modells sind bekannt .
Eine 429-Ablehnung ist ein stumpfes Instrument. Das dynamische Routing von Cloudflare (in der Beta-Phase) bietet eine intelligentere Alternative, indem es bei erschöpftem Budget ein Ausweichen auf günstigere Modelle ermöglicht. Routing-Abläufe können Budget-Limit-Knoten enthalten, die Kostenkontingente durchsetzen und, anstatt die Anfrage zu verwerfen, automatisch zu einem alternativen Modell wechseln . Dasselbe System unterstützt auch Raten-Limit-Knoten, prozentuale A/B-Traffic-Aufteilungen und bedingte Verzweigungen basierend auf Anfrage-Metadaten wie dem Benutzer-Tarif oder Team – und das alles, ohne den Anwendungscode zu verändern .
Die vielleicht bedeutsamste Ankündigung ist eine geschlossene Beta für identitätsbasierte Budgets, die sich mit Cloudflare Access und dem bestehenden Identitätsanbieter (IdP) eines Unternehmens integrieren lässt. Dies löst das hartnäckige Problem gemeinsam genutzter API-Schlüssel, bei dem, wie Cloudflare in seinem Blog schreibt, „niemand weiß, wer was ausgegeben hat“ . Eine personengenaue Zuordnung und Durchsetzung, direkt gekoppelt an die Unternehmensidentität, verschafft CIOs und Finanzabteilungen jene Kostenstellentransparenz für KI, die es für jeden anderen Geschäftsbereich längst gibt .
Dieses Funktionspaket ist eine direkte Antwort auf konkrete Marktprobleme, die Cloudflare bei seinen Kunden beobachtet hat :
Indem Cloudflare Ausgabenlimits an echte Dollarbeträge und echte Personen knüpft, wettet das Unternehmen darauf, dass das KI-Kostenmanagement bald genauso alltäglich sein wird wie die Nachverfolgung jeder anderen Cloud-Infrastrukturausgabe.