Warum chinesische KI-Firmen jede Nvidia-GPU ausreizen

Ein Token ist nicht gleich ein Token

Die Zahl der verarbeiteten Token – der grundlegenden Text- und Dateneinheiten großer Sprachmodelle – ist ein nützlicher Hinweis auf die Nachfrage. Sie beschreibt aber nicht, wie anspruchsvoll die jeweilige Aufgabe ist.

Einfache, kostengünstige Ausgaben können auf preiswerterer Hardware erzeugt werden. Hochwertige Antworten eines stärkeren Modells, längere Denkprozesse oder wiederholte Tool-Aufrufe benötigen mehr Rechenleistung und können für Kunden einen höheren Wert haben.

Deshalb kann ein Anstieg der gesamten Tokenzahl den Mangel an Premium-Inferenz sogar unterschätzen. Insgesamt werden möglicherweise mehr Token erzeugt, während gleichzeitig die Hardware für verlässliche Ergebnisse bei komplexen Aufgaben immer knapper wird. Investitionen in hochwertige Token-Kapazität und Systeme, die unterschiedliche Rechenarchitekturen miteinander verbinden, spiegeln diese Entwicklung wider.

Die Nachfrage wächst schneller als die Kapazität

Chinas durchschnittliches tägliches Volumen an Token-Aufrufen überschritt im März 2026 die Marke von 140 Billionen. Anfang 2024 waren es rund 100 Milliarden – ein Anstieg um mehr als das Tausendfache, wie aus Zahlen der chinesischen Nationalen Datenverwaltung hervorgeht.

Diese Entwicklung zeigt, wie sich der Einsatz von KI verändert. Modelle werden nicht mehr nur getestet oder für einzelne Prompts genutzt, sondern in Assistenten, Unternehmenssoftware und Agenten eingebunden, die reale Arbeitsabläufe ausführen. Die Inferenz wird damit zu einem zentralen Treiber des Rechenbedarfs – und nicht länger zu einem nachgelagerten Schritt nach dem Training.

Warum Software derzeit der schnellste Hebel ist

Der Zugang zu den leistungsfähigsten Nvidia-Prozessoren ist durch Exportbeschränkungen begrenzt. Zudem ist die verfügbare Hardware knapp, und ein Wechsel des gesamten Software-Ökosystems wäre teuer. Modelle, Werkzeuge und interne Abläufe chinesischer KI-Entwickler sind vielfach auf etablierte Plattformen zugeschnitten.

Software kann zwar keine neuen Chips schaffen. Sie kann aber die Menge an nützlicher Arbeit erhöhen, die aus jedem verfügbaren Prozessor herausgeholt wird. Zu den wichtigsten Ansätzen zählen:

• Verteilung nach Aufgabenart: Einfache Anfragen laufen auf günstigeren oder heimischen Beschleunigern, komplexe Aufgaben auf Nvidia-GPUs.
• Effizientere Bereitstellung: Anfragen werden besser gebündelt und geplant, damit die Hardware weniger Leerlauf hat.
• Ressourcenbewusster Betrieb: Modellgröße, Kontextlänge und Antwortstrategie werden an Schwierigkeit und Wert der jeweiligen Anfrage angepasst.
• Heterogene Infrastruktur: Unterschiedliche Chiparchitekturen werden in einem System kombiniert, statt jede Anwendung an eine einzige Plattform zu binden.

Diese Maßnahmen überbrücken die Lücke zwischen wachsender Nachfrage und begrenztem Angebot. Ein vollständiger Ersatz für modernste Hardware sind sie jedoch nicht – insbesondere dann nicht, wenn qualitätskritische Aufgaben weiterhin von wenigen leistungsfähigen Prozessoren abhängen.

Der wirtschaftliche Druck nimmt zu

Die Knappheit ist schwer zu beheben, weil zugleich die Preise für Inferenz unter Druck stehen. Analysten von Jefferies schätzten, dass chinesische Modelle pro Token im Durchschnitt etwa ein Sechstel der Preise großer US-Anbieter kosten.

Niedrige Preise können die Verbreitung beschleunigen. Sie begrenzen aber auch die Einnahmen, mit denen Unternehmen die teure Premium-Rechenleistung finanzieren können. Programmierassistenten und KI-Agenten verbrauchen zudem häufig mehr Ressourcen als einfache Chat-Anwendungen.

Für chinesische KI-Firmen entsteht damit eine schwierige Kombination: Die Nachfrage wächst rasant, Kunden erwarten günstigen Zugang, und die leistungsfähigste Inferenzkapazität lässt sich weder leicht erweitern noch problemlos ersetzen.

Diese Spannung ist bereits bei der Verfügbarkeit von Diensten sichtbar. Berichten zufolge drosselten große chinesische Modellanbieter und Cloud-Dienste ihre Angebote, beschränkten den Zugang oder erhöhten Preise, als die Nachfrage die verfügbaren Rechenressourcen überstieg – besonders bei rechenintensiven Programmierassistenten.

Die größere Bedeutung

Chinas KI-Infrastrukturproblem ist daher nicht einfach ein Mangel an Chips. Es geht um die richtige Kombination aus leistungsfähigen Prozessoren, kompatibler Software und wirtschaftlich tragfähiger Kapazität für hochwertige Inferenz.

Heimische Hardware kann einen wachsenden Teil der Aufgaben übernehmen, wenn sich die Software verbessert und Anwendungen gezielt auf ihre Stärken zugeschnitten werden. Die aktuelle Lage deutet jedoch auf eine Übergangsstrategie hin: Jede Ebene der Inferenz wird optimiert, einfache Aufgaben werden auf heimische Chips verteilt und knappe Nvidia-Kapazität wird für die schwierigsten Jobs aufgehoben.

Das verlängert die Reichweite der vorhandenen Ressourcen. Das anhaltende Wachstum agentenbasierter KI wird jedoch letztlich davon abhängen, ob China sowohl sein Hardwareangebot als auch das Software-Ökosystem ausbauen kann, das unterschiedliche Prozessoren im praktischen Betrieb nutzbar macht.