Hvorfor kinesiske AI-selskaper må få hver Nvidia-GPU til å vare lenger

Kinas AI-flaskehals oppstår i økende grad etter at modellene er ferdig trent. Når forbruker- og bedriftsløsninger tas i bruk i stor skala, må selskapene håndtere enorme mengder forespørsler – mange fra AI-agenter som resonerer, bruker verktøy og løser oppgaver i flere trinn. Dermed blir kapasiteten til å kjøre modeller og levere svar, ikke bare kapasiteten til å trene dem, en sentral begrensning.

Skiftet fra trening til levering

Trening bygger selve modellen. Inferens er den senere fasen, der modellen bruker det den har lært til å lage svar for brukerne. Enkelte inferensoppgaver kan tilpasses kinesisk maskinvare, men skillet er ikke absolutt: De mest krevende løsningene trenger en kombinasjon av ytelse, minne, stabilitet og moden programvare som er vanskelig å erstatte.

Kinesiske AI-selskaper står derfor overfor en infrastruktur med flere typer brikker. Innenlandske akseleratorer kan håndtere deler av inferensen, mens en begrenset beholdning av avanserte Nvidia-prosessorer må reserveres til oppgaver som vanskelig lar seg flytte. Bransjerapporter peker særlig på krevende kodeoppgaver som et presspunkt.

Hvorfor kode og AI-agenter bruker så mye kapasitet

Et enkelt spørsmål og svar kan kreve forholdsvis lite datakraft. En kodeassistent eller autonom agent kan være langt mer krevende. Den må kanskje holde styr på en lang kontekst, skrive kode, bruke eksterne verktøy, kontrollere resultatet og revidere svaret flere ganger.

Det endrer regnestykket for utrulling. Det avgjørende er ikke bare hvor mange brikker et selskap eier, men hvor mye pålitelig arbeid de faktisk kan utføre. Hvis kinesiske prosessorer fungerer dårligere på kompliserte kode- og resonneringsoppgaver, kan en full overgang bort fra Nvidia redusere kvaliteten eller effektiviteten. Den knappe Nvidia-kapasiteten må da brukes på jobbene der forskjellen betyr mest.

En token har ikke alltid samme verdi

Antallet tokens – de grunnleggende tekstenhetene som språkmodeller behandler – er en nyttig indikator på etterspørsel. Men tokens beskriver ikke nødvendigvis like arbeidsmengder.

Enkle og rimelige svar kan sendes til billigere maskinvare. Svar fra en sterkere modell, med lengre resonnering eller gjentatte verktøykall, krever mer datakraft og kan være mer verdifulle for kunden.

Derfor kan en vekst i det totale tokenforbruket skjule en enda skarpere mangel på avansert inferens. Markedet kan produsere flere tokens totalt, samtidig som det blir stadig vanskeligere å levere pålitelige resultater i komplekse oppgaver. Investeringer i kapasitet for såkalte høykvalitetstokens og i systemer som kombinerer ulike typer datakraft, gjenspeiler dette skillet.

Etterspørselen har løpt fra kapasiteten

Kinas gjennomsnittlige daglige bruk av AI-tokens oversteg 140 billioner i mars 2026, sammenlignet med rundt 100 milliarder tidlig i 2024. Det tilsvarer en vekst på mer enn 1 000 ganger, ifølge tall gjengitt fra Kinas nasjonale dataadministrasjon.

Utviklingen viser at AI er på vei fra utprøving og enkeltstående spørsmål til assistenter, bedriftsprogramvare og agenter som utfører praktiske arbeidsflyter. Inferens blir dermed en viktig drivkraft for datakraftforbruket, og ikke bare et sekundært trinn etter modelltreningen.

Programvare er det raskeste håndtaket

Det er vanskelig å skaffe flere avanserte prosessorer når eksportkontroller begrenser tilgangen til de mest avanserte Nvidia-produktene, forsyningen er knapp og det er kostbart å bytte maskinvareøkosystem. Kinesiske utviklere møter også betydelige overgangskostnader fordi eksisterende modeller, verktøy og arbeidsprosesser er tett knyttet til etablerte programvareplattformer.

Programvareoptimalisering kan ikke lage nye brikker, men den kan øke mengden nyttig arbeid som hentes ut fra hver tilgjengelige prosessor. De viktigste grepene er:

• Ruting av arbeidslaster: Enklere forespørsler sendes til rimeligere eller kinesiske akseleratorer, mens Nvidia-GPU-er reserveres til komplekse oppgaver.
• Mer effektiv kjøring: Forespørsler grupperes og planlegges bedre, slik at maskinvaren bruker mindre tid inaktiv.
• Ressursbevisst utrulling: Modellstørrelse, kontekstlengde og svarstrategi tilpasses verdien og vanskelighetsgraden i hver forespørsel.
• Heterogen infrastruktur: Ulike brikkearkitekturer integreres i stedet for at alle arbeidslaster må kjøre på én plattform.

Tiltakene fungerer som en bro mellom økende etterspørsel og begrenset tilgang. De er likevel ingen fullgod erstatning for den mest avanserte maskinvaren, særlig når kvalitetsfølsomme oppgaver fortsatt er avhengige av et smalere utvalg prosessorer.

Et krevende kommersielt regnestykke

Situasjonen blir vanskeligere fordi prisene på inferens er under press. Analytikere i Jefferies anslo at kinesiske modeller i gjennomsnitt kostet rundt en sjettedel så mye per token som tilbudene fra store amerikanske selskaper.

Lave priser kan få flere til å ta i bruk AI, men de begrenser også inntektene som kan finansiere den knappe premiumkapasiteten. Samtidig bruker kodeassistenter og agentbaserte produkter mer ressurser enn enkel chat.

Kinesiske AI-selskaper må dermed håndtere en vanskelig kombinasjon: Etterspørselen vokser raskt, kundene forventer lave priser, og den mest kapable inferenskapasiteten er vanskelig å utvide eller erstatte.

Presset har allerede vist seg i tilgjengeligheten. En markedsrapport beskrev hvordan store kinesiske modellutviklere og skyleverandører har redusert hastigheten på tjenestene, begrenset tilgangen eller økt prisene når etterspørselen har overgått den tilgjengelige datakraften – særlig for ressurskrevende kodeassistenter.

Den større betydningen

Kinas utfordring er ikke bare at landet mangler brikker. Det mangler den riktige kombinasjonen av avanserte prosessorer, kompatibel programvare og økonomisk bærekraftig kapasitet for verdifull inferens.

Innenlandsk maskinvare kan ta over en større del av arbeidsmengden etter hvert som programvaren forbedres og systemene utformes rundt brikkenes styrker. Dagens utvikling peker likevel mot en overgangsstrategi: Optimaliser hvert lag av inferensen, bruk kinesiske brikker der de fungerer godt, og spar den knappe Nvidia-kapasiteten til de vanskeligste oppgavene.

Det kan forlenge levetiden til ressursene som allerede finnes. Men hvis agentbasert AI skal fortsette å vokse, må Kina til slutt utvide både tilgangen på maskinvare og programvareøkosystemet som gjør ulike prosessorer praktiske å bruke.