Därför måste kinesiska AI-bolag få varje Nvidia-GPU att räcka längre

Kinas AI-flaskhals uppstår allt oftare efter att modellerna har tränats. När konsumenttjänster och företagsapplikationer går över till storskalig drift måste bolagen hantera enorma mängder förfrågningar – många från AI-agenter som resonerar, använder verktyg och genomför uppgifter i flera steg. Därmed blir inferenskapacitet, inte bara träningskapacitet, en central begränsning.

Från att träna modeller till att leverera svar

Träning är processen där en modell lär sig. Inferens är det efterföljande skedet, när den färdigtränade modellen använder sina kunskaper för att skapa svar åt användaren.

Till skillnad från modellträning kan delar av inferensen anpassas till inhemsk hårdvara. Skillnaden är dock inte absolut. Krävande applikationer behöver fortfarande en kombination av beräkningskraft, minne, driftsäkerhet och mogen mjukvara som är svår att ersätta.

Kinesiska AI-bolag står därför inför ett problem med blandad hårdvara. Inhemska acceleratorer kan hantera delar av inferensarbetet, medan den begränsade tillgången till avancerade Nvidia-processorer måste reserveras för de uppgifter som är svårast att flytta. Branschrapporter pekar ut komplexa kodningsuppgifter som en särskild belastning.

Kodning och AI-agenter slukar kapacitet

En enkel fråga–svar-interaktion kan kräva relativt lite beräkningskraft. En kodassistent eller autonom AI-agent är betydligt mer krävande. Den kan behöva hålla reda på en lång kontext, skriva kod, använda externa verktyg, granska resultatet och sedan ändra svaret flera gånger.

Det förändrar ekonomin i AI-driften. Den viktiga frågan är inte bara hur många chip ett företag äger, utan hur mycket tillförlitligt arbete chipen kan utföra. Om inhemska processorer fungerar sämre på avancerad kodning och problemlösning kan en fullständig övergång bort från Nvidia innebära lägre kvalitet eller sämre effektivitet. Den knappa Nvidia-kapaciteten måste då gå till de uppgifter där skillnaden märks mest.

Alla tokens är inte lika värdefulla

Antalet tokens – de text- och dataenheter som stora språkmodeller bearbetar – är ett användbart mått på efterfrågan. Men tokens representerar inte identiska arbetsbelastningar.

Enkel och billig text kan produceras på billigare hårdvara. Kvalitativa svar från en starkare modell, längre resonemang eller upprepade verktygsanrop kräver mer datorkraft och kan vara betydligt mer värdefulla för kunden.

Därför kan en ökning av det totala antalet tokens dölja en ännu större brist på avancerad inferens. Marknaden kan producera fler tokens totalt, samtidigt som det råder akut brist på den hårdvara som krävs för tillförlitliga resultat i komplexa uppgifter. Investeringar i kapacitet för högkvalitativa tokens och system som kombinerar olika typer av beräkningskraft speglar denna skillnad.

Efterfrågan har vuxit snabbare än kapaciteten

Kinas genomsnittliga dagliga tokenanrop översteg 140 biljoner i mars 2026, jämfört med omkring 100 miljarder i början av 2024. Det motsvarar en ökning på mer än 1 000 gånger, enligt siffror som rapporterats från Kinas nationella dataadministration.

Utvecklingen visar hur användningen av AI har förändrats. Modellerna går från experiment och enstaka frågor till assistenter, företagsprogram och agenter som utför verkliga arbetsflöden. Inferens blir därmed en viktig drivkraft bakom förbrukningen av beräkningskapacitet – inte bara ett sekundärt steg efter träningen.

Mjukvaruoptimering är den snabbaste lösningen

Det är svårt att snabbt skaffa fler avancerade processorer när exportkontroller begränsar tillgången till Nvidias mest kraftfulla produkter, utbudet är begränsat och ekosystemen är dyra att ersätta. Kinesiska AI-utvecklare har dessutom höga omställningskostnader eftersom befintliga modeller, verktyg och arbetsflöden är tätt knutna till etablerade mjukvaruplattformar.

Mjukvaruoptimering kan inte skapa nya chip, men den kan öka mängden användbart arbete som varje tillgänglig processor utför. Bland de viktigaste metoderna finns:

• Styrning av arbetslaster: enklare förfrågningar skickas till billigare eller inhemska acceleratorer, medan Nvidia-GPU:er reserveras för komplexa uppgifter.
• Effektivare drift: förfrågningar grupperas och schemaläggs bättre så att hårdvaran står stilla så lite som möjligt.
• Resursanpassad användning: modellstorlek, kontextlängd och svarstrategi anpassas efter uppgiftens svårighetsgrad och kundvärde.
• Heterogen infrastruktur: olika chiparkitekturer integreras i stället för att alla arbetslaster måste köras på samma plattform.

Åtgärderna fungerar som en bro mellan snabbt växande efterfrågan och begränsat utbud. De ersätter dock inte helt den mest avancerade hårdvaran, särskilt när kvalitetskänsliga arbetslaster fortfarande är beroende av ett smalare urval av processorer.

Prispressen gör bristen svårare att hantera

Bristen blir ännu svårare att lösa eftersom priserna på inferens pressas. Analytiker på Jefferies uppskattade att kinesiska modeller i genomsnitt kostar ungefär en sjättedel så mycket per token som erbjudanden från stora amerikanska bolag.

Låga priser kan driva på användningen, men de begränsar också intäkterna som ska finansiera den dyra och knappa beräkningskapaciteten. Samtidigt kan kodassistenter och AI-agenter förbruka betydligt mer resurser än enkel chatt.

Kinas AI-bolag möter därmed en besvärlig kombination: efterfrågan ökar snabbt, kunderna förväntar sig billig tillgång och den mest kraftfulla inferenskapaciteten går inte enkelt att bygga ut eller ersätta.

Den pressen har redan påverkat tillgängligheten. En rapport från marknaden beskrev hur stora kinesiska modellutvecklare och molnleverantörer strypt tjänster, ransonerat åtkomst eller höjt priser när efterfrågan överstigit de tillgängliga beräkningsresurserna – särskilt för resurskrävande kodassistenter.

Den större konsekvensen

Kinas AI-utmaning handlar alltså inte bara om chipbrist. Det råder brist på rätt kombination av avancerade processorer, kompatibel mjukvara och ekonomiskt hållbar kapacitet för värdefull inferens.

Inhemsk hårdvara kan ta över en större del av arbetet när mjukvaran förbättras och systemen utformas efter chipens styrkor. Den aktuella utvecklingen pekar ändå mot en övergångsstrategi: optimera varje lager av inferensen, använd inhemska chip där de fungerar väl och spara den knappa Nvidia-kapaciteten till de svåraste uppgifterna.

Det kan få befintliga resurser att räcka längre. Men om användningen av agentbaserad AI ska fortsätta växa måste Kina i slutändan bygga ut både tillgången till hårdvara och det mjukvaruekosystem som gör olika processorer praktiskt användbara tillsammans.