Den specifika mjukvaruoptimering som OpenAI utvecklat för att minska inferenskostnaderna med mer än hälften kallas multimodellroutning. Tekniken skickar automatiskt enkla frågor till mindre, billigare modeller medan de mest kraftfulla (och dyra) modellerna reserveras för komplexa förfrågningar .
Branschguider beskriver hybridmetoden som en 30–75% kostnadsminskning på modellnivå genom kvantisering, destillation och rätt dimensionering, kombinerat med runtime-optimeringar som batchningsbehandling, spekulativ avkodning och KV-cachehantering som kan ge 40–80% genomströmningsvinster . OpenAI har även operationaliserat detta genom att erbjuda 50% prisavdrag för fördröjd inferens via sitt Batch-API – om kunderna går med på att vänta upp till 24 timmar på svar
.
Utöver routning har OpenAI:s ingenjörer, enligt The Information, berättat att optimeringarna är så kraftfulla att de vid ett tillfälle kunde betjäna ChatGPT för utloggade besökare med bara ett par hundra Nvidia-GPU:er .
Den 24 juni 2026 presenterade OpenAI tillsammans med Broadcom Jalapeño – OpenAI:s första egenutvecklade inferenschip . Viktiga detaljer:
OpenAI beskriver chipet som ”den första byggstenen i en flerårig roadmap för egenutvecklad kisel” för att bygga en egen beräkningsstack och minska beroendet av Nvidias prissättning . Chipet är vertikalt integrerat – OpenAI kommer att använda det uteslutande för sina egna inferensarbetsbelastningar och inte sälja det till externa kunder
.
Nyckeltal från aktieägardokumenten för Q1 2026:
Bolagets rörelsemarginal var ungefär -122 %, vilket innebär att man förlorade cirka 1,22 dollar för varje intjänad dollar . Totalt för 2025 redovisade OpenAI förluster på ungefär 38,5 miljarder dollar på utgifter på 34 miljarder dollar
.
OpenAI:s kostnadsbesparingar är en del av ett bredare priskrig som omformar AI-ekonomin:
Kombinationen av mjukvaru- och hårdvaruoptimeringar positionerar OpenAI för att potentiellt halvera sina inferenskostnader samtidigt som man skalar upp. Men bolaget agerar inte i ett vakuum. Den bredare prisnedgången för inferens – driven av konkurrenter, open source-alternativ och specialiserad hårdvara – innebär att prissättningskraften urholkas i hela branschen .
För företag är detta goda nyheter: den effektiva kostnaden för att köra AI-arbetsbelastningar sjunker snabbare än kapaciteten växer. OpenAIs Batch-API erbjuder redan 50 % rabatt för fördröjda arbetsbelastningar, medan multimodellroutning kan minska kostnaderna med 40–60 % utan att kompromissa med kvaliteten . Frågan är om någon enskild leverantör kan upprätthålla premiumprissättning på en marknad där kinesiska open source-modeller erbjuder toppmodern kapacitet till en bråkdel av kostnaden
.