OpenAI's $3,7 miljard kwartaalverlies: software en eigen chip moeten AI-kosten halveren

De Software-oplossing: Multi-Model Routing

De specifieke software-optimalisatie die OpenAI heeft ontwikkeld om de inferentiekosten met meer dan de helft te verlagen, is multi-model routing. Deze techniek stuurt eenvoudige queries automatisch door naar kleinere, goedkopere modellen, terwijl de krachtigste (en duurste) modellen worden gereserveerd voor complexe verzoeken .

Volgens branchegidsen levert de hybride aanpak een kostenreductie van 30-75% op de modellaag op door gebruik te maken van kwantisatie, distillatie en het selecteren van de juiste modelgrootte, gecombineerd met runtime-optimalisaties zoals batching, speculatieve decodering en KV-cache-beheer die 40-80% doorvoerwinst kunnen opleveren . OpenAI heeft dit verder geoperationaliseerd door 50% prijsverlagingen voor uitgestelde inferentie aan te bieden via zijn Batch API – mits klanten bereid zijn tot 24 uur te wachten op resultaten .

Naast routing hebben ingenieurs van OpenAI aan The Information verteld dat de technieken zo krachtig zijn dat ze op een gegeven moment ChatGPT voor uitgelogde bezoekers draaiende hielden op slechts een paar honderd Nvidia GPU's .

Het Hardware-initiatief: Jalapeño Custom Inference Chip

Op 24 juni 2026 onthulden OpenAI en Broadcom Jalapeño, OpenAI's eerste op maat gemaakte inferentiechip . Belangrijke details:

• Type: Application-specific integrated circuit (ASIC) – geen GPU, maar speciaal ontworpen voor LLM-inferentie
• Kostenreductie: Vroege tests laten ~50% lagere kosten per inferentie zien in vergelijking met de huidige op Nvidia GPU's gebaseerde inferentiehardware
• Prestaties: Levert "aanzienlijk betere" prestaties per watt dan de huidige state-of-the-art
• Ontwikkeling: Van ontwerp tot productie in slechts negen maanden, versneld doordat OpenAI's eigen AI-modellen hielpen bij het chipontwerp
• Uitrol: Uitrol op gigawattschaal staat gepland voor eind 2026
• Langetermijnbetrokkenheid: Onderdeel van een 10 GW infrastructuurverbintenis tot 2029
• Jaarlijkse besparing: De 50% kostenreductie kan zich vertalen in $500M–$1B aan jaarlijkse besparingen voor OpenAI tegen 2028

OpenAI omschrijft de chip als "het eerste bouwblok in een meerjarige custom silicon-roadmap" om een eigen rekenstack op te bouwen en de prijsmacht van Nvidia te doorbreken . De chip is verticaal geïntegreerd – OpenAI gebruikt hem uitsluitend voor zijn eigen inferentieworkloads en verkoopt hem niet aan externe klanten .

Financiële Druk in Detail

Belangrijke cijfers uit de aandeelhoudersdocumenten over Q1 2026:

• Omzet: $5,7 miljard (ruwweg verdrievoudigd op jaarbasis)
• Cashburn: $3,7 miljard (ook verdrievoudigd op jaarbasis)
• Operationeel verlies: $9,3 miljard in alleen het eerste kwartaal
• Nettoverlies: $21,3 miljard (inclusief $2,3 miljard aan aandelencompensatie en een niet-contante boekhoudkundige last van $12,4 miljard)
• R&D-uitgaven: $8,6 miljard
• Brutomarge: Licht verbeterd tot 39%
• Kasreserve: $73 miljard aan contanten en effecten, wat voldoende financiële ruimte biedt ondanks de enorme verliezen

De operationele marge van het bedrijf was ruwweg -122%, wat betekent dat het ongeveer $1,22 verloor voor elke verdiende dollar . Over heel 2025 boekte OpenAI ongeveer $38,5 miljard aan verliezen op $34 miljard aan uitgaven .

De Grotere Industrie-Race: Instortende Inferentiekosten

OpenAI's kostenbesparende maatregelen passen in een bredere branchebrede prijzenoorlog die de economie van AI opnieuw vormgeeft:

• Anthropic heeft de klantgroei versneld en OpenAI voorbijgestreefd in Amerikaanse zakelijke adoptie (34,4% tegen 32,3%) per mei 2026 .
• Open-source modellen drukken de prijzen: vier Chinese open-gewichtenmodellen evenaren nu de state-of-the-art codeerbenchmarks tegen een derde van de kosten van propriëtaire alternatieven . DeepSeek V4 zou vijftig keer goedkoper zijn om te draaien dan Claude Opus 4.6 .
• Google's Gemini 3.1 Flash kost $0,10 per miljoen invoertokens – een prijsdaling van 99,7% in drie jaar tijd .
• Anthropic's Claude Sonnet 4.6 presteert beter dan GPT-4 op alle legacy-benchmarks voor $3 per miljoen invoertokens .
• De inferentiekosten zijn in drie jaar tijd ongeveer 50x gedaald, waarbij de markt naar verwachting zal groeien van $103 miljard (2025) naar $255 miljard (2030) .
• OpenAI overweegt aanzienlijke prijsverlagingen per token voor ontwikkelaars en zakelijke klanten om een soortgelijke zet van Anthropic voor te zijn .
• Klanten maken steeds vaker gebruik van multi-model routing tools om goedkopere modellen te combineren en hoge prijzen van één enkele leverancier te vermijden .

Wat Dit Betekent voor de AI-Industrie

De combinatie van software- en hardware-optimalisaties stelt OpenAI in staat zijn inferentiekosten mogelijk te halvereren, zelfs terwijl het schaalt. Maar het bedrijf opereert niet in een vacuüm. De bredere ineenstorting van de inferentieprijzen – gedreven door concurrenten, open-source alternatieven en gespecialiseerde hardware – betekent dat de prijsmacht in de hele industrie afbrokkelt .

Voor bedrijven is dit goed nieuws: de effectieve kosten van het draaien van AI-workloads dalen sneller dan de mogelijkheden groeien. OpenAI's Batch API biedt al 50% korting voor uitgestelde workloads, terwijl multi-model routing de kosten met 40-60% kan verlagen zonder kwaliteitsverlies . De vraag is of één enkele aanbieder een hogere prijs kan handhaven in een markt waar Chinese open-source modellen state-of-the-art mogelijkheden bieden voor een fractie van de kosten .