Konkrétní softwarovou optimalizací, kterou OpenAI vyvinula, aby snížila náklady na inferenci o více než polovinu, je směrování mezi více modely (multi-model routing). Tato technika automaticky posílá jednodušší dotazy na menší a levnější modely, zatímco ty nejsilnější (a nejdražší) si nechává až na komplexní požadavky .
Odborníci popisují tento hybridní přístup jako způsob, jak na úrovni modelů dosáhnout snížení nákladů o 30 až 75 % pomocí kvantizace, destilace a správné velikosti modelu. V kombinaci s optimalizacemi běhového prostředí, jako je dávkové zpracování, spekulativní dekódování a správa KV cache, lze pak dosáhnout 40–80% nárůstu propustnosti . OpenAI tuto logiku zavedla i do praxe: nabízí 50% slevy za odloženou inferenci prostřednictvím svého Batch API – pokud zákazníci souhlasí s čekáním až 24 hodin na výsledky
.
Inženýři OpenAI podle The Information uvedli, že tyto techniky jsou natolik účinné, že v jednom okamžiku dokázali obsluhovat ChatGPT pro odhlášené návštěvníky jen na pár stovkách grafických karet Nvidia .
Dne 24. června 2026 OpenAI společně s Broadcomem představila Jalapeño, svůj první vlastní inferenční čip . Klíčové detaily:
OpenAI čip označuje za „první stavební kámen“ několikaletého plánu vlastního křemíku, jehož cílem je vybudovat si vlastní výpočetní stack a čelit cenové dominanci Nvidie . Čip je vertikálně integrovaný – OpenAI jej bude používat výhradně pro vlastní inferenční úlohy, nebude ho prodávat externím zákazníkům
.
Klíčové položky z dokumentů pro akcionáře za Q1 2026:
Provozní marže firmy byla zhruba -122 %, což znamená, že na každý vydělaný dolar ztratila přibližně 1,22 dolaru . Za celý rok 2025 OpenAI vykázala ztrátu přibližně 38,5 miliardy dolarů při výdajích 34 miliard
.
Snahy OpenAI o snižování nákladů zapadají do širší cenové války, která přetváří ekonomiku AI:
Kombinace softwarových a hardwarových optimalizací staví OpenAI do pozice, kdy by mohla náklady na inferenci snížit na polovinu i při dalším škálování. Firma ale nepůsobí ve vzduchoprázdnu. Celkové zhroucení cen inference – poháněné konkurencí, open-source alternativami a specializovaným hardwarem – znamená, že cenová síla v celém odvětví eroduje .
Pro podniky je to dobrá zpráva: efektivní náklady na provoz AI úloh klesají rychleji, než rostou schopnosti modelů. OpenAI již nabízí 50% slevy za odložené úlohy přes Batch API, zatímco směrování mezi modely může snížit náklady o 40–60 % bez ztráty kvality . Otázkou zůstává, zda si kterýkoli dodavatel dokáže udržet prémiové ceny na trhu, kde čínské open-source modely nabízejí špičkovou kapacitu za zlomek ceny
.