Konkretną optymalizacją programową, którą OpenAI opracowało, aby zmniejszyć koszty inferencji o ponad połowę, jest routing wielomodelowy (multi-model routing). Technika ta automatycznie kieruje prostsze zapytania do mniejszych, tańszych modeli, rezerwując najbardziej zaawansowane (i najdroższe) modele tylko do skomplikowanych żądań .
Branżowe analizy opisują to hybrydowe podejście jako przynoszące 30-75% redukcji kosztów na poziomie modelu dzięki zastosowaniu kwantyzacji, destylacji i odpowiedniego doboru wielkości modelu, w połączeniu z optymalizacjami czasu wykonania, takimi jak przetwarzanie wsadowe (batching), spekulatywne dekodowanie i zarządzanie pamięcią podręczną KV, które mogą dać 40-80% wzrostu przepustowości . OpenAI uruchomiło również tę strategię oferując 50-procentowe obniżki cen dla odroczonej inferencji za pośrednictwem Batch API – jeśli klienci zgodzą się czekać do 24 godzin na wyniki
.
Inżynierowie OpenAI powiedzieli The Information, że te techniki są na tyle skuteczne, że w pewnym momencie obsługiwali ChatGPT dla niezalogowanych użytkowników za pomocą zaledwie kilkuset procesorów graficznych Nvidii .
24 czerwca 2026 roku OpenAI wraz z Broadcomem zaprezentowało Jalapeño, pierwszy zaprojektowany na zamówienie układ inferencyjny OpenAI . Kluczowe szczegóły:
OpenAI opisuje układ jako „pierwszy element wieloletniej mapy drogowej własnych układów scalonych”, mającej na celu zbudowanie własnego stosu obliczeniowego i uniezależnienie się od cen Nvidii . Układ jest zintegrowany pionowo – OpenAI będzie go używać wyłącznie do własnych zadań inferencyjnych, nie sprzedając go klientom zewnętrznym
.
Kluczowe liczby z dokumentów dla akcjonariuszy za Q1 2026:
Marża operacyjna firmy wyniosła około -122%, co oznacza, że traciła ona około 1,22 dolara na każdym zarobionym dolarze . W całym 2025 roku OpenAI odnotowało straty w wysokości około 38,5 mld dol. przy wydatkach rzędu 34 mld dol.
.
Działania OpenAI wpisują się w ogólnobranżową wojnę cenową, która zmienia ekonomikę AI:
Połączenie optymalizacji programowej i sprzętowej stawia OpenAI w pozycji, która może pozwolić na zmniejszenie kosztów inferencji o połowę nawet przy rosnącej skali działania. Firma nie działa jednak w próżni. Szersze załamanie cen inferencji – napędzane przez konkurencję, alternatywy open-source i specjalistyczny sprzęt – oznacza, że siła cenowa w całej branży słabnie .
Dla przedsiębiorstw to dobra wiadomość: efektywny koszt uruchamiania obciążeń AI spada szybciej niż rosną możliwości. Batch API OpenAI oferuje już 50-procentowe zniżki dla zadań z odroczonym terminem, a routing wielomodelowy może obniżyć koszty o 40-60% bez utraty jakości . Pytanie brzmi, czy którykolwiek dostawca będzie w stanie utrzymać wysokie ceny na rynku, gdzie chińskie modele open-source oferują możliwości na poziomie granicznym za ułamek kosztów
.