Jalapeño od OpenAI ma nawet 3,6 raza niższe opóźnienia niż Nvidia GB200 i GB300. Co naprawdę pokazują testy?

Pierwsze szczegółowe wyniki Jalapeño pokazują, że własny układ OpenAI może obsługiwać duże modele językowe przy mniejszym zużyciu energii i niższych opóźnieniach niż konkretne konfiguracje Nvidia GB200 i GB300 wykorzystane w porównaniu. W publicznym benchmarku InferenceX firmy SemiAnalysis OpenAI zaraportowało 1,5–1,9 raza więcej pracy AI na wat oraz 1,7–3,6 raza niższe opóźnienie end-to-end dla trzech modeli z otwartymi wagami.

To ważny wynik dla firmy przetwarzającej ogromną liczbę zapytań AI, ale nie oznacza jeszcze, że Jalapeño jest wszędzie szybszym lub tańszym zamiennikiem GPU. Testy miały ograniczony zakres, układ zaprojektowano wyłącznie do inferencji, a większość wyników pochodzi z pomiarów OpenAI wykonanych na układach inżynieryjnych. 14

Najważniejsze wyniki benchmarku

OpenAI porównało Jalapeño z systemami Nvidia GB200 i GB300 w benchmarku InferenceX, który ma mierzyć cały proces obsługi zapytania AI — od jego przyjęcia do wygenerowania odpowiedzi. Wskaźniki efektywności energetycznej zostały znormalizowane na podstawie opublikowanych wartości mocy akceleratorów.

W raportowanych testach Jalapeño osiągnął:

• 1,5–1,9 raza więcej pracy AI na wat przy maksymalnej przepustowości niż porównywane systemy Nvidia;
• 1,7–3,6 raza niższe opóźnienie end-to-end;
• 2,1–4,1 raza wyższą wydajność w wysoce interaktywnych obciążeniach, według wybranych przez OpenAI punktów pracy. 4

Największą różnicę w opóźnieniu odnotowano dla DeepSeek R1 670B: Jalapeño ukończył żądanie w 1,65 sekundy, podczas gdy system oparty na GB300 potrzebował 5,99 sekundy. 1112

Nie są to jednak obietnice proporcjonalnego skrócenia czasu odpowiedzi w ChatGPT ani obniżenia cen API. Rzeczywista wydajność zależy między innymi od modelu, oprogramowania serwującego, łączenia żądań w partie, sieci, długości kontekstu, długości odpowiedzi oraz tego, czy priorytetem jest niskie opóźnienie, czy maksymalna przepustowość.

Jakie modele i obciążenia testowano?

Benchmark objął trzy publicznie dostępne modele z otwartymi wagami:

Model	System Nvidia użyty do porównania	Wynik zgłoszony dla Jalapeño
GPT-OSS 120B	GB200	Około 1,9 raza więcej pracy na wat; 1,03 sekundy wobec 1,80 sekundy opóźnienia end-to-end
DeepSeek R1 670B	GB300	Około 1,7 raza więcej pracy na wat; 1,65 sekundy wobec 5,99 sekundy opóźnienia
Kimi K2.5 1T	GB300	Około 1,5 raza więcej pracy na wat; 1,56 sekundy wobec 5,31 sekundy opóźnienia

Powyższe wartości pochodzą z opublikowanych podsumowań benchmarku, a nie z niezależnie odtworzonego pełnego zestawu testów. 61112

Obciążenie było nominalnie jednoturowe i obejmowało 8000 tokenów wejściowych oraz 1000 tokenów wyjściowych. Taki układ ułatwia kontrolowane porównanie, ale nie odzwierciedla wszystkich rodzajów ruchu produkcyjnego. Nadal niewiele mówi o rozmowach wieloturowych, wywoływaniu narzędzi, pracy agentów, odpowiedziach o zmiennej długości, zachowaniu przy grupowaniu żądań ani o zapytaniach z bardzo długim kontekstem. 813

Benchmark obejmował również konkretne konfiguracje sprzętu i oprogramowania. Zmiana kompilatorów, jąder obliczeniowych, kwantyzacji, harmonogramowania, architektury modelu lub stosu uruchomieniowego Nvidii może zmienić skalę przewagi.

Jak wygląda system Jalapeño na poziomie szafy serwerowej?

Jalapeño to układ ASIC, czyli wyspecjalizowany układ scalony, opracowany wspólnie przez OpenAI i Broadcom z myślą o inferencji dużych modeli językowych. W przeciwieństwie do uniwersalnego GPU jest zoptymalizowany pod kątem uruchamiania wytrenowanych modeli i generowania przez nie odpowiedzi. 15

Raportowane parametry systemu obejmują:

• 128 układów akceleratorowych w systemie typu rack-scale;
• około 1,7 eksaflopsa obliczeń 4-bitowych;
• około 27 TB pamięci o wysokiej przepustowości w całym systemie;
• 700 W mocy znamionowej pojedynczego układu, wobec opublikowanych wartości 1200 W dla akceleratorów GB200 i 1400 W dla GB300. 121419

Na poziomie pojedynczego układu raportowana wersja B0 korzysta z matrycy obliczeniowej wielkości retikla, produkowanej w procesie N3P firmy TSMC, i oferuje 13,4 PFLOPS obliczeń MXFP4. 18

Architektura Jalapeño została pomyślana jako rozwiązanie obejmujące cały system, a nie tylko pojedynczy akcelerator. W przypadku bardzo dużych modeli kluczowe znaczenie mają pamięć, połączenia między układami, sieć i komunikacja na poziomie całej szafy, ponieważ obsługa jednego zapytania może wymagać rozdzielenia obliczeń między wiele chipów. 1819

Jak szybko powstał układ i jaką rolę odegrała AI?

Według dostępnych informacji OpenAI i Broadcom przeszły od koncepcji do etapu tape-out — przekazania projektu do produkcji próbnej — w około dziewięć miesięcy. To wyjątkowo krótki czas jak na wysokowydajny układ projektowany na zamówienie. 720

W procesie projektowym wykorzystywano narzędzia wspomagane przez AI, ale nie oznacza to, że model AI samodzielnie zaprojektował i wyprodukował procesor. Za projekt architektury i inżynierię nadal odpowiadały zespoły ludzi, a w realizację zaangażowani byli Broadcom, partnerzy produkcyjni oraz zespoły integrujące cały system. 713

Ostrożniejszy i lepiej uzasadniony wniosek brzmi więc: OpenAI wykorzystało wiedzę o obciążeniach charakterystycznych dla modeli językowych — a także narzędzia AI w pracy inżynieryjnej — by wspólnie projektować sprzęt i oprogramowanie pod konkretny cel. Taka specjalizacja może poprawić efektywność, ale ogranicza elastyczność w porównaniu z programowalnym GPU.

Dlaczego Jalapeño obsługuje tylko inferencję?

Jalapeño służy do uruchamiania wytrenowanych modeli, a nie do trenowania nowych modeli granicznych. OpenAI nadal będzie więc potrzebować programowalnych akceleratorów, przede wszystkim GPU, do treningu, badań, eksperymentów oraz zadań, które nie pasują dobrze do wyspecjalizowanego układu inferencyjnego. 813

To rozróżnienie ogranicza znaczenie hasła „pokonać Nvidię”. Jalapeño może przewyższać testowane konfiguracje Nvidii w wybranych wskaźnikach inferencji, podczas gdy sprzęt Nvidii pozostanie niezbędny w innych częściach infrastruktury OpenAI. Wyspecjalizowany ASIC może świetnie radzić sobie z przewidywalnym zadaniem wykonywanym na ogromną skalę, nie zastępując platformy, która zapewnia możliwość trenowania modeli i szybkiego zmieniania ich architektury.

Czego te wyniki nie dowodzą?

Wyniki należy odczytywać jako „lepsze w opisanych testach”, a nie jako dowód, że Jalapeño jest „najlepszym systemem AI ogółem”. Kilka zastrzeżeń ma tu szczególne znaczenie:

• Testy wykorzystały stałe, stosunkowo proste obciążenie jednoturowe, a nie pełne spektrum ruchu produkcyjnego. 1112
• Opublikowane liczby pochodziły z testów OpenAI na układach inżynieryjnych. Z relacji związanych z SemiAnalysis wynika, że uruchomienia zweryfikowano w laboratorium OpenAI, ale podstawowe dane nadal dostarczyła sama firma. 214
• Efektywność znormalizowano przy użyciu opublikowanych wartości mocy układów. To użyteczne dla porównania, lecz nie jest równoznaczne z pełną analizą kosztów ani zużycia energii w centrum danych. 11
• Wyniki mogą się zmienić wraz z aktualizacjami kompilatorów, jąder obliczeniowych, środowisk uruchomieniowych, kwantyzacji, grupowania żądań, sieci i oprogramowania Nvidii.
• Porównanie nie ustaliło wydajności Jalapeño względem wszystkich nowszych i dopiero zapowiadanych akceleratorów, w tym produktów Nvidii po generacji Blackwell oraz najnowszych systemów Google, Amazona, Microsoftu, AMD i innych dostawców. 238

Na podstawie tych wyników nie ma również podstaw, by twierdzić, że OpenAI obniży koszty o 50%, zagwarantuje niższe ceny API albo natychmiast uniezależni się od Nvidii. Dostępne dowody potwierdzają twierdzenia o wydajności i efektywności w określonych warunkach, a nie tak szerokie wnioski biznesowe.

Kiedy OpenAI wdroży Jalapeño?

OpenAI planuje rozpocząć wdrażanie Jalapeño we własnej infrastrukturze do końca 2026 roku, a produkcję seryjną i szersze wdrożenie przewiduje na 2027 rok. Długoterminowy plan obejmuje centra danych o skali gigawatów, budowane z Microsoftem i innymi partnerami infrastrukturalnymi, oraz kilka generacji własnych układów. 16

Jalapeño ma służyć przede wszystkim wewnętrznym potrzebom OpenAI, a nie być sprzedawany jako procesor dostępny na rynku. Zewnętrzne firmy nie powinny więc zakładać, że będą mogły kupić sprzęt Jalapeño lub wynająć publiczną instancję chmurową opartą na tym układzie. 16

Zachowanie sprzętu wewnątrz firmy pozwala OpenAI optymalizować go pod własne modele, jądra obliczeniowe i systemy serwowania. Firma unika też obowiązków związanych ze wsparciem klientów, konkurencją na rynku, sprzedażą oraz budowaniem ekosystemu typowych dla dostawcy półprzewodników. To interpretacja strategiczna modelu wdrożenia; potwierdzony plan zakłada wewnętrzne wykorzystanie, a nie sprzedaż zewnętrzną. 16

Gdzie Jalapeño pasuje do rywalizacji o układy AI?

Jalapeño najlepiej traktować jako jeden z elementów szerszej, pełnostackowej strategii obliczeniowej OpenAI. Firma łączy moce chmurowe Microsoftu i innych partnerów, GPU klasy Nvidia do elastycznych oraz treningowych obciążeń, a także własny krzem do stabilnych zadań inferencyjnych, w których specjalizacja może przynieść korzyści. W opisie swojego portfela obliczeniowego OpenAI wymienia Microsoft, Nvidię, AWS, AMD, Broadcom, Cerebras, CoreWeave, Oracle, SB Energy i SoftBank.

To podejście wpisuje się w szerszy ruch w branży. Google rozwija układy TPU, Amazon oferuje Trainium i Inferentia, Microsoft ma własne akceleratory Maia, AMD konkuruje uniwersalnymi GPU do AI, a Nvidia nadal dostarcza szeroko programowalne systemy. Anthropic również zmierza w stronę coraz bardziej dopasowanej infrastruktury dzięki relacjom z dostawcami chmurowymi, choć przedstawione wyniki nie pozwalają na bezpośrednie porównanie z systemami tej firmy.

Najbliższy wpływ Jalapeño jest więc bardziej złożony niż historia o zastąpieniu GPU. Układ może dać OpenAI większą kontrolę nad kosztami inferencji, opóźnieniami, dostawami i własną mapą rozwoju sprzętu. Nvidia pozostanie ważna w treningu i elastycznych pracach badawczych, natomiast własny chip zapewni OpenAI wyspecjalizowaną opcję dla przewidywalnych, masowych obciążeń związanych z obsługą modeli. 813