AnswersPublished15 sources
Jalapeño kontra Nvidia: autorski chip OpenAI ma być szybszy i oszczędniejszy
OpenAI twierdzi, że jego pierwszy autorski akcelerator inferencji, Jalapeño, przewyższył porównywane systemy Nvidia GB200 i GB300 pod względem efektywności energetycznej oraz szybkości odpowiedzi. W testowanych modelach Jalapeño zapewnił od 1,5 do 1,9 razy więcej pracy AI na kilowat oraz od 1,7 do 3,6 razy niższe op...
Opublikowane przezObrazy wygenerowane za pomocą GPT Image 1.5
Research answer
Key takeaways
- OpenAI twierdzi, że jego pierwszy autorski akcelerator inferencji, Jalapeño, przewyższył porównywane systemy Nvidia GB200 i GB300 pod względem efektywności energetycznej oraz szybkości odpowiedzi.
- W testowanych modelach Jalapeño zapewnił od 1,5 do 1,9 razy więcej pracy AI na kilowat oraz od 1,7 do 3,6 razy niższe opóźnienie end to end.
- W przypadku GPT OSS 120B układ osiągnął 1459 tokenów na sekundę na użytkownika, wobec 535 tokenów na sekundę na użytkownika w systemie GB200.
- Dla DeepSeek R1 MXFP4 OpenAI podało około 700 tokenów na sekundę na użytkownika, w porównaniu z 169 w systemie GB300.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI twierdzi, że Jalapeño — pierwszy autorski akcelerator firmy opracowany wspólnie z Broadcomem — jest szybszy i bardziej energooszczędny od porównywanych systemów Nvidia GB200 i GB300 w zadaniach inferencji, czyli uruchamiania już wytrenowanych modeli AI. Wyniki są obiecujące, ale dotyczą konkretnych konfiguracji i testów raportowanych przez OpenAI, a nie niezależnego, kompleksowego porównania wszystkich obciążeń produkcyjnych. 4
7
Co pokazały testy?
OpenAI wykorzystało publiczny benchmark InferenceX firmy SemiAnalysis. Sprawdzono obsługę modeli GPT-OSS 120B, DeepSeek R1 670B oraz Kimi K2.5 1T. We wszystkich trzech przypadkach Jalapeño miał zapewnić od 1,5 do 1,9 razy więcej pracy AI na wat przy maksymalnej przepustowości oraz od 1,7 do 3,6 razy niższe opóźnienie całej odpowiedzi niż systemy użyte jako punkt odniesienia. 4
Najbardziej szczegółowe dane przedstawiono dla poszczególnych modeli:
GPT-OSS 120B kontra Nvidia GB200: OpenAI podało 1,9 razy wyższą szczytową mieszaną przepustowość na kilowat — 85 448 wobec 44 960 — oraz 1,7 razy niższe opóźnienie end-to-end: 1,03 s wobec 1,80 s. Minimalny odstęp między tokenami wyniósł 0,69 ms, co odpowiada 1459 tokenom na sekundę na użytkownika. Dla GB200 było to 1,87 ms, czyli 535 tokenów na sekundę na użytkownika.
4
DeepSeek R1 MXFP4 kontra Nvidia GB300: Jalapeño miało osiągnąć 1,7 razy wyższą przepustowość na kilowat — 19 641 wobec 11 781 — oraz 3,6 razy niższe opóźnienie: 1,65 s wobec 5,99 s. Minimalny odstęp między tokenami wyniósł 1,43 ms, czyli około 700 tokenów na sekundę na użytkownika, podczas gdy GB300 osiągnął 169 tokenów na sekundę na użytkownika.
Kimi K2.5 MXFP4 kontra Nvidia GB300: OpenAI raportuje 1,5 razy wyższą szczytową przepustowość na kilowat i 3,4 razy niższe opóźnienie. Przy minimalnym odstępie między tokenami system miał osiągać około 694 tokeny na sekundę na użytkownika, wobec 182 w przypadku GB300.
W praktyce oznacza to potencjalnie szybsze odpowiedzi modeli przy mniejszym zużyciu energii. Jest to szczególnie istotne w usługach AI działających na dużą skalę, gdzie zarówno koszt prądu, jak i czas oczekiwania użytkownika mogą wpływać na ekonomię całej usługi.
Jalapeño zaprojektowano specjalnie do inferencji
Jalapeño nie jest uniwersalnym procesorem graficznym przystosowanym do obsługi modeli językowych. To akcelerator zaprojektowany przede wszystkim z myślą o inferencji dużych modeli językowych. OpenAI odpowiadało za architekturę, Broadcom za implementację krzemową i sieć komunikacyjną, a Celestica za integrację płyt, szaf oraz całego systemu. 1
Ujawniona konstrukcja na poziomie całej szafy wykorzystuje duży, połączony obszar sieciowy, dzięki czemu zadanie może pozostać w obrębie jednego systemu. Układ ma również lokalnie umieszczać i utrzymywać stan modelu, w tym pamięć podręczną KV. Ograniczenie przesyłania danych między chipami ma zmniejszać przestoje wynikające z komunikacji. 4
OpenAI podkreśla też, że Jalapeño nie rozdziela faz prefill i decode na osobne pule zasobów. Te same elastycznie przydzielane zasoby obliczeniowe, pamięć i sieć mają obsługiwać obie fazy. Prefill, czyli przetwarzanie promptu, jest zazwyczaj wymagający obliczeniowo, natomiast decode — generowanie kolejnych tokenów — w większym stopniu zależy od przepustowości pamięci. 4
Publiczne informacje o pełnej specyfikacji systemu pozostają ograniczone. Jeden z raportów technicznych opisuje konfigurację ze 128 chipami, oferującą około 1,7 eksaflopsa i 27 TB pamięci HBM. W swoim wpisie benchmarkowym OpenAI nie podało jednak kompletnego zestawienia podzespołów całej szafy. 4
OpenAI twierdzi, że AI pomogła zaprojektować chip
Według OpenAI przejście od wstępnego projektu do przekazania układu do produkcji, czyli tzw. tape-outu, zajęło dziewięć miesięcy. Firma przedstawia ten czas jako wyjątkowo krótki jak na zaawansowany układ ASIC. 1
Modele OpenAI miały wspierać projektowanie, analizę wariantów implementacji, pomiary, weryfikację, optymalizację układów arytmetycznych i programowanie. Firma podaje, że Codex wraz z GPT-Astra pozwoliły w ciągu dwóch miesięcy doprowadzić trzy wcześniej nieplanowane modele open-weight do wysokiej wydajności. W wybranych blokach uwagi oraz blokach mixture-of-experts modelowych implementacje wygenerowane przez AI były od 1,5 do 1,8 razy szybsze od wcześniejszych implementacji napisanych przez ludzi. Są to jednak wyniki dla konkretnych bloków, a nie dla całych modeli. 4
Ważne zastrzeżenia do benchmarku
Testy nie powinny być odczytywane jako dowód, że Jalapeño jest szybsze od każdego akceleratora Nvidia w każdym scenariuszu.
InferenceX wykorzystywał nominalne zadania z jedną turą rozmowy, obejmujące wejście o długości 8 tys. tokenów i wyjście długości 1 tys. tokenów. Mierzono pełną obsługę żądania przy porównywalnym doświadczeniu użytkownika, a wyniki normalizowano według publikowanych wartości mocy chipów.
7
OpenAI podaje dla Jalapeño moc pakietu na poziomie 700 W, ale twierdzi, że podczas tych obciążeń zmierzona moc utrzymywała się na poziomie 550 W lub niższym. W przypadku GB200 i GB300 przyjęto odpowiednio 1200 W i 1400 W. Przewaga liczona na wat jest więc zależna od charakterystyki obciążenia oraz sposobu uwzględniania poboru energii.
SemiAnalysis poinformowało, że obserwowało testy w laboratorium OpenAI, ale nie uruchomiło samodzielnie pełnego zestawu benchmarków. Organizacja zaznacza również, że konfiguracja InferenceX z pojedynczą turą i schematem 8 tys. tokenów wejścia/1 tys. tokenów wyjścia nie sprawdza dłuższych kontekstów, wieloturowych zadań agentowych, routingu, buforowania prefiksów, zarządzania pamięcią podręczną ani odciążania obliczeń. Wszystkie te elementy mogą istotnie zmienić wyniki w produkcji.
Porównanie jest ograniczone w czasie. GB200 i GB300 należą do komercyjnych systemów generacji Blackwell, a w przyszłości właściwszym punktem odniesienia mogą być nowsze platformy Nvidia. Firma Nvidia publikuje także wyniki GB300 dla DeepSeek R1 w metodologii offline MLPerf. Nie można ich bezpośrednio zestawiać z interaktywnymi wynikami Jalapeño wyrażonymi w tokenach na użytkownika.
2
Chip do własnej infrastruktury, nie do sprzedaży
OpenAI planuje ograniczone wdrożenie systemów z Jalapeño we własnej infrastrukturze obliczeniowej do końca 2026 roku, a zwiększenie dostępnej mocy w 2027 roku. Druga generacja układu jest już — według firmy — intensywnie rozwijana, a prace nad trzecią dopiero nabierają kształtu. 4
6
Firma nie zamierza sprzedawać Jalapeño zewnętrznym klientom. Richard Ho, wiceprezes OpenAI odpowiedzialny za sprzęt, powiedział, że wewnętrzne zapotrzebowanie jest zbyt duże, by obecnie rozważać sprzedaż poza firmę. 6
Nie chodzi więc o całkowite zastąpienie układów Nvidia czy AMD. Jalapeño ma uzupełniać wykorzystywaną infrastrukturę, szczególnie w inferencji. OpenAI nadal będzie korzystać z akceleratorów Nvidia, AMD i innych partnerów, zwłaszcza że autorski chip nie został zaprojektowany do trenowania modeli. 4
6
Kolejny etap wyścigu o własne układy AI
Strategia OpenAI wpisuje się w szerszy trend pionowej integracji w branży. Google rozwija układy TPU do trenowania i uruchamiania modeli, Amazon i Microsoft mają własne chipy AI, a Anthropic informowało o pracach nad wewnętrznym zespołem projektującym układy. 6
Jalapeño daje zatem OpenAI miejsce w tym samym wyścigu, ale obecna deklaracja przewagi jest wąska: dotyczy inferencji modeli językowych w ujawnionych konfiguracjach benchmarku. O tym, jak układ poradzi sobie w rzeczywistych, długich i wieloetapowych zadaniach produkcyjnych oraz względem kolejnych generacji sprzętu Nvidia, będzie można wiarygodniej ocenić dopiero po szerszym wdrożeniu.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Jalapeño kontra Nvidia: autorski chip OpenAI ma być szybszy i oszczędniejszy"?
OpenAI twierdzi, że jego pierwszy autorski akcelerator inferencji, Jalapeño, przewyższył porównywane systemy Nvidia GB200 i GB300 pod względem efektywności energetycznej oraz szybkości odpowiedzi.
What are the key points to validate first?
OpenAI twierdzi, że jego pierwszy autorski akcelerator inferencji, Jalapeño, przewyższył porównywane systemy Nvidia GB200 i GB300 pod względem efektywności energetycznej oraz szybkości odpowiedzi. W testowanych modelach Jalapeño zapewnił od 1,5 do 1,9 razy więcej pracy AI na kilowat oraz od 1,7 do 3,6 razy niższe opóźnienie end to end.
What should I do next in practice?
W przypadku GPT OSS 120B układ osiągnął 1459 tokenów na sekundę na użytkownika, wobec 535 tokenów na sekundę na użytkownika w systemie GB200.
Sources
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...