AnswersPublished19 sources
Jalapeño, il chip di OpenAI che punta a superare Nvidia nell’inferenza AI
Nei test InferenceX, OpenAI ha dichiarato dal 50% al 90% in più di lavoro AI per watt e una latenza end to end inferiore da 1,7 a 3,6 volte rispetto ai sistemi Nvidia GB200 e GB300 utilizzati come riferimento. Su DeepSeek R1, Jalapeño avrebbe raggiunto circa 700 token al secondo per utente, contro 169 del sistema Nv...
Pubblicato daModificato con GPT-5.6 LunaImmagini generate con GPT Image 1.5
Research answer
Key takeaways
- Nei test InferenceX, OpenAI ha dichiarato dal 50% al 90% in più di lavoro AI per watt e una latenza end to end inferiore da 1,7 a 3,6 volte rispetto ai sistemi Nvidia GB200 e GB300 utilizzati come riferimento.
- Su DeepSeek R1, Jalapeño avrebbe raggiunto circa 700 token al secondo per utente, contro 169 del sistema Nvidia GB300 nel parametro relativo al tempo minimo tra i token.
- Jalapeño è progettato per l’inferenza, non per l’addestramento. OpenAI prevede una distribuzione interna limitata entro la fine del 2026, con maggiore capacità nel 2027, e non immagina per ora vendite esterne.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co-developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed. These are early. Topic tags: general, documentation, general web, education, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text,
OpenAI sostiene che il suo primo acceleratore personalizzato, Jalapeño, abbia ottenuto risultati nettamente migliori rispetto ai sistemi Nvidia GB200 e GB300 in alcuni test di inferenza per modelli linguistici. L’azienda riferisce più lavoro AI per watt, tempi di risposta inferiori e velocità particolarmente elevate nelle interazioni a bassa concorrenza, su GPT‑OSS 120B, DeepSeek R1 e Kimi K2.5 1T. 3
4
La precisazione è importante: si tratta di risultati preliminari comunicati da OpenAI, ottenuti con una configurazione definita del benchmark InferenceX. Non sono una prova indipendente e universale che Jalapeño sia più veloce di ogni piattaforma Nvidia in qualunque carico di produzione. 4
7
I risultati dichiarati da OpenAI
Considerando i tre modelli testati, OpenAI ha riportato da 1,5 a 1,9 volte più lavoro AI per watt alla massima capacità e una latenza end-to-end da 1,7 a 3,6 volte inferiore rispetto ai sistemi di confronto. Nei carichi più interattivi, il vantaggio dichiarato salirebbe da 2,1 a 4,1 volte. 3
I dati più significativi, modello per modello, sono questi:
GPT‑OSS 120B contro Nvidia GB200: Jalapeño avrebbe raggiunto 85.448 unità di throughput misto di picco per kilowatt, contro 44.960 del GB200. La latenza end-to-end sarebbe stata di 1,03 secondi, contro 1,80 secondi. Nel tempo minimo tra i token, OpenAI indica 0,69 millisecondi, equivalenti a circa 1.459 token al secondo per utente, contro 535 del GB200.
4
DeepSeek R1 MXFP4 contro Nvidia GB300: il sistema di OpenAI avrebbe registrato 19.641 unità di throughput misto di picco per kilowatt, contro 11.781 del GB300. La latenza end-to-end sarebbe scesa a 1,65 secondi, contro 5,99 secondi. Alla minima distanza tra i token, OpenAI riporta circa 700 token al secondo per utente, contro 169 del GB300.
6
Kimi K2.5 MXFP4 contro Nvidia GB300: OpenAI dichiara 1,5 volte più throughput di picco per kilowatt, una latenza end-to-end inferiore di 3,4 volte e circa 694 token al secondo per utente, contro 182 del GB300.
Perché i token al secondo per utente contano
Il parametro “token al secondo per utente” misura la rapidità con cui una singola richiesta riceve la risposta generata. È diverso dal semplice throughput complessivo di un rack sottoposto a un numero elevato di richieste simultanee.
La distinzione è rilevante per chatbot, strumenti di programmazione e applicazioni basate su agenti: in questi casi la sensazione di immediatezza è parte integrante dell’esperienza, non un dettaglio secondario.
Un acceleratore costruito per l’inferenza
Jalapeño non è una GPU generalista adattata a servire modelli già addestrati. È un acceleratore progettato specificamente per l’inferenza dei grandi modelli linguistici: il momento in cui il modello produce la risposta, un token alla volta. OpenAI ha definito l’architettura, Broadcom ha curato l’implementazione del silicio e il networking, mentre Celestica ha contribuito alla progettazione delle schede, dei rack e all’integrazione del sistema. 17
32
Il progetto è organizzato su scala rack, con un ampio dominio di rete pensato per mantenere il carico all’interno dello stesso sistema. OpenAI afferma di collocare e conservare localmente, quando possibile, lo stato del modello — compresa la KV cache, cioè la memoria delle informazioni già elaborate — per ridurre il trasferimento di dati tra chip e i rallentamenti dovuti alle comunicazioni. 4
6
L’architettura non separa inoltre in bacini rigidi le risorse dedicate al prefill e al decode. Il prefill elabora il prompt iniziale ed è relativamente intensivo dal punto di vista computazionale; il decode genera invece la risposta token dopo token ed è spesso limitato dal movimento dei dati e dalla larghezza di banda della memoria. OpenAI descrive calcolo, memoria e rete come risorse condivisibili tra entrambe le fasi. 4
6
I dettagli tecnici pubblici restano però incompleti. Una descrizione indica un sistema da 128 chip, circa 1,7 exaFLOPS e 27 TB di memoria HBM, ma l’annuncio di OpenAI non fornisce una distinta completa dei componenti del rack né informazioni sufficienti per replicare in modo indipendente tutti i risultati. 4
Il ruolo dell’intelligenza artificiale nella progettazione
Secondo OpenAI, Jalapeño è passato dal progetto iniziale al tape-out, ovvero l’invio del progetto definitivo alla produzione del chip, in appena nove mesi. 17
21
L’azienda afferma inoltre di aver utilizzato i propri modelli per esplorare l’architettura, l’implementazione, le misurazioni, la verifica, l’ottimizzazione dei circuiti aritmetici e la programmazione. OpenAI sostiene che Codex, insieme a GPT‑Astra, abbia portato tre modelli open-weight non previsti inizialmente a prestazioni elevate nell’arco di due mesi.
Su alcuni blocchi di attenzione e di mixture of experts di GPT‑OSS, le implementazioni generate dall’AI sarebbero state da 1,5 a 1,8 volte più veloci rispetto alle implementazioni precedenti scritte da esseri umani. Questi dati riguardano singoli blocchi, non le prestazioni complete del servizio di un modello. 4
I limiti del confronto
Il vantaggio annunciato da OpenAI va letto nel suo contesto.
Jalapeño non è un chip per l’addestramento
Il processore è destinato a eseguire modelli già addestrati, non ad addestrarli. OpenAI prevede quindi di continuare a utilizzare acceleratori Nvidia, AMD e di altri produttori per il training e per parte della propria capacità di inferenza. 4
6
Jalapeño rappresenta dunque un’aggiunta specializzata all’infrastruttura dell’azienda, non una sostituzione completa delle GPU impiegate nei diversi carichi di lavoro.
Il benchmark usa un profilo specifico
Il confronto è stato realizzato con il benchmark pubblico InferenceX di SemiAnalysis, usando richieste nominali a turno singolo con un input di 8.000 token e un output di 1.000 token. La misurazione considera l’intera gestione della richiesta, cerca di mantenere comparabile l’esperienza dell’utente e normalizza i risultati sulla base dei consumi dichiarati dei chip. 4
7
SemiAnalysis ha dichiarato di aver assistito alle prove nel laboratorio di OpenAI, ma di non aver eseguito direttamente l’intera suite di benchmark. Ha inoltre avvertito che il test non copre contesti più lunghi, conversazioni a più turni, agenti, routing, prefix caching, gestione della cache o operazioni di offload. Nelle implementazioni reali, queste scelte software possono modificare sensibilmente le prestazioni. 6
Il metodo di calcolo dei consumi incide sul risultato
OpenAI indica per Jalapeño un consumo di package pari a 700 watt e afferma che, nei carichi testati, il consumo sostenuto misurato è rimasto pari o inferiore a 550 watt. Per il confronto sono stati invece utilizzati valori modellati di 1.200 watt per GB200 e 1.400 watt per GB300. Il vantaggio per watt dipende quindi anche dal carico di lavoro, dal punto di misurazione e dal metodo di contabilizzazione dell’energia. 4
Il confronto con Nvidia è legato al momento del test
Le prove hanno utilizzato i migliori risultati disponibili all’epoca per GB200 e GB300, ma quando Jalapeño sarà distribuito su larga scala potrebbero essere più pertinenti piattaforme Nvidia più recenti.
Nvidia pubblica inoltre risultati su DeepSeek R1 con GB300 usando la metodologia offline di MLPerf. Questi numeri non sono direttamente confrontabili con i valori di Jalapeño relativi ai token interattivi per utente, perché misurano scenari diversi. 1
2
4
Distribuzione e strategia competitiva
OpenAI prevede una distribuzione iniziale limitata di Jalapeño nei propri data center entro la fine del 2026, con un aumento della capacità nel 2027. L’azienda afferma che una seconda generazione è già in fase avanzata di sviluppo e che una terza sta iniziando a prendere forma. 4
6
Per il momento, Jalapeño è una piattaforma interna: non è un chip che altre aziende possano acquistare o noleggiare. Richard Ho, dirigente di OpenAI responsabile dell’hardware, ha affermato che la domanda interna è troppo alta per ipotizzare vendite a clienti esterni. 6
La strategia è quindi affiancare, non sostituire immediatamente, le soluzioni Nvidia e AMD. OpenAI ha ancora bisogno di acceleratori generalisti per l’addestramento, e la sua infrastruttura futura resterà probabilmente eterogenea.
Il quadro competitivo è più ampio: Google sviluppa TPU per training e inferenza, Amazon e Microsoft hanno realizzato chip AI proprietari, mentre Anthropic ha descritto un progetto per sviluppare silicio personalizzato. 6 Jalapeño inserisce OpenAI nella stessa corsa all’integrazione verticale, ma il suo vantaggio attuale riguarda in modo circoscritto l’inferenza dei modelli linguistici nei carichi di lavoro e nelle configurazioni resi pubblici.
La conclusione pratica
I primi risultati suggeriscono che un acceleratore costruito intorno a uno specifico tipo di carico possa superare sistemi generalisti sulle metriche più importanti per offrire risposte rapide ai modelli linguistici: efficienza energetica, latenza complessiva e numero di token consegnati a ciascun utente.
L’evidenza disponibile, però, sostiene una conclusione più prudente di “OpenAI ha battuto Nvidia”. Il vantaggio dichiarato riguarda alcuni modelli, uno specifico profilo InferenceX e configurazioni GB200 e GB300 utilizzate come riferimento. Resta da verificare come Jalapeño si comporterà con il traffico reale su larga scala, contesti più lunghi, agenti a più turni, stack software differenti, carichi vicini all’addestramento e le piattaforme Nvidia disponibili quando la distribuzione sarà più ampia.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Jalapeño, il chip di OpenAI che punta a superare Nvidia nell’inferenza AI"?
Nei test InferenceX, OpenAI ha dichiarato dal 50% al 90% in più di lavoro AI per watt e una latenza end to end inferiore da 1,7 a 3,6 volte rispetto ai sistemi Nvidia GB200 e GB300 utilizzati come riferimento.
What are the key points to validate first?
Nei test InferenceX, OpenAI ha dichiarato dal 50% al 90% in più di lavoro AI per watt e una latenza end to end inferiore da 1,7 a 3,6 volte rispetto ai sistemi Nvidia GB200 e GB300 utilizzati come riferimento. Su DeepSeek R1, Jalapeño avrebbe raggiunto circa 700 token al secondo per utente, contro 169 del sistema Nvidia GB300 nel parametro relativo al tempo minimo tra i token.
What should I do next in practice?
Jalapeño è progettato per l’inferenza, non per l’addestramento. OpenAI prevede una distribuzione interna limitata entro la fine del 2026, con maggiore capacità nel 2027, e non immagina per ora vendite esterne.
Sources
openai.comJalapeño’s first results show industry-leading speed and efficiency in AI inference
techcrunch.comOpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show | TechCrunch