Cosa mostrano davvero i benchmark di Jalapeño

Il primo quadro dettagliato pubblicato da OpenAI su Jalapeño sostiene una tesi precisa: il chip proprietario potrebbe eseguire l’inferenza di grandi modelli linguistici consumando meno energia e restituendo le risposte più rapidamente rispetto agli specifici sistemi Nvidia GB200 e GB300 usati per il confronto. Sul benchmark pubblico InferenceX di SemiAnalysis, OpenAI ha dichiarato da 1,5 a 1,9 volte più lavoro di IA per watt e da 1,7 a 3,6 volte meno latenza end-to-end su tre modelli open-weight.

È un risultato rilevante per un’azienda che gestisce un volume enorme di richieste di IA, ma non equivale a dimostrare che Jalapeño sia ovunque più veloce o più economico delle GPU. I test erano circoscritti, il chip è progettato soltanto per l’inferenza e i risultati sono stati prodotti principalmente da OpenAI su silicio ancora in fase ingegneristica. 14

I numeri principali del benchmark

OpenAI ha confrontato Jalapeño con sistemi Nvidia GB200 e GB300 sulla piattaforma InferenceX, pensata per misurare l’intero processo di elaborazione e risposta a una richiesta di IA. Per i dati sull’efficienza, l’azienda ha normalizzato i risultati usando i valori di potenza pubblicati per i rispettivi acceleratori.

Nei test riportati, Jalapeño ha ottenuto:

• Da 1,5 a 1,9 volte più lavoro di IA per watt alla massima produttività rispetto ai sistemi Nvidia messi a confronto.
• Da 1,7 a 3,6 volte meno latenza end-to-end.
• Da 2,1 a 4,1 volte prestazioni superiori nei carichi altamente interattivi, secondo i punti operativi selezionati da OpenAI. 4

Il divario più ampio sulla latenza è stato registrato, nei risultati forniti, con DeepSeek R1 670B: Jalapeño ha completato una richiesta in 1,65 secondi, contro i 5,99 secondi del sistema basato su GB300. 1112

Sono però risultati relativi di laboratorio, non la promessa di una riduzione equivalente dei tempi di risposta in ChatGPT o dei prezzi delle API. Le prestazioni effettive dipendono dal modello, dal software di serving, dal batching, dalla rete, dalla lunghezza del contesto, dalla lunghezza dell’output e dal punto di equilibrio scelto tra latenza e produttività.

Quali modelli e carichi di lavoro sono stati testati?

Il confronto ha riguardato tre modelli pubblicamente disponibili con pesi accessibili:

Modello	Sistema Nvidia di confronto	Risultato riportato per Jalapeño
GPT-OSS 120B	GB200	Circa 1,9 volte più lavoro per watt; 1,03 secondi contro 1,80 secondi di latenza end-to-end
DeepSeek R1 670B	GB300	Circa 1,7 volte più lavoro per watt; 1,65 secondi contro 5,99 secondi di latenza
Kimi K2.5 1T	GB300	Circa 1,5 volte più lavoro per watt; 1,56 secondi contro 5,31 secondi di latenza

Le cifre sopra riportate provengono dai riepiloghi dei benchmark disponibili, non da una riproduzione indipendente dell’intera suite di test. 61112

Il carico era nominalmente a turno singolo, con 8.000 token in ingresso e 1.000 token in uscita. Questa impostazione facilita un confronto controllato, ma non rappresenta ogni tipo di traffico tipico dei servizi di IA. Restano da chiarire le prestazioni in conversazioni a più turni, chiamate a strumenti esterni, flussi agentici, risposte di lunghezza variabile, batching e richieste con contesti molto più lunghi. 813

Inoltre, il benchmark ha misurato configurazioni hardware e software specifiche. Modifiche a compilatori, kernel, quantizzazione, scheduling, architettura del modello o stack software di Nvidia potrebbero ridurre o ampliare il divario.

Com’è fatto il sistema rack-scale di Jalapeño?

Jalapeño è un ASIC — un circuito integrato progettato per un’applicazione specifica — sviluppato da OpenAI insieme a Broadcom per l’inferenza dei grandi modelli linguistici. A differenza di una GPU generalista e programmabile, è ottimizzato per eseguire modelli già addestrati e generare risposte. 15

Le specifiche di sistema riportate includono:

• 128 chip acceleratori per sistema rack-scale.
• Circa 1,7 exaFLOPS di calcolo a 4 bit.
• Circa 27 TB di memoria ad alta larghezza di banda complessiva.
• Una potenza nominale di 700 watt per chip, contro i valori pubblicati di 1.200 watt per GB200 e 1.400 watt per GB300. 121419

A livello di singolo chip, la versione B0 riportata utilizza un die di calcolo delle dimensioni massime ottenibili in un singolo reticolo litografico, prodotto da TSMC con processo N3P, ed è accreditata di 13,4 PFLOPS di calcolo MXFP4. 18

L’architettura punta quindi al sistema completo, non soltanto all’acceleratore. Memoria, interconnessioni, rete e comunicazione tra rack sono elementi essenziali per eseguire modelli molto grandi, le cui richieste possono essere distribuite su numerosi chip. 1819

Come è stato progettato e quale ruolo ha avuto l’IA?

Secondo quanto riportato, OpenAI e Broadcom sono passate dal concept al tape-out — la fase in cui il progetto del chip viene consegnato alla produzione — in circa nove mesi, una tempistica molto breve per un processore ad alte prestazioni. 720

Nel processo di progettazione sono stati utilizzati strumenti di ingegneria assistita dall’IA. Questo, però, non significa che un modello di IA abbia progettato e prodotto autonomamente il processore. Il lavoro ha continuato a coinvolgere team umani di architettura e ingegneria, l’implementazione dei semiconduttori di Broadcom, i partner manifatturieri e l’integrazione dei sistemi. 713

La conclusione più prudente è che OpenAI abbia usato la propria conoscenza dei carichi di lavoro dei modelli linguistici — insieme a strumenti di IA nel flusso ingegneristico — per co-progettare hardware e software attorno a un obiettivo di serving molto specifico. Questa specializzazione può aumentare l’efficienza, ma riduce la flessibilità rispetto a una GPU programmabile.

Perché Jalapeño è solo per l’inferenza

Jalapeño è stato costruito per eseguire modelli addestrati, non per addestrare nuovi modelli di frontiera. OpenAI continuerà quindi ad avere bisogno di acceleratori programmabili, soprattutto GPU, per l’addestramento, la ricerca, la sperimentazione e i carichi che non si adattano bene a un’architettura di inferenza specializzata. 813

Questa distinzione ridimensiona anche l’idea che Jalapeño abbia semplicemente “battuto Nvidia”. Il chip può superare le configurazioni Nvidia testate su determinati parametri di inferenza, mentre l’hardware Nvidia resta essenziale in altre parti dell’infrastruttura di OpenAI. Un ASIC specializzato può essere eccellente in un compito prevedibile e ripetuto su larga scala senza sostituire la piattaforma più ampia necessaria per l’addestramento e l’evoluzione rapida dei modelli.

Cosa non dimostrano questi risultati

I dati vanno letti come “migliore nei test riportati”, non come “miglior sistema di IA in assoluto”. Le principali cautele sono diverse:

• Le prove hanno utilizzato un carico fisso e relativamente semplice a turno singolo, non l’intero spettro del traffico di produzione. 1112
• I numeri pubblicati provengono dai test di OpenAI su silicio ingegneristico; le analisi legate a SemiAnalysis descrivono una verifica delle esecuzioni nel laboratorio di OpenAI, ma i dati alla base sono stati comunque forniti da OpenAI. 214
• L’efficienza è stata normalizzata usando i valori nominali di potenza dei chip. È un criterio utile per il confronto, ma non equivale a un’analisi completa dei costi o dei consumi di un data center. 11
• I risultati possono cambiare con aggiornamenti a compilatori, kernel, runtime, quantizzazione, batching, rete e software Nvidia.
• Il confronto non ha stabilito le prestazioni di Jalapeño rispetto a ogni acceleratore più recente o in arrivo, compresi i prodotti Nvidia successivi alla generazione Blackwell e i sistemi più aggiornati di Google, Amazon, Microsoft, AMD o altri fornitori. 238

Questi dati non giustificano nemmeno l’affermazione di una riduzione universale del 50% dei costi, di un calo garantito dei prezzi delle API o di una sostituzione immediata dell’hardware Nvidia. Le prove disponibili sostengono dichiarazioni su prestazioni ed efficienza in condizioni definite, non conclusioni commerciali più ampie.

Quando arriverà Jalapeño nei data center?

OpenAI prevede di iniziare a distribuire Jalapeño nella propria infrastruttura entro la fine del 2026, mentre la produzione in volume e un’implementazione più estesa sono attese nel 2027. Il piano di lungo periodo comprende data center su scala gigawatt con Microsoft e altri partner infrastrutturali, attraverso più generazioni di chip. 16

Il processore è destinato principalmente alla domanda interna di OpenAI, non alla vendita come componente commerciale. Le aziende esterne non dovrebbero quindi aspettarsi di poter acquistare hardware Jalapeño o affittare una macchina cloud pubblica basata su questo chip sulla base degli annunci attuali. 16

Mantenere l’hardware all’interno della propria infrastruttura permette a OpenAI di ottimizzarlo per i propri modelli, kernel e sistemi di serving. Evita inoltre gli obblighi di supporto software, vendita, concorrenza con i clienti ed ecosistema che deriverebbero dalla trasformazione in un normale fornitore di semiconduttori. Si tratta di una possibile lettura strategica del modello di distribuzione; il dato confermato è il piano di utilizzo interno, non la vendita esterna del chip. 16

Dove si colloca nella corsa ai chip per l’IA

Jalapeño va considerato come una componente del più ampio portafoglio di calcolo full-stack di OpenAI. La strategia combina capacità cloud di Microsoft e di altri operatori, GPU di classe Nvidia per i carichi flessibili e orientati all’addestramento, e silicio proprietario per i carichi di inferenza stabili nei quali la specializzazione può essere vantaggiosa. OpenAI descrive il proprio portafoglio includendo Microsoft, Nvidia, AWS, AMD, Broadcom, Cerebras, CoreWeave, Oracle, SB Energy e SoftBank.

L’approccio riflette una tendenza più ampia del settore. Google sviluppa i TPU, Amazon propone Trainium e Inferentia, Microsoft ha Maia, AMD compete con GPU general-purpose per l’IA e Nvidia continua a fornire sistemi ampiamente programmabili. Anche Anthropic sta perseguendo un’infrastruttura sempre più personalizzata attraverso i propri rapporti con i fornitori cloud, ma le prove disponibili non offrono un confronto diretto delle prestazioni con i suoi sistemi.

L’impatto strategico più probabile, almeno nel breve periodo, è quindi più articolato di una semplice storia di sostituzione delle GPU. Jalapeño potrebbe dare a OpenAI maggiore controllo sui costi dell’inferenza, sulla latenza, sulle forniture e sulla propria roadmap hardware. Nvidia resta però importante per l’addestramento e la flessibilità, mentre il chip proprietario offre a OpenAI un’opzione specializzata per i carichi di serving prevedibili e ad alto volume che costituiscono una parte centrale delle sue esigenze infrastrutturali. 813