AnswersPublished15 sources
Jalapeño, il chip di OpenAI che sfida Nvidia: cosa mostrano i primi benchmark
OpenAI afferma che Jalapeño ha prodotto da 1,5 a 1,9 volte più lavoro AI per watt e una latenza end to end da 1,7 a 3,6 volte inferiore rispetto ai sistemi Nvidia confrontati. Nel test su DeepSeek R1, Jalapeño avrebbe raggiunto circa 700 token al secondo per utente, contro 169 token/s/utente del sistema GB300.
Pubblicato daImmagini generate con GPT Image 1.5
Research answer
Key takeaways
- OpenAI afferma che Jalapeño ha prodotto da 1,5 a 1,9 volte più lavoro AI per watt e una latenza end to end da 1,7 a 3,6 volte inferiore rispetto ai sistemi Nvidia confrontati.
- Nel test su DeepSeek R1, Jalapeño avrebbe raggiunto circa 700 token al secondo per utente, contro 169 token/s/utente del sistema GB300.
- Il chip è progettato specificamente per l’inferenza dei modelli linguistici, non per l’addestramento, con una gestione locale dello stato del modello e della KV cache.
- I risultati provengono dal benchmark pubblico InferenceX, ma sono stati eseguiti e riportati da OpenAI; non rappresentano una verifica indipendente di tutti i carichi di lavoro reali.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI sostiene che Jalapeño, il suo primo acceleratore personalizzato sviluppato insieme a Broadcom, abbia superato i sistemi rack Nvidia GB200 e GB300 nei carichi di lavoro di inferenza esaminati. Secondo i dati pubblicati, il chip offre sia una maggiore efficienza energetica sia tempi di risposta più brevi. 4
7
Il punto da tenere presente è però importante: si tratta di risultati iniziali dichiarati dal produttore, ottenuti su configurazioni e modelli specifici. Non sono una valutazione indipendente e perfettamente rappresentativa di tutti i carichi AI in produzione.
Cosa mostrano i benchmark
OpenAI ha utilizzato GPT‑OSS 120B, DeepSeek R1 670B e Kimi K2.5 1T. Sui tre modelli, Jalapeño avrebbe fornito da 1,5 a 1,9 volte più lavoro AI per watt alla massima capacità di elaborazione e una latenza end-to-end da 1,7 a 3,6 volte inferiore rispetto ai sistemi di confronto. 4
I risultati più dettagliati sono questi:
- GPT‑OSS 120B contro Nvidia GB200: 85.448 contro 44.960 unità di throughput misto di picco per kW, pari a un vantaggio di 1,9 volte. La latenza end-to-end sarebbe scesa a 1,03 secondi, contro 1,80 secondi del GB200, mentre il tempo minimo tra due token sarebbe stato di 0,69 millisecondi, equivalente a circa 1.459 token al secondo per utente, contro 535 token/s/utente.
4
- DeepSeek R1 MXFP4 contro Nvidia GB300: 19.641 contro 11.781 unità di throughput di picco per kW, con un vantaggio di 1,7 volte. La latenza end-to-end sarebbe stata di 1,65 secondi contro 5,99, mentre la velocità minima tra token avrebbe raggiunto circa 700 token/s/utente, contro 169 del GB300.
- Kimi K2.5 MXFP4 contro Nvidia GB300: OpenAI indica 1,5 volte più throughput per watt, una latenza end-to-end 3,4 volte inferiore e circa 694 token/s/utente contro 182.
Per le applicazioni interattive, nelle quali conta soprattutto la rapidità con cui arrivano le risposte, OpenAI riporta inoltre un vantaggio compreso tra 2,1 e 4,1 volte rispetto ai sistemi di confronto. 4
5
Un acceleratore costruito per l’inferenza
A differenza di una GPU generalista adattata all’intelligenza artificiale, Jalapeño è stato progettato specificamente per l’inferenza dei large language model, cioè per eseguire un modello già addestrato e generare risposte. OpenAI ha curato l’architettura dell’acceleratore, Broadcom ha contribuito all’implementazione del silicio e alla connettività di rete, mentre Celestica ha gestito l’integrazione di schede, rack e sistemi. 1
Il progetto utilizza un ampio dominio di rete collegato, in modo che il carico possa rimanere all’interno dello stesso sistema. Modello e stato di esecuzione, inclusa la KV cache — la memoria temporanea che conserva informazioni utili del contesto già elaborato — vengono mantenuti localmente per ridurre gli spostamenti di dati tra i chip e gli eventuali rallentamenti di comunicazione. 4
Jalapeño non divide inoltre le risorse in gruppi separati per le due fasi principali dell’inferenza. Lo stesso insieme di calcolo, memoria e rete dovrebbe gestire sia il prefill, cioè l’elaborazione iniziale del prompt, sia il decode, ovvero la generazione autoregressiva dei token. Il prefill è soprattutto oneroso per la capacità di calcolo; il decode dipende maggiormente dalla larghezza di banda della memoria. 4
Le specifiche complete del rack non sono state rese pubbliche. Un rapporto tecnico descrive un sistema con 128 chip, circa 1,7 exaFLOPS e 27 TB di memoria HBM, ma il post di OpenAI sui benchmark non presenta una distinta completa dei componenti del rack. 4
Un chip progettato in nove mesi con l’aiuto dell’AI
OpenAI afferma di essere passata dal progetto iniziale al tape-out, cioè alla consegna del disegno finale al produttore di semiconduttori, in nove mesi. L’azienda descrive il ciclo come eccezionalmente rapido per un ASIC avanzato ad alte prestazioni. 1
Durante lo sviluppo, i modelli di OpenAI avrebbero aiutato nella progettazione, nell’esplorazione delle implementazioni, nelle misurazioni, nella verifica, nell’ottimizzazione dei circuiti aritmetici e nella programmazione. L’azienda sostiene inoltre che Codex, insieme a GPT‑Astra, abbia portato tre modelli open-weight non previsti inizialmente a prestazioni elevate in appena due mesi.
In alcuni blocchi di attenzione e mixture-of-experts di GPT‑OSS, le implementazioni generate dall’AI sarebbero risultate da 1,5 a 1,8 volte più veloci rispetto a quelle scritte in precedenza dagli ingegneri. Si tratta però di risultati riferiti a singoli blocchi, non all’intero modello. 4
Quanto sono solidi questi confronti?
La piattaforma utilizzata è InferenceX, un benchmark pubblico di SemiAnalysis che misura il servizio completo di una richiesta AI. I test hanno adottato carichi nominali con una singola interazione, 8.000 token in ingresso e 1.000 token in uscita. I sistemi sono stati confrontati a parità di esperienza utente e i risultati sono stati normalizzati usando i consumi nominali dichiarati per i chip. 4
7
OpenAI indica per Jalapeño un consumo di 700 watt a livello di package, ma afferma che nei carichi esaminati la potenza misurata sostenuta è rimasta pari o inferiore a 550 watt. Per i sistemi Nvidia, il confronto considera 1.200 watt per GB200 e 1.400 watt per GB300. Il vantaggio per watt dipende quindi anche dal carico scelto e dal modo in cui viene contabilizzato il consumo. 4
SemiAnalysis ha dichiarato di aver assistito alle esecuzioni nel laboratorio di OpenAI, senza però eseguire autonomamente l’intera suite di benchmark. L’organizzazione avverte inoltre che lo scenario InferenceX a singolo turno, con contesto 8k e risposta 1k, non misura fattori importanti nei sistemi di produzione: contesti più lunghi, conversazioni multi-turno, instradamento delle richieste, caching dei prefissi, gestione della cache e trasferimento dei dati verso memoria o archiviazione esterna. Tutti questi elementi possono cambiare sensibilmente le prestazioni effettive. 4
Anche il confronto è legato al momento in cui è stato svolto. GB200 e GB300 appartengono alla generazione Blackwell di Nvidia, mentre le piattaforme Nvidia più recenti o future potrebbero costituire avversari più pertinenti quando Jalapeño verrà distribuito su larga scala. Nvidia pubblica inoltre numeri su DeepSeek R1 ottenuti con la metodologia offline di MLPerf: quei risultati non sono direttamente comparabili con le metriche interattive di token al secondo per utente usate da OpenAI. 2
4
Jalapeño sostituirà Nvidia?
Per ora, no. Jalapeño è destinato all’inferenza e non all’addestramento. OpenAI continuerà quindi a utilizzare acceleratori Nvidia, AMD e di altri partner per addestrare i modelli e per una parte della capacità di inferenza. 4
6
L’azienda prevede un’implementazione interna limitata entro la fine del 2026, seguita da una capacità più ampia nel 2027. Una seconda generazione è già in fase avanzata di sviluppo, mentre una terza sta iniziando a prendere forma. OpenAI non prevede di vendere il chip all’esterno: il vicepresidente dell’hardware Richard Ho ha spiegato che la domanda interna è troppo elevata per ipotizzare, al momento, forniture a clienti esterni. 4
6
Il significato strategico di Jalapeño è quindi quello di aggiungere un’alternativa specializzata, non di eliminare Nvidia dal parco hardware di OpenAI. Google dispone già dei propri TPU per addestramento e inferenza; Amazon e Microsoft sviluppano chip AI interni, mentre Anthropic ha dichiarato di lavorare a un’attività proprietaria di progettazione. Con Jalapeño, OpenAI entra nella stessa corsa verso una maggiore integrazione verticale dell’infrastruttura.
Per ora, tuttavia, la rivendicazione di OpenAI resta circoscritta: un vantaggio nell’inferenza di modelli linguistici sui carichi e sulle configurazioni resi pubblici. 6
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Jalapeño, il chip di OpenAI che sfida Nvidia: cosa mostrano i primi benchmark"?
OpenAI afferma che Jalapeño ha prodotto da 1,5 a 1,9 volte più lavoro AI per watt e una latenza end to end da 1,7 a 3,6 volte inferiore rispetto ai sistemi Nvidia confrontati.
What are the key points to validate first?
OpenAI afferma che Jalapeño ha prodotto da 1,5 a 1,9 volte più lavoro AI per watt e una latenza end to end da 1,7 a 3,6 volte inferiore rispetto ai sistemi Nvidia confrontati. Nel test su DeepSeek R1, Jalapeño avrebbe raggiunto circa 700 token al secondo per utente, contro 169 token/s/utente del sistema GB300.
What should I do next in practice?
Il chip è progettato specificamente per l’inferenza dei modelli linguistici, non per l’addestramento, con una gestione locale dello stato del modello e della KV cache.
Sources
theverge.comOpenAI says its Jalapeño chip can power faster AI responses than the competition
tech.yahoo.comOpenAI releases first performance data for Jalapeño AI chip
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...