उत्तरप्रकाशित15 स्रोत
OpenAI की Jalapeño चिप ने Nvidia GB200 और GB300 को बेंचमार्क में पछाड़ा: पूरी कहानी
OpenAI के अनुसार, Jalapeño ने परीक्षण किए गए inference workloads में Nvidia GB200 और GB300 rack systems की तुलना में प्रति वॉट 1.5–1.9 गुना अधिक AI work और 1.7–3.6 गुना कम end to end latency दी। [4][7] GPT OSS 120B परीक्षण में Jalapeño ने 85,448 बनाम 44,960 peak mixed throughput per kW और 1.03 सेकंड बनाम 1.80 सेकंड...
प्रकाशितकर्ताGPT Image 1.5 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- OpenAI के अनुसार, Jalapeño ने परीक्षण किए गए inference workloads में Nvidia GB200 और GB300 rack systems की तुलना में प्रति वॉट 1.5–1.9 गुना अधिक AI work और 1.7–3.6 गुना कम end to end latency दी। [4][7]
- GPT OSS 120B परीक्षण में Jalapeño ने 85,448 बनाम 44,960 peak mixed throughput per kW और 1.03 सेकंड बनाम 1.80 सेकंड latency दर्ज की। [4]
- DeepSeek R1 MXFP4 पर Jalapeño ने करीब 700 tokens/s/user की दर बताई, जबकि तुलना किए गए GB300 सिस्टम पर यह आंकड़ा 169 tokens/s/user था। [4]
- ये OpenAI द्वारा बताए गए शुरुआती परिणाम हैं; इन्हें हर तरह के production AI workload का स्वतंत्र, समान परिस्थितियों वाला परीक्षण नहीं माना जाना चाहिए। [4][7]
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI का कहना है कि उसकी पहली custom AI accelerator चिप Jalapeño ने चुने गए inference workloads में Nvidia के GB200 और GB300 rack systems की तुलना में बेहतर ऊर्जा दक्षता और तेज प्रतिक्रिया दिखाई है। हालांकि, ये शुरुआती और कंपनी द्वारा साझा किए गए benchmark results हैं—इन्हें सभी production AI workloads पर स्वतंत्र, apples-to-apples तुलना नहीं समझना चाहिए। 4
7
बेंचमार्क में क्या सामने आया?
OpenAI ने SemiAnalysis के सार्वजनिक InferenceX benchmark पर GPT-OSS 120B, DeepSeek R1 670B और Kimi K2.5 1T मॉडल का परीक्षण किया। कंपनी के अनुसार, Jalapeño ने इन तीनों मॉडलों पर peak throughput के दौरान प्रति वॉट 1.5–1.9 गुना अधिक AI work और 1.7–3.6 गुना कम end-to-end latency दी। 4
GPT-OSS 120B बनाम Nvidia GB200
GB200 की तुलना में OpenAI ने Jalapeño के लिए ये आंकड़े बताए:
- Peak mixed throughput per kW: 85,448, जबकि GB200 का आंकड़ा 44,960
- End-to-end latency: 1.03 सेकंड, जबकि GB200 पर 1.80 सेकंड
- Minimum time-between-tokens: 0.69 मिलीसेकंड, यानी करीब 1,459 tokens/s/user
- GB200 पर यही दर 1.87 मिलीसेकंड, यानी 535 tokens/s/user थी।
4
यहां tokens/s/user का मतलब है कि एक उपयोगकर्ता को मॉडल कितनी तेजी से नए token मिलते हैं। यह metric खास तौर पर chatbot और real-time AI assistant जैसे interactive अनुभवों के लिए महत्वपूर्ण है।
DeepSeek R1 MXFP4 बनाम Nvidia GB300
DeepSeek R1 के MXFP4 परीक्षण में OpenAI ने Jalapeño के लिए GB300 की तुलना में बताया:
- Peak mixed throughput per kW: 19,641 बनाम 11,781, यानी 1.7 गुना अधिक
- End-to-end latency: 1.65 सेकंड बनाम 5.99 सेकंड, यानी 3.6 गुना कम
- Minimum time-between-tokens: 1.43 मिलीसेकंड
- Tokens per second per user: करीब 700, जबकि GB300 पर 169।
Kimi K2.5 MXFP4
Kimi K2.5 MXFP4 पर OpenAI ने Jalapeño के लिए GB300 की तुलना में 1.5 गुना अधिक peak throughput per kW और 3.4 गुना कम end-to-end latency बताई। Minimum time-between-tokens पर प्रदर्शन करीब 694 tokens/s/user रहा, जबकि GB300 का आंकड़ा 182 tokens/s/user था। 4
Jalapeño की वास्तुकला किस तरह अलग है?
Jalapeño को सामान्य-purpose GPU के रूप में नहीं, बल्कि खास तौर पर large language model inference के लिए डिजाइन किया गया है। Inference का अर्थ है—पहले से प्रशिक्षित AI मॉडल से उपयोगकर्ता के अनुरोध का उत्तर तैयार करवाना।
इस परियोजना में OpenAI ने accelerator architecture में योगदान दिया, Broadcom ने silicon implementation और networking संभाली, जबकि Celestica ने board, rack और system integration में भूमिका निभाई। 1
इसका rack-scale design एक बड़े connected network domain पर आधारित है, ताकि workload एक ही system के भीतर रह सके। OpenAI के अनुसार, model state और KV cache को स्थानीय रूप से रखने से chips के बीच data movement और communication stalls कम किए जा सकते हैं। 4
Jalapeño prefill और decode के लिए अलग-अलग resource pools भी नहीं बनाती। Prefill चरण में prompt को process करना अपेक्षाकृत compute-heavy होता है, जबकि decode चरण में एक-एक token generate करने के दौरान memory bandwidth अधिक महत्वपूर्ण होती है। OpenAI का डिजाइन एक ही compute, memory और network resources को दोनों चरणों में इस्तेमाल करने का लक्ष्य रखता है। 4
सार्वजनिक जानकारी में पूरे rack की specifications सीमित हैं। एक technical report में करीब 128-chip system, लगभग 1.7 exaFLOPS और 27 TB HBM का उल्लेख है, लेकिन OpenAI की benchmark post पूरी rack bill of materials उपलब्ध नहीं कराती। 4
चिप बनाने में AI का इस्तेमाल
OpenAI का कहना है कि Jalapeño शुरुआती design से manufacturing tape-out तक केवल नौ महीने में पहुंची। कंपनी इसे high-performance ASIC development के लिए असाधारण रूप से तेज cycle बताती है। 1
कंपनी के अनुसार, उसके AI models का इस्तेमाल design, implementation exploration, measurement, verification, arithmetic-circuit optimization और programming जैसे कामों में किया गया। OpenAI ने यह भी कहा कि Codex और GPT-Astra की मदद से तीन ऐसे open-weight models को दो महीने में high performance पर लाया गया, जिन्हें शुरुआती योजना में शामिल नहीं किया गया था।
कुछ चुने हुए GPT-OSS attention और mixture-of-experts blocks में AI-generated implementations, पहले के human-written implementations से 1.5–1.8 गुना तेज थे। ये केवल block-level आंकड़े हैं, पूरे model के performance results नहीं। 4
इन नतीजों को लेकर सावधानी क्यों जरूरी है?
Jalapeño के आंकड़े प्रभावशाली हैं, लेकिन उनकी कुछ अहम सीमाएं हैं:
- Inference तक सीमित उपयोग: Jalapeño training के लिए नहीं बनाई गई है। इसलिए OpenAI training और कुछ inference क्षमता के लिए Nvidia, AMD और अन्य accelerators पर निर्भर रहेगा।
6
- विशिष्ट workload: InferenceX परीक्षण nominal single-turn 8k-token input और 1k-token output workloads पर आधारित था और full request serving को मापता है।
7
- Power accounting: OpenAI Jalapeño की package power 700 W बताता है, जबकि इन workloads के दौरान sustained measured power 550 W या उससे कम थी। तुलना में GB200 और GB300 के लिए क्रमशः 1,200 W और 1,400 W modeled power इस्तेमाल की गई। इसलिए प्रति-वॉट लाभ workload और power-accounting पद्धति से प्रभावित हो सकता है।
- पूरी benchmark suite स्वतंत्र रूप से नहीं चलाई गई: SemiAnalysis ने OpenAI की lab में runs देखे, लेकिन उसने पूरी benchmark suite खुद execute नहीं की। संस्था ने यह भी कहा कि single-turn 8k/1k InferenceX setup लंबे context, multi-turn agent workloads, routing, prefix caching, cache management या offload behavior को नहीं परखता। ये सभी चीजें production performance बदल सकती हैं।
- तुलना समय-विशेष की है: तुलना commercial Blackwell-generation GB200 और GB300 systems से की गई। भविष्य में Nvidia के नए platforms अधिक प्रासंगिक comparator हो सकते हैं। Nvidia द्वारा MLPerf की अलग offline methodology पर प्रकाशित GB300 DeepSeek R1 results को Jalapeño के interactive tokens-per-user आंकड़ों से सीधे नहीं मिलाया जाना चाहिए।
2
OpenAI इसे कब और कैसे तैनात करेगा?
OpenAI ने 2026 के अंत तक अपने compute infrastructure में Jalapeño-based systems की सीमित तैनाती की योजना बताई है। 2027 में इनकी क्षमता बढ़ाने का इरादा है। कंपनी के अनुसार, दूसरी पीढ़ी का chip development में काफी आगे है और तीसरी पीढ़ी पर भी शुरुआती काम शुरू हो चुका है। 4
6
फिलहाल OpenAI Jalapeño को बाहरी ग्राहकों को बेचने की योजना नहीं रखता। कंपनी के hardware vice president Richard Ho ने कहा कि OpenAI की आंतरिक मांग इतनी अधिक है कि बाहरी बिक्री की कल्पना करना मुश्किल है। 6
Nvidia के लिए इसका क्या मतलब है?
Jalapeño का उद्देश्य Nvidia या AMD को तुरंत हटाना नहीं, बल्कि OpenAI के accelerator portfolio को पूरक बनाना है। चूंकि यह chip training workloads को संबोधित नहीं करती, OpenAI को बड़े पैमाने पर training के लिए अन्य hardware partners की जरूरत बनी रहेगी। 4
6
फिर भी, यह कदम AI कंपनियों के बीच बढ़ती vertical integration की दौड़ को दिखाता है। Google के पास training और inference के लिए TPUs हैं, Amazon और Microsoft अपने in-house AI chips विकसित कर रहे हैं, और Anthropic ने भी chip-design effort पर काम करने की बात कही है। 6
इसलिए Jalapeño की मौजूदा बढ़त को व्यापक रूप से “Nvidia की हार” कहना जल्दबाजी होगी। उपलब्ध सबूतों के आधार पर इसका दावा अधिक सीमित है: बताए गए configurations और interactive LLM inference workloads में OpenAI ने बेहतर ऊर्जा दक्षता और कम latency हासिल की है।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"OpenAI की Jalapeño चिप ने Nvidia GB200 और GB300 को बेंचमार्क में पछाड़ा: पूरी कहानी" का संक्षिप्त उत्तर क्या है?
OpenAI के अनुसार, Jalapeño ने परीक्षण किए गए inference workloads में Nvidia GB200 और GB300 rack systems की तुलना में प्रति वॉट 1.5–1.9 गुना अधिक AI work और 1.7–3.6 गुना कम end to end latency दी। [4][7]
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
OpenAI के अनुसार, Jalapeño ने परीक्षण किए गए inference workloads में Nvidia GB200 और GB300 rack systems की तुलना में प्रति वॉट 1.5–1.9 गुना अधिक AI work और 1.7–3.6 गुना कम end to end latency दी। [4][7] GPT OSS 120B परीक्षण में Jalapeño ने 85,448 बनाम 44,960 peak mixed throughput per kW और 1.03 सेकंड बनाम 1.80 सेकंड latency दर्ज की। [4]
मुझे अभ्यास में आगे क्या करना चाहिए?
DeepSeek R1 MXFP4 पर Jalapeño ने करीब 700 tokens/s/user की दर बताई, जबकि तुलना किए गए GB300 सिस्टम पर यह आंकड़ा 169 tokens/s/user था। [4]
सूत्र
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...