AnswersPublished15 sources
OpenAI’nin Jalapeño çipi Nvidia GB200 ve GB300’ü nasıl geride bıraktı?
OpenAI, Broadcom ile birlikte geliştirdiği Jalapeño hızlandırıcısının test edilen çıkarım iş yüklerinde Nvidia’nın GB200 ve GB300 sistemlerinden daha yüksek enerji verimliliği ve daha düşük gecikme sunduğunu açıkladı. GPT‑OSS 120B, DeepSeek R1 670B ve Kimi K2.5 1T testlerinde Jalapeño, watt başına 1,5 ila 1,9 kat da...
YayımlayanGörseller GPT Image 1.5 ile oluşturuldu
Research answer
Key takeaways
- OpenAI, Broadcom ile birlikte geliştirdiği Jalapeño hızlandırıcısının test edilen çıkarım iş yüklerinde Nvidia’nın GB200 ve GB300 sistemlerinden daha yüksek enerji verimliliği ve daha düşük gecikme sunduğunu açıkladı.
- GPT‑OSS 120B, DeepSeek R1 670B ve Kimi K2.5 1T testlerinde Jalapeño, watt başına 1,5 ila 1,9 kat daha fazla yapay zekâ işi ve 1,7 ila 3,6 kat daha düşük uçtan uca gecikme sağladı.
- GPT‑OSS 120B testinde Jalapeño, kullanıcı başına saniyede 1.459 token’a ulaşırken GB200 sistemi 535 token’da kaldı.
- DeepSeek R1 testinde bildirilen değerler Jalapeño için yaklaşık 700, GB300 için 169 token/kullanıcı/saniye oldu.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI’nin Broadcom ile birlikte geliştirdiği özel yapay zekâ hızlandırıcısı Jalapeño, şirketin açıkladığı ilk benchmark sonuçlarına göre belirli büyük dil modeli çıkarım iş yüklerinde Nvidia’nın GB200 ve GB300 tabanlı rack sistemlerini geride bıraktı. Kazanım iki alanda öne çıkıyor: aynı güç tüketimiyle daha fazla yapay zekâ işi yapmak ve istekleri daha kısa sürede yanıtlamak. Ancak bunlar OpenAI’nin paylaştığı erken dönem sonuçlar; tüm üretim senaryolarını kapsayan bağımsız ve bire bir bir test olarak görülmemeli. 4
7
Benchmark sonuçları ne gösteriyor?
OpenAI, SemiAnalysis tarafından yayımlanan InferenceX test paketini kullandı. GPT‑OSS 120B, DeepSeek R1 670B ve Kimi K2.5 1T modellerinde Jalapeño’nun karşılaştırılan sistemlere göre tepe işlem hacminde watt başına 1,5 ila 1,9 kat daha fazla yapay zekâ işi ve 1,7 ila 3,6 kat daha düşük uçtan uca gecikme sunduğu bildirildi. 4
Öne çıkan sonuçlar şöyle:
GPT‑OSS 120B – GB200 karşılaştırması: Jalapeño, kilowatt başına tepe karma işlem hacminde 85.448’e karşı 44.960 puanla 1,9 kat üstünlük sağladı. Uçtan uca gecikme 1,03 saniyeyken GB200’de bu değer 1,80 saniye oldu. Token’lar arasındaki minimum süre Jalapeño’da 0,69 milisaniye, GB200’de 1,87 milisaniye olarak ölçüldü. Bu da sırasıyla yaklaşık 1.459 ve 535 token/kullanıcı/saniye anlamına geliyor.
4
DeepSeek R1 MXFP4 – GB300 karşılaştırması: Jalapeño’nun kilowatt başına tepe karma işlem hacmi 19.641, GB300’ün ise 11.781 oldu; OpenAI bunu 1,7 katlık avantaj olarak hesapladı. Uçtan uca gecikme 1,65 saniyeye karşı 5,99 saniye ölçüldü. Token’lar arasındaki minimum süre Jalapeño’da 1,43 milisaniyeydi; bu, yaklaşık 700 token/kullanıcı/saniye demek. GB300’de bildirilen değer yaklaşık 169 token/kullanıcı/saniye oldu.
Kimi K2.5 MXFP4 – GB300 karşılaştırması: OpenAI, Jalapeño için kilowatt başına 1,5 kat daha yüksek tepe işlem hacmi ve 3,4 kat daha düşük uçtan uca gecikme bildirdi. Minimum token aralığında sonuçlar yaklaşık 694’e karşı 182 token/kullanıcı/saniye oldu.
Bu ölçümler özellikle sohbet botları ve gerçek zamanlı yapay zekâ uygulamalarında önemli. Çünkü kullanıcı deneyimini yalnızca sistemin toplamda kaç token ürettiği değil, yanıtın ilk bölümünün ne kadar hızlı geldiği ve sonraki token’ların hangi hızla üretildiği de belirliyor.
Jalapeño’yu farklı kılan mimari ne?
Jalapeño, genel amaçlı bir GPU’yu yapay zekâ görevlerine uyarlamak yerine, doğrudan büyük dil modeli çıkarımı için tasarlanmış bir hızlandırıcı. OpenAI mimari tasarımına, Broadcom silikon uygulaması ve ağ bağlantısına, Celestica ise kart, rack ve sistem entegrasyonuna katkı verdi. 1
Açıklanan rack ölçekli tasarım, iş yükünün tek bir geniş bağlantılı sistem alanı içinde kalmasını hedefliyor. Model durumu ve özellikle KV cache adı verilen ara bellek verisi yerel tutuluyor. Böylece çipler arasında taşınan veri ve iletişim beklemeleri azaltılmaya çalışılıyor. 4
Jalapeño ayrıca model çalıştırmanın iki aşamasını ayrı kaynak havuzlarına bölmüyor. Aynı işlem, bellek ve ağ kaynaklarının hem prefill hem de decode aşamalarında kullanılabilmesi amaçlanıyor. Prefill, kullanıcının gönderdiği istemin işlenmesinde daha fazla hesaplama gücü gerektirirken decode, modelin yanıtı token token üretmesi sırasında bellek bant genişliğine daha fazla yük bindiriyor. 4
Kamuya açık teknik bilgiler sistemin tüm bileşenlerini açıklamak için henüz yeterli değil. Bir teknik rapor yaklaşık 1,7 eksaFLOPS işlem gücüne ve 27 TB HBM belleğe sahip 128 çipli bir sistemden söz ediyor; ancak OpenAI’nin benchmark yazısı eksiksiz bir rack bileşen listesi sunmuyor. 4
Çip dokuz ayda nasıl geliştirildi?
OpenAI, ilk tasarımdan üretim için tape-out aşamasına dokuz ayda ulaştığını ve bunun ileri seviye ASIC’ler için olağanüstü hızlı bir geliştirme döngüsü olduğunu söylüyor. 1
Şirket, kendi yapay zekâ modellerinin tasarım, uygulama keşfi, ölçüm, doğrulama, aritmetik devre optimizasyonu ve programlama süreçlerine yardımcı olduğunu belirtiyor. OpenAI’ye göre Codex ve GPT‑Astra, daha önce planlanmayan üç açık ağırlıklı modelin iki ay içinde yüksek performansa taşınmasına katkı sağladı. Seçili GPT‑OSS attention ve mixture-of-experts bloklarında yapay zekâ tarafından oluşturulan uygulamalar, daha önce insanlar tarafından yazılan uygulamalardan 1,5 ila 1,8 kat daha hızlı çalıştı. Bu rakamlar tek tek bloklara ait; bütün model performansını temsil etmiyor. 4
Sonuçların önemli sınırları var
Jalapeño’nun iddiası etkileyici görünse de benchmark’ın kapsamını doğru okumak gerekiyor.
Çip eğitim için değil, çıkarım için tasarlandı. OpenAI bu nedenle eğitimde ve çıkarım kapasitesinin bir bölümünde Nvidia, AMD ve diğer hızlandırıcılara güvenmeye devam edecek.
6
Testler, nominal olarak tek turlu, 8 bin token giriş ve 1.000 token çıkış içeren iş yüklerini ölçen InferenceX üzerinde yapıldı. Sistemler eşleştirilmiş kullanıcı deneyimi koşullarında karşılaştırıldı ve sonuçlar yayımlanmış çip güç değerlerine göre normalize edildi.
7
OpenAI, Jalapeño’nun paket güç değerini 700 watt olarak listeliyor; bu iş yüklerinde sürdürülebilir ölçülen gücün 550 watt veya daha düşük olduğunu söylüyor. Karşılaştırmada GB200 için 1.200 watt, GB300 için 1.400 watt değerleri modellendi. Dolayısıyla watt başına performans farkı, iş yüküne ve gücün nasıl hesaplandığına duyarlı.
SemiAnalysis, testleri OpenAI’nin laboratuvarında gözlemlediğini ancak benchmark paketinin tamamını kendisinin çalıştırmadığını belirtiyor. Ayrıca tek turlu 8 bin/1.000 token düzeninin uzun bağlamlı, çok turlu ajan görevlerini; yönlendirmeyi, prefix cache kullanımını, cache yönetimini veya verinin başka belleklere aktarılmasını ölçmediği konusunda uyarıyor. Bu unsurlar gerçek üretim performansını önemli ölçüde değiştirebilir.
Karşılaştırma zamana da bağlı. GB200 ve GB300, ticari Blackwell nesli sistemler. Daha yeni Nvidia platformları, Jalapeño geniş ölçekte kullanıma girdiğinde daha uygun rakipler olabilir. Nvidia’nın DeepSeek R1 için yayımladığı GB300 sonuçları ise MLPerf’in farklı bir çevrimdışı metodolojisine dayanıyor; bu nedenle söz konusu rakamlar Jalapeño’nun etkileşimli kullanıcı başına token sonuçlarıyla doğrudan karşılaştırılamaz.
2
OpenAI çipi satacak mı?
OpenAI, Jalapeño tabanlı sistemleri 2026’nın sonuna kadar kendi bilgi işlem altyapısında sınırlı ölçekte kullanmayı, 2027’de ise kapasiteyi artırmayı planlıyor. Şirket, ikinci nesil çipin geliştirilmesinin ileri aşamada olduğunu, üçüncü neslin de şekillenmeye başladığını belirtiyor. 4
6
Ancak Jalapeño’nun dış müşterilere satılması planlanmıyor. OpenAI donanım yöneticisi Richard Ho, şirket içindeki talebin dış satışları düşünmeyecek kadar yüksek olduğunu söyledi. 6
Bu nedenle proje, Nvidia ve AMD’nin yerini tamamen alacak bir hamleden çok, OpenAI’nin mevcut hızlandırıcı filosuna ek bir seçenek oluşturma stratejisi olarak görülüyor. Jalapeño eğitim sorununu çözmediği için OpenAI, özellikle model eğitimi tarafında Nvidia ve diğer ortaklarının donanımlarını kullanmayı sürdürecek. 4
6
Büyük resim: OpenAI de kendi çipini geliştiriyor
Google’ın eğitim ve çıkarım için TPU’ları, Amazon ve Microsoft’un kurum içi yapay zekâ çipleri bulunuyor. Anthropic de kendi çip tasarım girişimini kurduğunu açıkladı. Jalapeño, OpenAI’yi yapay zekâ yazılımından donanım ve veri merkezi altyapısına uzanan bu dikey entegrasyon yarışına daha doğrudan sokuyor. 6
Yine de mevcut avantaj iddiası dar bir çerçevede değerlendirilmeli: OpenAI’nin açıkladığı sonuçlar, belirli modeller ve belirli InferenceX yapılandırmaları üzerinde LLM çıkarımına ilişkin. Bu veriler, Jalapeño’nun her yapay zekâ iş yükünde Nvidia sistemlerinden daha hızlı veya daha verimli olduğunu tek başına kanıtlamıyor.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "OpenAI’nin Jalapeño çipi Nvidia GB200 ve GB300’ü nasıl geride bıraktı?"?
OpenAI, Broadcom ile birlikte geliştirdiği Jalapeño hızlandırıcısının test edilen çıkarım iş yüklerinde Nvidia’nın GB200 ve GB300 sistemlerinden daha yüksek enerji verimliliği ve daha düşük gecikme sunduğunu açıkladı.
What are the key points to validate first?
OpenAI, Broadcom ile birlikte geliştirdiği Jalapeño hızlandırıcısının test edilen çıkarım iş yüklerinde Nvidia’nın GB200 ve GB300 sistemlerinden daha yüksek enerji verimliliği ve daha düşük gecikme sunduğunu açıkladı. GPT‑OSS 120B, DeepSeek R1 670B ve Kimi K2.5 1T testlerinde Jalapeño, watt başına 1,5 ila 1,9 kat daha fazla yapay zekâ işi ve 1,7 ila 3,6 kat daha düşük uçtan uca gecikme sağladı.
What should I do next in practice?
GPT‑OSS 120B testinde Jalapeño, kullanıcı başına saniyede 1.459 token’a ulaşırken GB200 sistemi 535 token’da kaldı.
Sources
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...