JawabanDipublikasikan15 sumber
Chip Jalapeño OpenAI Tunjukkan Keunggulan atas Nvidia GB200 dan GB300
OpenAI mengklaim Jalapeño, akselerator khusus yang dikembangkan bersama Broadcom, mengungguli sistem rak Nvidia GB200 dan GB300 yang diuji dalam efisiensi energi serta kecepatan respons. Pada tiga model AI, Jalapeño menghasilkan 1,5–1,9 kali lebih banyak pekerjaan AI per watt dan latensi end to end 1,7–3,6 kali lebi...
Diterbitkan olehGambar dibuat dengan GPT Image 1.5
Jawaban penelitian
Poin-poin penting
- OpenAI mengklaim Jalapeño, akselerator khusus yang dikembangkan bersama Broadcom, mengungguli sistem rak Nvidia GB200 dan GB300 yang diuji dalam efisiensi energi serta kecepatan respons.
- Pada tiga model AI, Jalapeño menghasilkan 1,5–1,9 kali lebih banyak pekerjaan AI per watt dan latensi end to end 1,7–3,6 kali lebih rendah dibandingkan sistem pembanding.
- Dalam pengujian DeepSeek R1, Jalapeño mencapai sekitar 700 token per detik per pengguna, dibandingkan 169 token per detik per pengguna pada GB300.
- Hasil tersebut merupakan benchmark awal yang dilaporkan OpenAI, bukan pengukuran independen yang mewakili seluruh beban kerja AI di produksi.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI mengklaim Jalapeño, akselerator khusus pertama yang dikembangkan bersama Broadcom, mengungguli sistem rak Nvidia GB200 dan GB300 dalam pengujian inferensi AI yang dipilih. Menurut perusahaan, chip ini menawarkan efisiensi energi lebih tinggi sekaligus respons yang lebih cepat. Namun, hasil tersebut masih berupa benchmark awal yang dilaporkan vendor—bukan perbandingan independen dan sepenuhnya setara untuk semua beban kerja AI di lingkungan produksi. 4
7
Hasil benchmark Jalapeño
Pada model GPT‑OSS 120B, DeepSeek R1 670B, dan Kimi K2.5 1T, OpenAI melaporkan Jalapeño menghasilkan 1,5–1,9 kali lebih banyak pekerjaan AI per watt pada throughput puncak. Latensi end-to-end—waktu dari permintaan dikirim hingga respons selesai—disebut 1,7–3,6 kali lebih rendah dibandingkan sistem pembanding. 4
GPT‑OSS 120B vs Nvidia GB200
Dalam pengujian GPT‑OSS 120B melawan GB200, OpenAI melaporkan:
- Throughput campuran puncak per kilowatt 1,9 kali lebih tinggi: 85.448 berbanding 44.960.
- Latensi end-to-end 1,7 kali lebih rendah: 1,03 detik berbanding 1,80 detik.
- Jeda minimum antartoken 0,69 milidetik, setara sekitar 1.459 token per detik per pengguna, dibandingkan 1,87 milidetik atau 535 token per detik per pengguna pada GB200.
4
DeepSeek R1 vs Nvidia GB300
Pada DeepSeek R1 dengan format MXFP4, Jalapeño dibandingkan dengan GB300. OpenAI melaporkan:
- Throughput campuran puncak per kilowatt 1,7 kali lebih tinggi: 19.641 berbanding 11.781.
- Latensi end-to-end 3,6 kali lebih rendah: 1,65 detik berbanding 5,99 detik.
- Jeda minimum antartoken 1,43 milidetik, atau sekitar 700 token per detik per pengguna, dibandingkan 169 token per detik per pengguna pada GB300.
Kimi K2.5 vs Nvidia GB300
Untuk Kimi K2.5 MXFP4, OpenAI melaporkan throughput puncak per kilowatt 1,5 kali lebih tinggi dan latensi end-to-end 3,4 kali lebih rendah. Pada metrik jeda minimum antartoken, Jalapeño mencapai sekitar 694 token per detik per pengguna, dibandingkan 182 token per detik per pengguna pada GB300. 4
Mengapa arsitektur Jalapeño berbeda?
Jalapeño dirancang khusus untuk inferensi model bahasa besar atau LLM—tahap ketika model yang sudah dilatih digunakan untuk menghasilkan jawaban. Pendekatan ini berbeda dari GPU serbaguna yang kemudian dioptimalkan untuk berbagai jenis pekerjaan AI.
OpenAI menyumbangkan rancangan akselerator, Broadcom menangani implementasi silikon dan jaringan, sedangkan Celestica berkontribusi pada integrasi papan, rak, dan sistem. 1
Rancangan yang diungkapkan menggunakan domain jaringan besar yang saling terhubung sehingga beban kerja dapat tetap berada dalam satu sistem. Status model, termasuk KV cache yang menyimpan informasi konteks percakapan, ditempatkan dan dipertahankan secara lokal. Tujuannya adalah mengurangi perpindahan data antarchip dan jeda akibat komunikasi. 4
Jalapeño juga tidak memisahkan fase prefill dan decode ke dalam kumpulan sumber daya yang berbeda. Sumber daya komputasi, memori, dan jaringan yang sama dapat digunakan untuk kedua fase tersebut. Prefill biasanya lebih berat pada komputasi karena memproses prompt, sedangkan decode—pembuatan token secara berurutan—lebih bergantung pada bandwidth memori. 4
Rincian spesifikasi sistem yang tersedia untuk publik masih terbatas. Salah satu laporan teknis menyebut sistem 128 chip dengan sekitar 1,7 exaFLOPS dan 27 TB HBM, tetapi tulisan benchmark OpenAI sendiri tidak memuat daftar komponen lengkap untuk satu rak. 4
Dikembangkan hanya dalam sembilan bulan
OpenAI mengatakan Jalapeño berpindah dari rancangan awal ke tahap tape-out manufaktur—tahap ketika desain chip dikirim ke pabrik untuk diproduksi—dalam waktu sembilan bulan. Perusahaan menyebutnya sebagai salah satu siklus pengembangan ASIC berperforma tinggi yang sangat cepat. 1
Model AI OpenAI juga digunakan untuk membantu perancangan, eksplorasi implementasi, pengukuran, verifikasi, optimalisasi rangkaian aritmetika, serta pemrograman. OpenAI menyatakan Codex dengan GPT‑Astra membawa tiga model open-weight yang sebelumnya tidak direncanakan ke tingkat performa tinggi dalam dua bulan. Pada sejumlah blok perhatian dan mixture-of-experts GPT‑OSS, implementasi yang dihasilkan AI disebut 1,5–1,8 kali lebih cepat daripada implementasi buatan manusia yang sudah ada. Angka pada tingkat blok ini bukan hasil untuk keseluruhan model. 4
Apa saja batasan pengujiannya?
Jalapeño ditujukan untuk inferensi, bukan pelatihan model. Karena itu, OpenAI masih akan bergantung pada akselerator Nvidia, AMD, dan perusahaan lain untuk pelatihan serta sebagian kapasitas inferensinya. 6
Pengujian menggunakan InferenceX, benchmark publik dari SemiAnalysis, dengan skenario nominal satu putaran yang terdiri dari input 8.000 token dan output 1.000 token. Pengukuran mencakup keseluruhan proses melayani permintaan, dilakukan pada pengalaman pengguna yang disetarakan, dan dinormalisasi menggunakan peringkat daya chip yang dipublikasikan. 4
7
OpenAI mencantumkan daya paket Jalapeño sebesar 700 watt, tetapi menyatakan konsumsi daya terukur yang berkelanjutan berada pada atau di bawah 550 watt dalam beban kerja tersebut. Sebagai pembanding, GB200 dan GB300 dimodelkan masing-masing pada 1.200 watt dan 1.400 watt. Artinya, keunggulan per watt yang dilaporkan dapat dipengaruhi oleh jenis beban kerja serta cara daya dihitung. 4
SemiAnalysis mengatakan pihaknya menyaksikan pengujian di laboratorium OpenAI, tetapi tidak menjalankan seluruh rangkaian benchmark secara mandiri. Lembaga itu juga mengingatkan bahwa skenario InferenceX satu putaran dengan input 8.000 dan output 1.000 token tidak menguji konteks yang lebih panjang, agen dengan banyak putaran, routing, prefix caching, pengelolaan cache, atau mekanisme offload. Faktor-faktor tersebut dapat mengubah performa secara signifikan dalam penggunaan produksi. 4
Perbandingan ini juga terikat waktu. GB200 dan GB300 merupakan sistem komersial berbasis generasi Blackwell, sementara platform Nvidia yang lebih baru mungkin menjadi pembanding yang lebih relevan ketika Jalapeño diterapkan secara luas. Nvidia juga melaporkan throughput GB300 untuk DeepSeek R1 menggunakan metodologi offline MLPerf yang berbeda. Angka tersebut tidak dapat dibandingkan langsung dengan metrik interaktif token per pengguna milik Jalapeño. 2
4
Kapan Jalapeño akan digunakan?
OpenAI berencana menerapkan sistem berbasis Jalapeño secara terbatas di infrastruktur komputasinya pada akhir 2026, kemudian meningkatkan kapasitas pada 2027. Generasi kedua disebut sedang dikembangkan secara intensif, sedangkan generasi ketiga mulai dirancang. 4
6
OpenAI tidak berencana menjual Jalapeño kepada perusahaan lain. Wakil presiden perangkat keras OpenAI, Richard Ho, mengatakan permintaan internal perusahaan terlalu tinggi untuk membayangkan penjualan eksternal dalam waktu dekat. 6
Dengan demikian, Jalapeño lebih tepat dilihat sebagai pelengkap, bukan pengganti Nvidia dan AMD. OpenAI menyatakan akan tetap menggunakan akselerator Nvidia dan mitra lainnya secara luas, terutama karena Jalapeño belum ditujukan untuk pelatihan model. 4
6
Arti strategis bagi OpenAI
Google telah memiliki TPU untuk pelatihan dan inferensi, sementara Amazon dan Microsoft mengembangkan chip AI internal masing-masing. Anthropic juga menyatakan sedang membangun kemampuan desain chip sendiri. Kehadiran Jalapeño menempatkan OpenAI dalam perlombaan integrasi vertikal—mengendalikan lebih banyak bagian dari perangkat lunak hingga perangkat keras AI. 6
Meski demikian, klaim keunggulan Jalapeño saat ini tetap terbatas pada inferensi LLM dalam konfigurasi benchmark yang diungkapkan. Performa nyata di pusat data akan bergantung pada model, panjang konteks, pola lalu lintas pengguna, perangkat lunak, pengelolaan memori, dan karakteristik beban kerja yang digunakan.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Chip Jalapeño OpenAI Tunjukkan Keunggulan atas Nvidia GB200 dan GB300"?
OpenAI mengklaim Jalapeño, akselerator khusus yang dikembangkan bersama Broadcom, mengungguli sistem rak Nvidia GB200 dan GB300 yang diuji dalam efisiensi energi serta kecepatan respons.
Apa poin penting yang harus divalidasi terlebih dahulu?
OpenAI mengklaim Jalapeño, akselerator khusus yang dikembangkan bersama Broadcom, mengungguli sistem rak Nvidia GB200 dan GB300 yang diuji dalam efisiensi energi serta kecepatan respons. Pada tiga model AI, Jalapeño menghasilkan 1,5–1,9 kali lebih banyak pekerjaan AI per watt dan latensi end to end 1,7–3,6 kali lebih rendah dibandingkan sistem pembanding.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Dalam pengujian DeepSeek R1, Jalapeño mencapai sekitar 700 token per detik per pengguna, dibandingkan 169 token per detik per pengguna pada GB300.
Sumber
theverge.comOpenAI says its Jalapeño chip can power faster AI responses than the competition
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...
axios.comOpenAI says its Jalapeño chip bests Nvidia, others