AnswersPublished15 sources
Jalapeño OpenAI catat prestasi lebih pantas dan cekap tenaga berbanding sistem Nvidia
OpenAI mendakwa Jalapeño, cip pemecut tersuai pertamanya yang dibangunkan bersama Broadcom, mengatasi sistem rak Nvidia GB200 dan GB300 dalam kecekapan tenaga serta kelajuan respons bagi beban kerja inferens yang diuji. Merentas GPT OSS 120B, DeepSeek R1 670B dan Kimi K2.5 1T, OpenAI melaporkan 1.5 hingga 1.9 kali l...
Diterbitkan olehImej dijana dengan GPT Image 1.5
Research answer
Key takeaways
- OpenAI mendakwa Jalapeño, cip pemecut tersuai pertamanya yang dibangunkan bersama Broadcom, mengatasi sistem rak Nvidia GB200 dan GB300 dalam kecekapan tenaga serta kelajuan respons bagi beban kerja inferens yang diuji.
- Merentas GPT OSS 120B, DeepSeek R1 670B dan Kimi K2.5 1T, OpenAI melaporkan 1.5 hingga 1.9 kali lebih banyak kerja AI per watt dan kependaman hujung ke hujung yang 1.7 hingga 3.6 kali lebih rendah.
- Bagi GPT OSS 120B berbanding GB200, Jalapeño dilaporkan mencapai 1,459 token sesaat bagi setiap pengguna, berbanding 535 token sesaat bagi setiap pengguna pada sistem Nvidia.
- Dalam ujian DeepSeek R1 berbanding GB300, Jalapeño mencatat kira kira 700 token sesaat bagi setiap pengguna, berbanding 169 token sesaat pada GB300.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI mendakwa cip inferens tersuai Jalapeño menunjukkan prestasi lebih baik daripada sistem rak Nvidia GB200 dan GB300 dalam ujian tertentu—terutama dari segi jumlah kerja AI bagi setiap watt dan kepantasan respons.
Namun, angka tersebut perlu dibaca dengan konteks. Ujian itu menggunakan penanda aras InferenceX oleh SemiAnalysis, dengan konfigurasi beban kerja yang khusus. Jadi, ia belum membuktikan bahawa Jalapeño akan mengatasi semua sistem Nvidia dalam setiap aplikasi AI dunia sebenar. 4
7
Apa yang ditunjukkan oleh penanda aras?
OpenAI menguji Jalapeño dengan tiga model bahasa besar: GPT-OSS 120B, DeepSeek R1 670B dan Kimi K2.5 1T. Secara keseluruhan, syarikat itu melaporkan:
- 1.5 hingga 1.9 kali lebih banyak kerja AI per watt pada kadar pemprosesan puncak.
- Kependaman hujung ke hujung 1.7 hingga 3.6 kali lebih rendah berbanding sistem perbandingan Nvidia.
4
Bagi tugasan interaktif, ukuran seperti masa antara token penting kerana ia mempengaruhi seberapa pantas pengguna mula melihat jawapan dijana.
GPT-OSS 120B berbanding GB200
Dalam perbandingan GPT-OSS 120B, OpenAI melaporkan Jalapeño mencapai:
- 85,448 berbanding 44,960 bagi kadar pemprosesan campuran puncak per kilowatt, atau kira-kira 1.9 kali lebih tinggi.
- 1.03 saat berbanding 1.80 saat untuk kependaman hujung ke hujung, iaitu kira-kira 1.7 kali lebih rendah.
- Masa minimum antara token sebanyak 0.69 milisaat, bersamaan kira-kira 1,459 token sesaat bagi setiap pengguna, berbanding 1.87 milisaat atau 535 token sesaat bagi setiap pengguna pada GB200.
DeepSeek R1 berbanding GB300
Untuk DeepSeek R1 dalam format MXFP4, Jalapeño dilaporkan mencatat:
- 19,641 berbanding 11,781 bagi kerja AI puncak per kilowatt, atau kira-kira 1.7 kali lebih tinggi.
- Kependaman hujung ke hujung 1.65 saat berbanding 5.99 saat, iaitu kira-kira 3.6 kali lebih rendah.
- Masa minimum antara token 1.43 milisaat, bersamaan sekitar 700 token sesaat bagi setiap pengguna, berbanding 169 token sesaat bagi setiap pengguna pada GB300.
Kimi K2.5 berbanding GB300
Dalam ujian Kimi K2.5 MXFP4, OpenAI melaporkan kira-kira 1.5 kali lebih tinggi bagi kadar pemprosesan puncak per kilowatt dan kependaman hujung ke hujung yang 3.4 kali lebih rendah.
Pada ukuran masa antara token minimum, Jalapeño menghasilkan kira-kira 694 token sesaat bagi setiap pengguna, berbanding 182 token sesaat bagi setiap pengguna pada GB300. 4
Mengapa seni bina Jalapeño berbeza?
Jalapeño direka khusus untuk inferens model bahasa besar—iaitu proses menjalankan model yang telah dilatih untuk menghasilkan jawapan—bukannya GPU serba guna yang diubah suai untuk tugas tersebut.
OpenAI menyumbang reka bentuk pemecut, Broadcom mengendalikan pelaksanaan silikon dan rangkaian, manakala Celestica membantu penyepaduan papan, rak dan sistem. 1
Reka bentuk pada skala rak itu menggunakan domain rangkaian yang besar dan saling berhubung supaya beban kerja boleh kekal dalam satu sistem. OpenAI juga menyatakan bahawa keadaan model, termasuk KV cache—data sementara yang menyimpan konteks token terdahulu—diletakkan dan dikekalkan secara setempat. Langkah ini bertujuan mengurangkan pergerakan data antara cip serta kelewatan komunikasi. 4
Jalapeño juga tidak membahagikan proses prefill dan decode kepada kumpulan sumber yang berasingan. Sumber pengiraan, memori dan rangkaian yang sama boleh digunakan untuk kedua-dua fasa tersebut. Prefill biasanya lebih berat dari segi pengiraan, manakala decode, iaitu penjanaan token secara berurutan, lebih bergantung pada lebar jalur memori. 4
Maklumat awam tentang spesifikasi sistem masih terhad. Satu laporan teknikal menyifatkan sistem itu sebagai konfigurasi 128 cip dengan kira-kira 1.7 exaFLOPS dan 27 terabait HBM, tetapi catatan penanda aras OpenAI sendiri tidak memberikan senarai lengkap komponen rak. 4
OpenAI menggunakan AI untuk membangunkan cip itu
OpenAI berkata Jalapeño bergerak daripada reka bentuk awal ke peringkat tape-out—iaitu apabila reka bentuk cip dihantar untuk pembuatan—dalam tempoh sembilan bulan. Syarikat itu menyifatkannya sebagai kitaran pembangunan ASIC berprestasi tinggi yang sangat pantas. 1
Model AI OpenAI digunakan untuk membantu reka bentuk, penerokaan pelaksanaan, pengukuran, pengesahan, pengoptimuman litar aritmetik dan pengaturcaraan.
OpenAI turut mendakwa Codex dengan GPT-Astra membantu membawa tiga model sumber terbuka yang pada asalnya tidak dirancang untuk diuji kepada tahap prestasi tinggi dalam tempoh dua bulan. Bagi blok perhatian dan campuran pakar tertentu dalam GPT-OSS, pelaksanaan yang dijana AI dilaporkan 1.5 hingga 1.8 kali lebih pantas daripada pelaksanaan sedia ada yang ditulis manusia. Angka ini hanya merujuk kepada peringkat blok, bukan prestasi keseluruhan model. 4
Mengapa keputusan ini belum boleh dianggap muktamad?
Terdapat beberapa batasan penting:
- Jalapeño dibina untuk inferens, bukan latihan. OpenAI masih perlu bergantung pada Nvidia, AMD dan pemecut lain untuk melatih model, selain memenuhi sebahagian keperluan inferensnya.
6
- Ujian InferenceX menggunakan beban kerja satu pusingan dengan input nominal 8,000 token dan output 1,000 token, serta mengukur keseluruhan proses melayan permintaan. Sistem dibandingkan pada tahap pengalaman pengguna yang sepadan dan dinormalkan menggunakan kadar kuasa cip yang diterbitkan.
7
- OpenAI menyenaraikan kuasa pakej Jalapeño pada 700 watt, tetapi berkata penggunaan kuasa yang diukur secara berterusan adalah pada atau di bawah 550 watt untuk beban kerja tersebut. GB200 dan GB300 pula dimodelkan pada 1,200 watt dan 1,400 watt. Oleh itu, kelebihan per watt yang dilaporkan boleh berubah bergantung pada jenis beban kerja dan cara kuasa dikira.
- SemiAnalysis berkata pihaknya menyaksikan larian ujian di makmal OpenAI, tetapi tidak menjalankan sendiri keseluruhan rangkaian penanda aras. Ia turut memberi amaran bahawa konfigurasi tunggal 8k/1k InferenceX tidak menguji konteks yang lebih panjang, ejen berbilang pusingan, penghalaan, cache awalan, pengurusan cache atau tingkah laku pemindahan data. Semua faktor ini boleh memberi kesan besar terhadap prestasi dalam persekitaran pengeluaran.
- Perbandingan itu juga terikat pada masa tertentu. GB200 dan GB300 ialah sistem komersial berasaskan generasi Blackwell, manakala platform Nvidia yang lebih baharu mungkin menjadi perbandingan yang lebih relevan apabila Jalapeño digunakan secara meluas. Nvidia turut melaporkan prestasi GB300 untuk DeepSeek R1 menggunakan metodologi luar talian MLPerf yang berbeza, jadi angka itu tidak boleh dibandingkan secara terus dengan ukuran token sesaat bagi setiap pengguna dalam ujian interaktif Jalapeño.
2
Bila Jalapeño akan digunakan?
OpenAI merancang penggunaan terhad sistem berasaskan Jalapeño dalam infrastruktur pengkomputerannya menjelang akhir 2026, diikuti kapasiti yang lebih besar pada 2027. Syarikat itu berkata generasi kedua sedang dibangunkan secara mendalam, manakala generasi ketiga sudah mula dirangka. 4
6
Buat masa ini, OpenAI tidak merancang menjual Jalapeño kepada pelanggan luar. Naib presiden perkakasan syarikat, Richard Ho, berkata permintaan dalaman terlalu tinggi untuk membolehkan jualan luaran dibayangkan. 6
Ini bukan semata-mata langkah untuk menggantikan Nvidia atau AMD. Sebaliknya, Jalapeño berfungsi sebagai pelengkap kepada pemecut daripada kedua-dua syarikat dan rakan kongsi lain, khususnya kerana cip OpenAI itu tidak menangani keperluan latihan model. 4
6
Kedudukan Jalapeño dalam perlumbaan cip AI
Google sudah mempunyai TPU untuk latihan dan inferens, manakala Amazon dan Microsoft membangunkan cip AI dalaman masing-masing. Anthropic juga pernah menyatakan bahawa ia sedang membina usaha reka bentuk cip sendiri. 6
Jalapeño menempatkan OpenAI dalam perlumbaan integrasi menegak yang sama—daripada reka bentuk silikon hingga infrastruktur yang menjalankan modelnya. Tetapi buat masa ini, tuntutan kelebihannya masih khusus kepada inferens model bahasa besar pada konfigurasi penanda aras yang didedahkan, bukan bukti bahawa ia mengatasi semua pemecut AI bagi setiap jenis kerja.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Jalapeño OpenAI catat prestasi lebih pantas dan cekap tenaga berbanding sistem Nvidia"?
OpenAI mendakwa Jalapeño, cip pemecut tersuai pertamanya yang dibangunkan bersama Broadcom, mengatasi sistem rak Nvidia GB200 dan GB300 dalam kecekapan tenaga serta kelajuan respons bagi beban kerja inferens yang diuji.
What are the key points to validate first?
OpenAI mendakwa Jalapeño, cip pemecut tersuai pertamanya yang dibangunkan bersama Broadcom, mengatasi sistem rak Nvidia GB200 dan GB300 dalam kecekapan tenaga serta kelajuan respons bagi beban kerja inferens yang diuji. Merentas GPT OSS 120B, DeepSeek R1 670B dan Kimi K2.5 1T, OpenAI melaporkan 1.5 hingga 1.9 kali lebih banyak kerja AI per watt dan kependaman hujung ke hujung yang 1.7 hingga 3.6 kali lebih rendah.
What should I do next in practice?
Bagi GPT OSS 120B berbanding GB200, Jalapeño dilaporkan mencapai 1,459 token sesaat bagi setiap pengguna, berbanding 535 token sesaat bagi setiap pengguna pada sistem Nvidia.
Sources
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...