AnswersPublished19 sources
Cip Jalapeño OpenAI Dakwa Lebih Pantas dan Jimat Tenaga Berbanding Nvidia GB200 serta GB300
OpenAI melaporkan Jalapeño menghasilkan 1.5–1.9 kali lebih banyak kerja AI bagi setiap watt dan kependaman hujung ke hujung 1.7–3.6 kali lebih rendah berbanding sistem Nvidia GB200 dan GB300 yang diuji. Dalam ujian DeepSeek R1, Jalapeño mencapai kira kira 700 token sesaat bagi setiap pengguna, berbanding 169 pada si...
Diterbitkan olehDisunting dengan GPT-5.6 LunaImej dijana dengan GPT Image 1.5
Research answer
Key takeaways
- OpenAI melaporkan Jalapeño menghasilkan 1.5–1.9 kali lebih banyak kerja AI bagi setiap watt dan kependaman hujung ke hujung 1.7–3.6 kali lebih rendah berbanding sistem Nvidia GB200 dan GB300 yang diuji.
- Dalam ujian DeepSeek R1, Jalapeño mencapai kira kira 700 token sesaat bagi setiap pengguna, berbanding 169 pada sistem GB300.
- Jalapeño direka khusus untuk inferens, bukan latihan model. OpenAI merancang penggunaan dalaman terhad menjelang akhir 2026 dan tidak merancang menjualnya kepada pihak luar buat masa ini.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co-developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed. These are early. Topic tags: general, documentation, general web, education, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text,
Cip pemecut tersuai pertama OpenAI, Jalapeño, mencatat keputusan awal yang menarik dalam ujian inferens terbaharu syarikat. OpenAI melaporkan lebih banyak kerja AI bagi setiap watt, kependaman hujung ke hujung yang lebih rendah serta kadar penjanaan token interaktif yang tinggi berbanding sistem Nvidia GB200 dan GB300 yang dijadikan penanda aras. Keputusan itu melibatkan GPT‑OSS 120B, DeepSeek R1 dan Kimi K2.5 1T. 3
4
Namun, ada batasan penting: angka ini ialah keputusan awal yang dilaporkan oleh OpenAI sendiri berdasarkan konfigurasi InferenceX tertentu. Ia bukan perbandingan bebas dan menyeluruh bagi semua beban kerja AI dalam pengeluaran, atau bagi setiap platform Nvidia yang tersedia kini dan pada masa hadapan. 4
7
Apa yang ditunjukkan oleh ujian Jalapeño
Merentasi tiga model yang diuji, OpenAI melaporkan 1.5–1.9 kali lebih banyak kerja AI bagi setiap watt pada daya pemprosesan puncak serta kependaman hujung ke hujung 1.7–3.6 kali lebih rendah berbanding sistem perbandingan. Untuk beban kerja yang sangat interaktif, syarikat itu melaporkan peningkatan prestasi antara 2.1 hingga 4.1 kali. 3
Keputusan mengikut model adalah seperti berikut:
GPT‑OSS 120B berbanding Nvidia GB200: Jalapeño mencapai 85,448 unit daya pemprosesan campuran puncak bagi setiap kilowatt, berbanding 44,960 pada GB200. OpenAI turut melaporkan kependaman hujung ke hujung selama 1.03 saat, berbanding 1.80 saat, serta masa minimum antara token sebanyak 0.69 milisaat—bersamaan kira-kira 1,459 token sesaat bagi setiap pengguna, berbanding 535 pada GB200.
4
DeepSeek R1 MXFP4 berbanding Nvidia GB300: Jalapeño mencatat 19,641 unit daya pemprosesan campuran puncak bagi setiap kilowatt, berbanding 11,781 pada GB300. Kependaman hujung ke hujung ialah 1.65 saat berbanding 5.99 saat. Berdasarkan masa minimum antara token, OpenAI melaporkan kira-kira 700 token sesaat bagi setiap pengguna, berbanding 169 pada GB300.
6
Kimi K2.5 MXFP4 berbanding Nvidia GB300: OpenAI melaporkan 1.5 kali lebih tinggi daya pemprosesan puncak bagi setiap kilowatt, 3.4 kali lebih rendah kependaman hujung ke hujung dan kira-kira 694 token sesaat bagi setiap pengguna, berbanding 182 pada GB300.
Mengapa token sesaat bagi setiap pengguna penting?
“Token sesaat bagi setiap pengguna” mengukur tahap interaktiviti—iaitu seberapa cepat satu permintaan menerima token yang dijana. Ia berbeza daripada sekadar mengira jumlah token yang boleh dihasilkan oleh satu rak pelayan ketika mengendalikan banyak permintaan secara serentak.
Perbezaan ini penting untuk aplikasi sembang, pengekodan dan ejen AI. Dalam penggunaan sedemikian, kelajuan respons yang dirasai pengguna menjadi sebahagian daripada pengalaman produk, bukan hanya ukuran jumlah kerja keseluruhan sistem.
Mengapa cip khusus boleh menjadi lebih pantas
Jalapeño ialah pemecut yang direka khusus untuk inferens model bahasa besar, bukannya GPU serba guna yang diubah suai untuk mengendalikan latihan dan inferens. OpenAI mereka bentuk seni binanya, Broadcom mengendalikan pelaksanaan silikon serta rangkaian, manakala Celestica menyumbang kepakaran dalam papan, rak dan integrasi sistem. 17
32
Reka bentuk pada skala rak itu menggunakan domain rangkaian yang saling berhubung untuk memastikan beban kerja boleh kekal dalam satu sistem. OpenAI berkata keadaan model—termasuk KV cache, iaitu data konteks yang perlu dirujuk semula ketika model menjana jawapan—diletakkan dan dikekalkan secara setempat sedapat mungkin. Langkah ini mengurangkan pemindahan data antara cip serta kelewatan komunikasi yang boleh memperlahankan penjanaan. 4
6
Sistem itu juga tidak memisahkan fasa prefill dan decode kepada kumpulan sumber tetap yang berasingan. Sebaliknya, OpenAI menggambarkan sumber pengiraan, memori dan rangkaian sebagai sumber yang boleh dikongsi untuk kedua-dua fasa tersebut.
Prefill memproses arahan pengguna dan biasanya lebih berat dari segi pengiraan. Decode pula menjana jawapan token demi token dan sering dibatasi oleh pergerakan data serta lebar jalur memori. 4
6
Butiran teknikal yang tersedia kepada umum masih terhad. Satu penerangan teknikal merujuk kepada sistem 128 cip dengan kira-kira 1.7 exaFLOPS dan 27 TB memori HBM. Namun, pengumuman penanda aras OpenAI tidak menyediakan senarai lengkap komponen rak atau maklumat yang mencukupi untuk mengulangi setiap keputusan secara bebas. 4
OpenAI berkata AI turut membantu mereka bentuk cip
OpenAI berkata Jalapeño bergerak daripada reka bentuk awal ke peringkat tape-out—iaitu penghantaran reka bentuk cip untuk proses pembuatan—dalam tempoh sembilan bulan. Ini merupakan tempoh yang sangat singkat bagi pembangunan pemecut tersuai berprestasi tinggi. 17
21
Syarikat itu turut berkata model AI mereka membantu dalam penerokaan reka bentuk, pelaksanaan, pengukuran, pengesahan, pengoptimuman litar aritmetik dan pengaturcaraan.
OpenAI melaporkan bahawa Codex bersama GPT‑Astra membantu membawa tiga model sumber terbuka yang sebelum ini tidak dirancang kepada tahap prestasi tinggi dalam tempoh dua bulan. Bagi blok perhatian dan campuran pakar tertentu dalam GPT‑OSS, syarikat itu berkata pelaksanaan yang dijana AI adalah 1.5–1.8 kali lebih pantas berbanding pelaksanaan sedia ada yang ditulis manusia. Angka ini hanya merujuk kepada blok terpilih, bukan keputusan lengkap bagi keseluruhan sistem penyajian model. 4
Had dan perkara yang perlu diperhatikan
Kelebihan Jalapeño yang menjadi tajuk utama perlu dibaca dalam konteks.
Ia pemecut inferens, bukan GPU latihan
Jalapeño dibina untuk menjalankan model yang telah dilatih. Ia bukan direka untuk melatih model, jadi OpenAI masih menjangka akan menggunakan pemecut Nvidia, AMD dan pembekal lain untuk latihan serta sebahagian kapasiti inferensnya. 4
6
Ini bermakna Jalapeño lebih tepat dilihat sebagai tambahan khusus kepada infrastruktur OpenAI, bukannya pengganti lengkap kepada sistem GPU yang digunakan untuk pelbagai jenis beban kerja.
Ujian menggunakan profil penyajian yang agak khusus
Perbandingan itu menggunakan penanda aras InferenceX awam daripada SemiAnalysis, dengan permintaan satu pusingan yang secara nominal mengandungi input 8,000 token dan output 1,000 token. Ujian mengukur keseluruhan proses penyajian permintaan, memadankan sistem dari segi pengalaman pengguna dan menormalkan keputusan berdasarkan penarafan kuasa cip yang diterbitkan. 4
7
SemiAnalysis berkata pihaknya menyaksikan larian ujian di makmal OpenAI, tetapi tidak menjalankan sendiri keseluruhan set penanda aras. Ia turut memberi amaran bahawa konfigurasi itu tidak menguji beban kerja ejen dengan konteks lebih panjang atau perbualan berbilang pusingan, penghalaan, caching awalan, pengurusan cache atau proses offload. Pilihan perisian dan cara penyajian sedemikian boleh mengubah prestasi sebenar dalam pengeluaran dengan ketara. 6
Kaedah pengiraan kuasa mempengaruhi keputusan per watt
OpenAI menyenaraikan Jalapeño dengan kuasa pakej 700 watt dan berkata penggunaan kuasa berterusan yang diukur adalah pada atau di bawah 550 watt untuk beban kerja yang diuji. Sebagai perbandingan, angka yang dimodelkan ialah 1,200 watt untuk GB200 dan 1,400 watt untuk GB300.
Oleh itu, kelebihan bagi setiap watt yang dilaporkan sebahagiannya bergantung pada beban kerja, titik pengukuran serta kaedah mengira penggunaan kuasa. 4
Perbandingan dengan Nvidia terikat pada masa
Ujian itu membandingkan Jalapeño dengan keputusan GB200 atau GB300 terbaik yang tersedia ketika itu. Namun, sistem Nvidia yang lebih baharu mungkin menjadi penanda aras yang lebih relevan apabila Jalapeño digunakan pada skala besar.
Nvidia juga melaporkan keputusan DeepSeek R1 pada GB300 menggunakan kaedah luar talian MLPerf yang berbeza. Angka tersebut tidak sepatutnya dibandingkan secara terus dengan ukuran interaktif Jalapeño, seperti token sesaat bagi setiap pengguna. 1
2
4
Pelan penggunaan dan strategi persaingan
OpenAI merancang penggunaan Jalapeño secara terhad dalam infrastruktur pengkomputerannya sendiri menjelang akhir 2026, dengan kapasiti yang lebih besar dijangka pada 2027. Syarikat itu berkata cip generasi kedua sedang dibangunkan secara mendalam, manakala generasi ketiga mula dibentuk. 4
6
Buat masa ini, Jalapeño ialah platform dalaman dan bukan cip yang boleh dibeli atau disewa oleh syarikat luar. Richard Ho, eksekutif perkakasan OpenAI, berkata permintaan dalaman terlalu tinggi untuk penjualan kepada pihak luar dipertimbangkan. 6
Justeru, strategi OpenAI adalah untuk melengkapi, bukannya serta-merta menggantikan, pemecut Nvidia dan AMD. OpenAI masih memerlukan pemecut serba guna untuk latihan, dan infrastruktur masa depannya dijangka terus menggunakan gabungan pelbagai jenis perkakasan. 4
6
Google sudah membangunkan TPU untuk latihan dan inferens, manakala Amazon dan Microsoft mempunyai cip AI dalaman masing-masing. Anthropic juga pernah menerangkan usaha membangunkan silikon tersuai. 6
Kesimpulan praktikal
Keputusan awal Jalapeño menunjukkan bahawa pemecut yang dibina khusus untuk sesuatu beban kerja boleh mengatasi sistem serba guna pada ukuran yang penting bagi penyajian model bahasa besar secara interaktif: kecekapan tenaga, masa respons hujung ke hujung dan jumlah token yang diterima setiap pengguna.
Namun, bukti yang ada menyokong kesimpulan yang lebih terhad berbanding dakwaan bahawa “OpenAI telah mengalahkan Nvidia”. Kelebihan yang dilaporkan hanya terpakai kepada model tertentu, beban kerja InferenceX yang khusus dan perbandingan dengan konfigurasi GB200 serta GB300 tertentu.
Prestasi Jalapeño dalam trafik pengeluaran yang lebih luas, ejen dengan konteks panjang, susunan perisian berbeza, beban kerja berkaitan latihan serta sistem Nvidia yang tersedia ketika penggunaan OpenAI berkembang masih perlu dibuktikan.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Cip Jalapeño OpenAI Dakwa Lebih Pantas dan Jimat Tenaga Berbanding Nvidia GB200 serta GB300"?
OpenAI melaporkan Jalapeño menghasilkan 1.5–1.9 kali lebih banyak kerja AI bagi setiap watt dan kependaman hujung ke hujung 1.7–3.6 kali lebih rendah berbanding sistem Nvidia GB200 dan GB300 yang diuji.
What are the key points to validate first?
OpenAI melaporkan Jalapeño menghasilkan 1.5–1.9 kali lebih banyak kerja AI bagi setiap watt dan kependaman hujung ke hujung 1.7–3.6 kali lebih rendah berbanding sistem Nvidia GB200 dan GB300 yang diuji. Dalam ujian DeepSeek R1, Jalapeño mencapai kira kira 700 token sesaat bagi setiap pengguna, berbanding 169 pada sistem GB300.
What should I do next in practice?
Jalapeño direka khusus untuk inferens, bukan latihan model. OpenAI merancang penggunaan dalaman terhad menjelang akhir 2026 dan tidak merancang menjualnya kepada pihak luar buat masa ini.
Sources
openai.comJalapeño’s first results show industry-leading speed and efficiency in AI inference
techcrunch.comOpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show | TechCrunch