JawabanDipublikasikan25 sumber
Chip Jalapeño OpenAI Ungguli Nvidia Blackwell dalam Efisiensi Inferensi—Namun Tidak di Semua Beban Kerja
OpenAI melaporkan Jalapeño menghasilkan 1,5–1,9 kali lebih banyak pekerjaan AI per watt dan latensi end to end 1,7–3,6 kali lebih rendah dibandingkan sistem Nvidia GB200 dan GB300 dalam pengujian tiga model bahasa. Jalapeño adalah ASIC yang dikembangkan bersama Broadcom khusus untuk inferensi, dengan rating daya 700...
Diterbitkan olehDiedit dengan GPT-5.6 LunaGambar dibuat dengan GPT Image 1.5
Jawaban penelitian
Poin-poin penting
- OpenAI melaporkan Jalapeño menghasilkan 1,5–1,9 kali lebih banyak pekerjaan AI per watt dan latensi end to end 1,7–3,6 kali lebih rendah dibandingkan sistem Nvidia GB200 dan GB300 dalam pengujian tiga model bahasa.
- Jalapeño adalah ASIC yang dikembangkan bersama Broadcom khusus untuk inferensi, dengan rating daya 700 watt dan konsumsi berkelanjutan terukur hingga 550 watt atau kurang pada beban uji.
- Perbandingan tersebut belum sepenuhnya setara karena Jalapeño menggunakan memori HBM4, sedangkan sistem Blackwell yang diuji tidak menggunakannya.
- OpenAI berencana memulai deployment dalam volume sangat kecil pada akhir 2026, lalu meningkatkan skalanya pada 2027, sambil tetap mengandalkan Nvidia untuk pelatihan model dan beban kerja yang membutuhkan fleksibilitas.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What are the reported performance results, power and cost-efficiency benefits, testing details and caveats, deployment timeline, development. Article summary: OpenAI reports that Jalapeño—a Broadcom co-developed, inference-focused ASIC—beats Nvidia’s Blackwell GB200/GB300 systems on the tested LLM-serving workloads for work per watt and latency. It is a meaningful proof point . Topic tags: general, general web, user generated, news. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts w
Hasil pertama yang dipublikasikan OpenAI tentang Jalapeño menyampaikan klaim yang spesifik, bukan kemenangan menyeluruh atas Nvidia. Dalam sejumlah pengujian layanan model bahasa besar, ASIC inferensi buatan OpenAI ini mengungguli sistem Nvidia GB200 dan GB300 dalam jumlah pekerjaan AI per watt serta latensi respons. 5
7
Temuan tersebut penting bagi infrastruktur AI karena biaya listrik, pendinginan, dan distribusi daya semakin menentukan ongkos menjalankan model dalam skala besar. Namun, Jalapeño dirancang untuk inferensi—tahap ketika model menghasilkan jawaban—bukan sebagai pengganti GPU Nvidia untuk pelatihan atau semua jenis komputasi AI. 5
7
Jalapeño dirancang khusus untuk inferensi
Jalapeño merupakan application-specific integrated circuit (ASIC) yang dikembangkan OpenAI bersama Broadcom untuk menjalankan inferensi large language model (LLM). Inferensi berbeda dari pelatihan, yaitu proses awal ketika model mempelajari pola dari data. Karena dibuat untuk beban kerja yang lebih terarah dan berulang, ASIC dapat mengorbankan sebagian fleksibilitas demi efisiensi yang lebih tinggi. 6
19
Spesialisasi ini menjadi kunci dalam membaca hasil benchmark. Sistem GPU Nvidia ditujukan untuk cakupan pekerjaan yang jauh lebih luas, sedangkan Jalapeño dioptimalkan untuk kebutuhan serving OpenAI dan tumpukan perangkat lunak serta perangkat keras yang dikendalikan perusahaan tersebut. 5
6
Hasil benchmark: lebih banyak pekerjaan dengan daya lebih kecil
OpenAI mengatakan Jalapeño diuji melawan sistem berbasis Nvidia GB200 dan GB300 menggunakan tiga model yang tersedia untuk publik: GPT-OSS 120B, DeepSeek R1 670B, dan Kimi K2.5 1T dari Moonshot AI. Dalam rangkaian perbandingan itu, OpenAI melaporkan Jalapeño menghasilkan 1,5–1,9 kali lebih banyak pekerjaan AI per watt pada throughput puncak dan memiliki latensi end-to-end 1,7–3,6 kali lebih rendah. 5
7
13
Rincian per model menunjukkan variasi hasilnya:
- Pada GPT-OSS 120B, Jalapeño mencapai 85.448 mixed token per detik per kilowatt, dibandingkan 44.960 pada sistem GB200—keunggulan sekitar 1,9 kali. Latensi end-to-end yang dilaporkan adalah 1,03 detik, dibandingkan 1,80 detik.
7
- Pada DeepSeek R1 670B, Jalapeño mencapai 19.641 mixed token per detik per kilowatt, sedangkan GB300 mencapai 11.781, atau sekitar 1,7 kali lebih banyak pekerjaan per watt. Latensinya dilaporkan 1,65 detik, dibandingkan 5,99 detik.
- Pada Kimi K2.5 1T, Jalapeño menghasilkan 18.195 mixed token per detik per kilowatt, sementara GB300 mencapai 11.862, atau sekitar 1,5 kali lebih efisien dalam metrik tersebut.
OpenAI juga melaporkan keunggulan yang lebih besar pada titik operasi yang sangat interaktif—ketika kecepatan respons lebih penting daripada throughput agregat maksimum. Pada jenis beban kerja ini, perusahaan mengklaim performa 2,1–4,1 kali lebih tinggi. 4
13
Dari sisi daya, Jalapeño memiliki rating 700 watt. Sebagai pembanding, akselerator GB200 dan GB300 yang diuji masing-masing memiliki rating 1.200 watt dan 1.400 watt. OpenAI menyatakan konsumsi daya berkelanjutan Jalapeño berada pada atau di bawah 550 watt dalam beban kerja yang diuji. 6
12
13
Daya akselerator yang lebih rendah tidak otomatis berarti biaya total pusat data turun dalam jumlah yang sama. Meski demikian, kemampuan menjalankan lebih banyak pekerjaan model dengan listrik lebih sedikit dapat mengurangi tekanan pada sistem kelistrikan, pendinginan, dan distribusi daya. Pada skala operasi yang dibidik OpenAI, dampak operasional inilah yang menjadi alasan ekonomi utama pengembangan silikon khusus. 5
Seberapa kuat perbandingannya?
Pengujian menggunakan InferenceX, benchmark publik dari SemiAnalysis, dan mengukur serving end-to-end pada beberapa model serta titik operasi. Pendekatan ini lebih dekat dengan kondisi layanan inferensi nyata dibandingkan sekadar membandingkan spesifikasi teoretis chip. 7
Namun, hasil tersebut tetap harus dipahami sebagai klaim yang dilaporkan OpenAI, bukan kesimpulan independen yang telah direplikasi secara netral oleh pihak ketiga. 4
5
Ada pula catatan penting terkait generasi perangkat keras. Jalapeño menggunakan memori HBM4, sedangkan sistem GB200 dan GB300 yang diuji tidak menggunakannya. SemiAnalysis menilai perbandingan tersebut belum lengkap dan tidak sepenuhnya adil karena perbedaan ini. 5
Hal itu penting karena kapasitas dan bandwidth memori sangat memengaruhi kemampuan melayani model berukuran besar. Platform Nvidia Rubin juga menggunakan HBM4, sehingga secara generasi Rubin berpotensi menjadi pembanding yang lebih setara dibandingkan sistem Blackwell yang diuji. Keunggulan Jalapeño atas GB200 dan GB300 karena itu belum membuktikan bahwa chip tersebut akan mengungguli Rubin. 5
17
Perbandingan ini juga mempertemukan chip khusus inferensi dengan sistem yang dirancang untuk penggunaan lebih luas. GPU Nvidia dapat digunakan untuk pelatihan, fine-tuning, inferensi, serta arsitektur model yang terus berubah. ASIC seperti Jalapeño paling menguntungkan ketika beban kerja yang dituju cukup stabil untuk membenarkan spesialisasi tersebut. 5
20
Jadwal deployment dan rencana pengembangan
OpenAI berencana mulai memasukkan Jalapeño ke infrastruktur komputasinya dalam volume sangat kecil pada akhir 2026, kemudian meningkatkan deployment secara lebih signifikan pada 2027. 11
33
Program ini dirancang sebagai platform lintas generasi. OpenAI mengatakan chip generasi kedua dan ketiga sudah dalam pengembangan, sementara Broadcom menyebut peta jalan untuk deployment berskala gigawatt bersama Microsoft dan mitra pusat data lainnya. 3
11
30
Strategi yang dibangun adalah co-design secara vertikal: model, perangkat lunak inferensi, memori, jaringan, sistem, dan silikon dikembangkan agar saling terintegrasi. Keuntungannya adalah kontrol yang lebih ketat atas latensi dan biaya serving. Konsekuensinya, perangkat keras tersebut menjadi kurang serbaguna dibandingkan GPU umum. 3
6
33
Siklus pengembangan yang cepat memang menonjol, tetapi tape-out cepat tidak sama dengan produksi massal yang sudah terbukti. Hasil akhirnya akan bergantung pada yield manufaktur, integrasi sistem, kematangan perangkat lunak, ketersediaan pasokan, serta kemampuan chip mendukung model-model masa depan. Laporan yang tersedia mengonfirmasi rencana rollout, tetapi belum membuktikan skala produksi akhirnya. 30
33
Mengapa Jalapeño belum menggantikan Nvidia
OpenAI menyatakan akan tetap mengandalkan Nvidia untuk pelatihan dan sebagai mitra komputasi. 4
11
Pembagian ini masuk akal. Pelatihan model AI terdepan membutuhkan sistem yang sangat fleksibel untuk menangani perubahan arsitektur, algoritma, dan eksperimen. GPU Nvidia juga didukung ekosistem perangkat lunak CUDA serta tumpukan lengkap yang mencakup jaringan dan sistem pusat data. 5
Dengan demikian, Jalapeño lebih tepat dipahami sebagai strategi substitusi yang terarah. OpenAI dapat menggunakannya untuk beban inferensi yang berulang, dapat diprediksi, dan berada dalam kendali langsung perusahaan—misalnya layanan model dengan volume tinggi. Nvidia tetap penting untuk pelatihan, riset, iterasi model, dan pekerjaan yang menuntut fleksibilitas. 4
5
Mengapa respons Nvidia tidak sesederhana menolak chip khusus
Argumen terkuat Nvidia bukanlah bahwa ASIC khusus tidak mungkin menang dalam benchmark inferensi tertentu. Masalahnya, banyak pelanggan membutuhkan satu platform yang dapat menangani beragam pekerjaan ketika model dan perangkat lunak berubah. GPU dapat melatih, melakukan fine-tuning, dan melayani model, sedangkan ASIC memusatkan keunggulannya pada ruang beban kerja yang lebih sempit. Ekosistem perangkat lunak, jaringan, dan sistem Nvidia juga membuat perbandingan lebih luas daripada throughput chip semata. 5
Skala deployment turut membatasi dampak kompetitif Jalapeño dalam waktu dekat. Pada tahap awal, chip ini akan digunakan di infrastruktur OpenAI sendiri, bukan menjadi alternatif yang tersedia luas untuk dibeli dan dipasang oleh pelanggan di pasar. 1
4
Artinya, pengumuman ini lebih cepat mengubah posisi tawar OpenAI dalam pengadaan komputasi inferensi daripada mengubah keseluruhan pasar komputasi AI. OpenAI telah menunjukkan alternatif potensial untuk sebagian bebannya, tetapi belum mengakhiri ketergantungannya pada Nvidia.
Dampak bagi Nvidia dan pasar chip AI
Para analis melihat Jalapeño sebagai bukti bahwa ASIC yang dirancang oleh perusahaan teknologi berskala besar dapat menyamai atau melampaui sistem kelas Blackwell dalam efisiensi inferensi. Hal ini berpotensi menekan Nvidia di pasar inferensi, terutama ketika operator AI besar berusaha menurunkan biaya serving dan mengurangi ketergantungan pada satu pemasok. 17
32
OpenAI juga bukan satu-satunya perusahaan yang mengembangkan silikon khusus. Google, AWS, dan Meta turut disebut sebagai perusahaan teknologi besar yang mengembangkan chip AI sendiri, memperkuat pergeseran menuju infrastruktur yang disesuaikan dengan beban kerja tertentu. 5
Skenario yang paling mungkin bukan keruntuhan GPU secara mendadak, melainkan pasar yang semakin tersegmentasi:
- ASIC khusus dapat menarik bagi beban inferensi yang stabil, berulang, dan bervolume tinggi di bawah kendali platform besar.
- GPU Nvidia kemungkinan tetap penting untuk pelatihan, eksperimen model yang cepat, beban kerja heterogen, serta ekosistem perangkat lunak yang mengutamakan fleksibilitas.
5
20
- Perusahaan yang memiliki silikon sendiri bisa memperoleh posisi tawar lebih kuat dalam negosiasi pembelian GPU dengan memindahkan permintaan inferensi yang dapat diprediksi ke perangkat keras internal.
Pertanyaan utamanya adalah apakah keunggulan Jalapeño akan bertahan dalam perbandingan yang lebih setara, menghadapi model yang berubah, dan produksi berskala besar. Untuk saat ini, bukti yang tersedia mendukung kesimpulan yang lebih terbatas: OpenAI telah menunjukkan bahwa silikon khusus dapat sangat kompetitif melawan Blackwell untuk sejumlah beban inferensi, sementara Nvidia masih tertanam kuat di bagian lain dari tumpukan komputasi AI.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Chip Jalapeño OpenAI Ungguli Nvidia Blackwell dalam Efisiensi Inferensi—Namun Tidak di Semua Beban Kerja"?
OpenAI melaporkan Jalapeño menghasilkan 1,5–1,9 kali lebih banyak pekerjaan AI per watt dan latensi end to end 1,7–3,6 kali lebih rendah dibandingkan sistem Nvidia GB200 dan GB300 dalam pengujian tiga model bahasa.
Apa poin penting yang harus divalidasi terlebih dahulu?
OpenAI melaporkan Jalapeño menghasilkan 1,5–1,9 kali lebih banyak pekerjaan AI per watt dan latensi end to end 1,7–3,6 kali lebih rendah dibandingkan sistem Nvidia GB200 dan GB300 dalam pengujian tiga model bahasa. Jalapeño adalah ASIC yang dikembangkan bersama Broadcom khusus untuk inferensi, dengan rating daya 700 watt dan konsumsi berkelanjutan terukur hingga 550 watt atau kurang pada beban uji.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Perbandingan tersebut belum sepenuhnya setara karena Jalapeño menggunakan memori HBM4, sedangkan sistem Blackwell yang diuji tidak menggunakannya.