JawabanDipublikasikan2 bulan yang laluLast edited 2 bulan yang lalu19 sumber

Chip Jalapeño OpenAI Diklaim Lebih Cepat dan Hemat Energi daripada Nvidia GB200 serta GB300

OpenAI melaporkan Jalapeño menghasilkan 1,5–1,9 kali lebih banyak pekerjaan AI per watt dan latensi end to end 1,7–3,6 kali lebih rendah dibandingkan sistem Nvidia GB200 dan GB300 dalam pengujian InferenceX. Pada DeepSeek R1, Jalapeño diklaim mencapai sekitar 700 token per detik per pengguna, dibandingkan 169 token...

Diterbitkan olehDiedit dengan GPT-5.6 LunaGambar dibuat dengan GPT Image 1.5

Cari dan periksa fakta dengan Studio Global AI Jelajahi lebih banyak halaman Trending

Jawaban penelitian

Poin-poin penting

OpenAI melaporkan Jalapeño menghasilkan 1,5–1,9 kali lebih banyak pekerjaan AI per watt dan latensi end to end 1,7–3,6 kali lebih rendah dibandingkan sistem Nvidia GB200 dan GB300 dalam pengujian InferenceX.
Pada DeepSeek R1, Jalapeño diklaim mencapai sekitar 700 token per detik per pengguna, dibandingkan 169 token per detik pada Nvidia GB300.
Jalapeño dirancang khusus untuk inferensi, bukan pelatihan model. OpenAI berencana menggunakannya secara terbatas di infrastrukturnya sendiri hingga akhir 2026, bukan menjualnya ke perusahaan eksternal.

Editorial illustration of OpenAI’s Jalapeño custom AI inference chip competing with Nvidia data-center accelerators — What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 anOpenAI says its Jalapeño accelerator is optimized for large language model inference rather than training.
AI Perintah
Create a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co-developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed. These are early. Topic tags: general, documentation, general web, education, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text,
openai.com

OpenAI mengklaim akselerator AI kustom pertamanya, Jalapeño, mampu menjalankan inferensi model bahasa besar dengan efisiensi daya lebih tinggi, latensi lebih rendah, dan respons interaktif yang lebih cepat dibandingkan sistem Nvidia GB200 dan GB300 yang dijadikan pembanding. Hasil tersebut terlihat pada GPT‑OSS 120B, DeepSeek R1, dan Kimi K2.5 1T. 3 4

Namun, ada catatan penting: angka-angka ini merupakan hasil awal yang dilaporkan OpenAI dari konfigurasi InferenceX tertentu. Hasil tersebut belum bisa dianggap sebagai perbandingan independen dan menyeluruh untuk semua beban kerja AI produksi, atau untuk seluruh platform Nvidia saat ini maupun yang akan datang. 4 7

Hasil benchmark Jalapeño

Dalam tiga model yang diuji, OpenAI melaporkan 1,5–1,9 kali lebih banyak pekerjaan AI per watt pada throughput puncak serta latensi end-to-end 1,7–3,6 kali lebih rendah daripada sistem pembanding. Untuk beban kerja yang sangat interaktif, OpenAI melaporkan peningkatan performa sebesar 2,1–4,1 kali. 3

Berikut hasil yang paling menonjol berdasarkan model:

GPT‑OSS 120B dibandingkan Nvidia GB200: Jalapeño mencapai 85.448 unit throughput campuran puncak per kilowatt, sedangkan GB200 mencapai 44.960. OpenAI juga melaporkan latensi end-to-end 1,03 detik, dibandingkan 1,80 detik pada GB200. Waktu minimum antartoken Jalapeño sebesar 0,69 milidetik, setara dengan sekitar 1.459 token per detik per pengguna, sementara GB200 mencapai 535 token per detik per pengguna. 4
DeepSeek R1 MXFP4 dibandingkan Nvidia GB300: Jalapeño mencatat 19.641 unit throughput campuran puncak per kilowatt, dibandingkan 11.781 pada GB300. Latensi end-to-end tercatat 1,65 detik, sedangkan GB300 membutuhkan 5,99 detik. Berdasarkan waktu minimum antartoken, OpenAI melaporkan sekitar 700 token per detik per pengguna pada Jalapeño, berbanding 169 token per detik pada GB300. 4 6
Kimi K2.5 MXFP4 dibandingkan Nvidia GB300: OpenAI melaporkan throughput puncak per kilowatt 1,5 kali lebih tinggi, latensi end-to-end 3,4 kali lebih rendah, serta kecepatan sekitar 694 token per detik per pengguna. GB300 mencatat 182 token per detik per pengguna. 4

Apa arti “token per detik per pengguna”?

Metrik ini mengukur tingkat respons yang dirasakan oleh satu pengguna: seberapa cepat token hasil generasi muncul setelah sebuah permintaan dikirim. Angka tersebut berbeda dari total throughput sebuah rak server ketika melayani banyak permintaan secara paralel.

Perbedaan ini penting untuk chatbot, pemrograman berbasis AI, dan aplikasi agen. Dalam layanan semacam itu, bukan hanya jumlah total token yang dihasilkan yang penting, tetapi juga apakah pengguna merasa responsnya muncul dengan cepat.

Mengapa chip khusus inferensi bisa lebih cepat?

Jalapeño merupakan akselerator yang dirancang khusus untuk inferensi model bahasa besar, bukan GPU serbaguna yang diadaptasi untuk menjalankan pelatihan sekaligus inferensi. OpenAI merancang arsitekturnya, Broadcom menangani implementasi silikon dan jaringan, sedangkan Celestica berkontribusi pada integrasi papan, rak, dan sistem. 17 32

Desain berskala raknya menggunakan domain jaringan besar yang saling terhubung. Tujuannya adalah menjaga beban kerja tetap berada dalam satu sistem. OpenAI mengatakan status model—termasuk KV cache, yaitu data perantara yang dibutuhkan saat model menghasilkan token berikutnya—sebisa mungkin ditempatkan dan dipertahankan secara lokal.

Pendekatan ini dapat mengurangi perpindahan data antarchip serta jeda komunikasi yang sering memperlambat proses generasi. 4 6

Jalapeño juga tidak memisahkan proses prefill dan decode ke dalam kumpulan sumber daya yang kaku. OpenAI menggambarkan sumber daya komputasi, memori, dan jaringan sebagai komponen yang dapat digunakan secara fleksibel untuk kedua tahap tersebut.

Prefill memproses prompt dan cenderung lebih berat di sisi komputasi. Sementara itu, decode menghasilkan jawaban token demi token dan sering kali lebih dibatasi oleh perpindahan data serta bandwidth memori. 4 6

Detail teknis publik mengenai sistem ini masih terbatas. Salah satu deskripsi teknis menyebut sistem 128 chip dengan sekitar 1,7 exaFLOPS dan 27 TB HBM. Namun, pengumuman benchmark OpenAI belum memuat daftar komponen lengkap dalam satu rak atau informasi yang cukup untuk mereproduksi setiap hasil secara independen. 4

OpenAI mengatakan AI ikut membantu merancang chip

OpenAI menyatakan Jalapeño berpindah dari desain awal ke tahap tape-out—tahap ketika rancangan chip dikirim untuk diproduksi—dalam waktu sembilan bulan. Untuk akselerator canggih, perusahaan menyebut siklus tersebut sangat singkat. 17 21

Perusahaan juga mengatakan model AI-nya membantu proses eksplorasi desain, implementasi, pengukuran, verifikasi, optimasi sirkuit aritmetika, dan pemrograman.

OpenAI melaporkan bahwa Codex bersama GPT‑Astra membantu membawa tiga model open-weight yang sebelumnya tidak direncanakan ke tingkat performa tinggi dalam waktu dua bulan. Pada sejumlah blok attention dan mixture-of-experts GPT‑OSS, implementasi yang dihasilkan AI disebut 1,5–1,8 kali lebih cepat daripada implementasi buatan manusia yang sudah ada.

Angka tersebut berlaku untuk blok tertentu, bukan hasil lengkap dari keseluruhan sistem yang melayani model. 4

Keterbatasan hasil pengujian

Keunggulan Jalapeño perlu dibaca dalam konteks. Hasilnya menarik, tetapi belum cukup untuk menyimpulkan bahwa OpenAI telah mengalahkan Nvidia dalam seluruh aspek komputasi AI.

Bukan GPU untuk pelatihan model

Jalapeño ditujukan untuk menjalankan model yang sudah dilatih. Chip ini tidak dirancang untuk pelatihan model. Karena itu, OpenAI memperkirakan akan tetap menggunakan akselerator Nvidia, AMD, dan perusahaan lain untuk pelatihan serta sebagian kapasitas inferensinya. 4 6

Dengan kata lain, Jalapeño lebih tepat dilihat sebagai tambahan khusus untuk infrastruktur OpenAI, bukan pengganti total bagi sistem GPU yang digunakan dalam berbagai jenis pekerjaan.

Profil pengujiannya masih terbatas

Perbandingan dilakukan menggunakan benchmark publik InferenceX dari SemiAnalysis. Pengujian memakai permintaan satu putaran dengan input nominal 8.000 token dan output 1.000 token. Pengukuran mencakup keseluruhan proses melayani permintaan, dengan pengalaman pengguna yang disamakan dan hasil yang dinormalisasi berdasarkan peringkat daya chip yang dipublikasikan. 4 7

SemiAnalysis mengatakan pihaknya menyaksikan pengujian di laboratorium OpenAI, tetapi tidak menjalankan sendiri seluruh rangkaian benchmark. SemiAnalysis juga memperingatkan bahwa konfigurasi tersebut belum menguji beban kerja agen dengan konteks lebih panjang atau percakapan multigiliran, routing, prefix caching, manajemen cache, maupun perilaku offload.

Pilihan perangkat lunak dan cara sistem melayani permintaan dapat mengubah performa produksi secara signifikan. 6

Perhitungan daya memengaruhi hasil per watt

OpenAI mencantumkan daya paket Jalapeño sebesar 700 watt dan mengatakan konsumsi daya terukur yang berkelanjutan berada di level 550 watt atau lebih rendah pada beban kerja yang diuji. Sebagai pembanding, pengujian menggunakan angka pemodelan 1.200 watt untuk GB200 dan 1.400 watt untuk GB300.

Artinya, keunggulan per watt yang dilaporkan sebagian bergantung pada jenis beban kerja, titik pengukuran, dan metode penghitungan daya yang digunakan. 4

Perbandingan dengan Nvidia terikat waktu

Pengujian membandingkan Jalapeño dengan hasil terbaik GB200 atau GB300 yang tersedia saat itu. Namun, sistem Nvidia yang lebih baru bisa menjadi pembanding yang lebih relevan ketika Jalapeño mulai diterapkan dalam skala besar.

Nvidia juga melaporkan hasil DeepSeek R1 pada GB300 menggunakan metodologi offline MLPerf yang berbeda. Angka tersebut tidak bisa dibandingkan langsung dengan metrik interaktif token per pengguna milik Jalapeño. 1 2 4

Rencana deployment dan strategi persaingan

OpenAI berencana menerapkan Jalapeño secara terbatas di infrastruktur komputasinya sendiri pada akhir 2026, dengan kapasitas yang lebih besar diharapkan tersedia pada 2027. Perusahaan mengatakan generasi kedua sudah memasuki tahap pengembangan mendalam, sedangkan generasi ketiga mulai dibentuk. 4 6

Untuk saat ini, Jalapeño merupakan platform internal. Perusahaan luar belum dapat membeli atau menyewanya. Richard Ho, eksekutif perangkat keras OpenAI, mengatakan permintaan internal terlalu tinggi sehingga penjualan eksternal belum dapat dibayangkan. 6

Strategi tersebut berarti Jalapeño akan melengkapi, bukan langsung menggantikan, akselerator Nvidia dan AMD. OpenAI tetap membutuhkan akselerator serbaguna untuk pelatihan, sehingga infrastruktur masa depannya kemungkinan tetap menggunakan kombinasi berbagai jenis chip.

Google telah mengembangkan TPU untuk pelatihan dan inferensi. Amazon dan Microsoft juga memiliki chip AI internal, sementara Anthropic pernah menjelaskan upayanya mengembangkan silikon kustom. 6

Kesimpulan

Hasil awal Jalapeño menunjukkan bahwa akselerator yang dibuat khusus untuk pola kerja tertentu dapat mengungguli sistem serbaguna pada metrik yang penting bagi layanan LLM interaktif: efisiensi energi, waktu respons end-to-end, dan jumlah token yang diterima setiap pengguna.

Namun, kesimpulan yang didukung bukti saat ini lebih sempit daripada klaim bahwa “OpenAI telah mengalahkan Nvidia”. Keunggulan yang dilaporkan berlaku pada model-model tertentu, beban kerja InferenceX tertentu, dan konfigurasi pembanding GB200 serta GB300.

Performa Jalapeño pada trafik produksi yang lebih beragam, agen dengan konteks panjang, tumpukan perangkat lunak berbeda, beban kerja yang berdekatan dengan pelatihan, serta sistem Nvidia yang tersedia saat deployment diperluas masih harus dibuktikan.

Studio Global AI

Lanjutkan penelitian Anda

Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.

Cari dan periksa fakta dengan Studio Global AI

Orang-orang juga bertanya

Apa jawaban singkat untuk "Chip Jalapeño OpenAI Diklaim Lebih Cepat dan Hemat Energi daripada Nvidia GB200 serta GB300"?

Apa poin penting yang harus divalidasi terlebih dahulu?

Apa yang harus saya lakukan selanjutnya dalam latihan?

Jalapeño dirancang khusus untuk inferensi, bukan pelatihan model. OpenAI berencana menggunakannya secara terbatas di infrastrukturnya sendiri hingga akhir 2026, bukan menjualnya ke perusahaan eksternal.

Sumber