Apa yang Sebenarnya Ditunjukkan Benchmark Chip Jalapeño OpenAI?

OpenAI akhirnya mempublikasikan hasil terperinci dari chip kustom pertamanya, Jalapeño. Klaim utamanya cukup kuat: pada pengujian tertentu, chip yang dirancang khusus untuk menjalankan model bahasa besar ini disebut mampu menghasilkan 1,5–1,9 kali lebih banyak kerja AI per watt serta latensi end-to-end 1,7–3,6 kali lebih rendah dibandingkan sistem Nvidia GB200 dan GB300 yang menjadi pembanding.

Bagi perusahaan yang melayani permintaan AI dalam skala sangat besar, peningkatan seperti ini berpotensi menekan konsumsi daya dan mempercepat respons. Namun, hasil tersebut belum berarti Jalapeño adalah pengganti GPU Nvidia untuk semua kebutuhan. Pengujiannya masih terbatas, chip tersebut hanya ditujukan untuk inferensi, dan sebagian besar angka berasal dari pengujian OpenAI sendiri pada silikon rekayasa. 14

Hasil benchmark utama

OpenAI menguji Jalapeño menggunakan InferenceX, benchmark publik dari SemiAnalysis yang mengukur keseluruhan proses saat sistem melayani permintaan AI, bukan hanya kemampuan komputasi mentah. Angka efisiensi dinormalisasi berdasarkan peringkat daya akselerator yang dipublikasikan.

Dalam hasil yang diumumkan pada Agustus 2026, OpenAI melaporkan bahwa Jalapeño mencapai:

• 1,5–1,9 kali lebih banyak kerja AI per watt pada throughput puncak dibandingkan sistem Nvidia yang diuji.
• Latensi end-to-end 1,7–3,6 kali lebih rendah.
• Performa 2,1–4,1 kali lebih tinggi pada titik operasi untuk beban kerja yang sangat interaktif. 4

Perbedaan latensi terbesar muncul pada pengujian DeepSeek R1 670B. OpenAI melaporkan Jalapeño menyelesaikan permintaan dalam 1,65 detik, sedangkan sistem berbasis GB300 memerlukan 5,99 detik. 1112

Angka ini adalah perbandingan benchmark, bukan janji bahwa waktu respons ChatGPT atau harga API OpenAI akan otomatis turun dengan besaran yang sama. Performa nyata dipengaruhi oleh model yang digunakan, perangkat lunak penyajian, batching, jaringan, panjang konteks, panjang keluaran, serta target latensi atau throughput.

Model dan beban kerja yang diuji

Benchmark tersebut mencakup tiga model open-weight yang tersedia untuk publik:

Model	Sistem Nvidia pembanding	Hasil Jalapeño yang dilaporkan
GPT-OSS 120B	GB200	Sekitar 1,9 kali lebih banyak kerja per watt; latensi 1,03 detik dibandingkan 1,80 detik
DeepSeek R1 670B	GB300	Sekitar 1,7 kali lebih banyak kerja per watt; latensi 1,65 detik dibandingkan 5,99 detik
Kimi K2.5 1T	GB300	Sekitar 1,5 kali lebih banyak kerja per watt; latensi 1,56 detik dibandingkan 5,31 detik

Angka-angka tersebut berasal dari ringkasan hasil benchmark yang dilaporkan, bukan dari pengujian independen penuh yang direproduksi oleh pihak luar. 61112

Skenarionya berupa permintaan satu putaran, dengan sekitar 8.000 token masukan dan 1.000 token keluaran. Konfigurasi tetap seperti ini membantu membuat perbandingan lebih terkendali, tetapi belum menggambarkan seluruh jenis trafik produksi. Misalnya, hasil tersebut belum menjawab bagaimana Jalapeño menangani percakapan multi-putaran, pemanggilan alat, alur kerja agen, keluaran dengan panjang yang berubah-ubah, batching, atau permintaan dengan konteks sangat panjang. 813

Perubahan pada compiler, kernel, kuantisasi, penjadwalan, arsitektur model, maupun perangkat lunak Nvidia juga dapat mengubah besarnya selisih performa.

Spesifikasi sistem Jalapeño

Jalapeño adalah ASIC (application-specific integrated circuit), yaitu sirkuit terpadu yang dirancang untuk tugas tertentu. Chip ini dikembangkan OpenAI bersama Broadcom khusus untuk inferensi model bahasa besar—proses menjalankan model yang sudah dilatih untuk menghasilkan jawaban. Berbeda dari GPU serbaguna, Jalapeño tidak ditujukan untuk berbagai jenis beban kerja komputasi. 15

Spesifikasi tingkat rak yang dilaporkan meliputi:

• 128 chip akselerator dalam satu sistem tingkat rak.
• Sekitar 1,7 exaFLOPS kemampuan komputasi 4-bit.
• Sekitar 27 TB memori bandwidth tinggi dalam satu sistem.
• Peringkat daya chip 700 watt, dibandingkan angka yang dipublikasikan sebesar 1.200 watt untuk GB200 dan 1.400 watt untuk GB300. 121419

Pada tingkat chip, versi B0 yang dilaporkan menggunakan die komputasi berukuran reticle-scale yang diproduksi dengan proses TSMC N3P. Chip tersebut memiliki kemampuan komputasi 13,4 PFLOPS MXFP4. 18

Desainnya menekankan sistem secara menyeluruh, bukan hanya akselerator tunggal. Memori, interkoneksi, jaringan, dan komunikasi antarrak menjadi bagian penting karena model berukuran sangat besar sering kali perlu dijalankan di banyak chip secara bersamaan. 1819

Dirancang dalam sembilan bulan dengan bantuan AI

OpenAI dan Broadcom dilaporkan bergerak dari tahap konsep hingga tape-out—tahap ketika rancangan chip dikirim untuk diproduksi—dalam waktu sekitar sembilan bulan. Untuk chip berperforma tinggi, rentang waktu tersebut tergolong sangat singkat. 720

AI juga digunakan untuk membantu proses rekayasa. Namun, hal itu bukan berarti sebuah model AI merancang dan memproduksi prosesor secara mandiri. Proses tersebut tetap melibatkan tim manusia yang menangani arsitektur dan rekayasa, Broadcom untuk implementasi semikonduktor, mitra manufaktur, serta integrasi sistem. 713

Kesimpulan yang lebih hati-hati adalah OpenAI memanfaatkan pemahamannya terhadap beban kerja model bahasa besar—termasuk perangkat AI dalam alur rekayasa—untuk merancang perangkat keras dan perangkat lunak bagi sasaran inferensi yang spesifik. Spesialisasi ini dapat meningkatkan efisiensi, tetapi juga membuat chip kurang fleksibel dibandingkan GPU yang dapat diprogram ulang.

Mengapa Jalapeño hanya untuk inferensi?

Jalapeño dirancang untuk menjalankan model yang sudah dilatih, bukan untuk melatih model AI frontier baru. Karena itu, OpenAI tetap memerlukan akselerator yang lebih fleksibel, terutama GPU, untuk pelatihan model, riset, eksperimen, serta beban kerja yang tidak cocok dengan desain inferensi khusus. 813

Perbedaan ini penting ketika muncul klaim bahwa Jalapeño “mengalahkan Nvidia”. OpenAI mungkin dapat mengungguli konfigurasi Nvidia tertentu pada metrik inferensi yang diuji, sementara perangkat Nvidia tetap menjadi bagian penting untuk pelatihan dan kebutuhan komputasi lain dalam infrastrukturnya.

ASIC khusus bisa sangat unggul dalam pekerjaan yang volumenya besar, stabil, dan dapat diprediksi. Namun, keunggulan itu tidak otomatis berarti ia menggantikan platform GPU yang mendukung perubahan model secara cepat dan beragam jenis pekerjaan.

Batasan yang perlu diperhatikan

Hasil benchmark ini sebaiknya dibaca sebagai “lebih baik dalam pengujian yang dilaporkan”, bukan “sistem AI terbaik secara keseluruhan”. Beberapa catatan pentingnya adalah:

• Pengujian menggunakan beban kerja satu putaran yang tetap dan relatif sederhana, bukan keseluruhan pola trafik produksi. 1112
• Angka utama berasal dari pengujian OpenAI pada silikon rekayasa. SemiAnalysis dilaporkan memverifikasi pelaksanaan pengujian di laboratorium OpenAI, tetapi angka dasarnya tetap diberikan oleh OpenAI. 214
• Efisiensi dihitung berdasarkan peringkat daya chip yang dipublikasikan. Ini berguna untuk perbandingan, tetapi bukan analisis lengkap mengenai biaya atau konsumsi energi pusat data. 11
• Hasil dapat berubah seiring pembaruan compiler, kernel, runtime, kuantisasi, batching, jaringan, dan perangkat lunak Nvidia.
• Perbandingan tersebut belum menetapkan posisi Jalapeño terhadap seluruh akselerator baru atau yang akan datang, termasuk produk Nvidia setelah generasi Blackwell serta sistem terbaru dari Google, Amazon, Microsoft, AMD, dan penyedia lain. 238

Karena itu, belum ada dasar dari hasil ini untuk menyimpulkan adanya pengurangan biaya universal sebesar 50 persen, penurunan harga API yang pasti, atau penggantian Nvidia dalam waktu dekat. Bukti yang tersedia hanya mendukung klaim performa dan efisiensi pada kondisi tertentu.

Kapan Jalapeño akan digunakan OpenAI?

OpenAI berencana mulai menerapkan Jalapeño di infrastrukturnya sendiri pada akhir 2026, dengan produksi volume dan penerapan yang lebih luas diperkirakan berlangsung pada 2027. Rencana jangka panjangnya mencakup pusat data berskala gigawatt bersama Microsoft dan mitra infrastruktur lain, melalui beberapa generasi chip. 16

Chip ini terutama ditujukan untuk kebutuhan internal OpenAI, bukan untuk dijual sebagai prosesor komersial. Dengan demikian, perusahaan lain belum dapat menganggap Jalapeño sebagai perangkat keras yang bisa dibeli atau sebagai instance cloud publik yang dapat disewa. 16

Mempertahankan chip di dalam infrastrukturnya sendiri memungkinkan OpenAI mengoptimalkan Jalapeño untuk model, kernel, dan sistem penyajian miliknya. Model penggunaan internal juga menghindarkan OpenAI dari kewajiban membangun dukungan perangkat lunak, penjualan, ekosistem pelanggan, dan menghadapi pelanggan yang sekaligus menjadi pesaing. Alasan terakhir merupakan interpretasi strategis; rencana yang dikonfirmasi adalah penerapan internal, bukan penjualan chip eksternal. 16

Posisi Jalapeño dalam persaingan chip AI

Jalapeño lebih tepat dipahami sebagai salah satu bagian dari strategi komputasi full-stack OpenAI. Perusahaan ini menggabungkan kapasitas cloud dari Microsoft dan mitra lain, GPU kelas Nvidia untuk pelatihan serta beban kerja yang membutuhkan fleksibilitas, dan silikon kustom untuk inferensi yang stabil dan bervolume tinggi. OpenAI menyebut portofolio komputasinya juga mencakup AWS, AMD, Broadcom, Cerebras, CoreWeave, Oracle, SB Energy, dan SoftBank.

Strategi tersebut mencerminkan tren yang lebih luas dalam industri AI. Google mengembangkan TPU, Amazon memiliki Trainium dan Inferentia, Microsoft mengembangkan Maia, AMD bersaing melalui GPU AI serbaguna, sementara Nvidia terus menyediakan sistem yang dapat diprogram untuk beragam kebutuhan. Anthropic juga mengarah pada infrastruktur yang semakin terkustomisasi melalui hubungan cloud-nya, meski bukti benchmark yang tersedia tidak memberikan perbandingan performa langsung dengan sistem Anthropic.

Dampak strategis jangka dekatnya lebih kompleks daripada sekadar cerita “GPU segera digantikan”. Jalapeño dapat memberi OpenAI kontrol lebih besar atas biaya inferensi, latensi, pasokan, dan peta jalan perangkat kerasnya. Namun, Nvidia tetap penting untuk pelatihan dan riset yang fleksibel, sementara chip kustom OpenAI menjadi pilihan khusus untuk beban penyajian model yang dapat diprediksi dan berlangsung dalam volume sangat besar. 813