JawabanDipublikasikan22 sumber
Nvidia Groq 3 LPX Masuk Produksi Penuh untuk Mempercepat Respons AI
Nvidia mengumumkan pada 24 Agustus bahwa Groq 3 LPX telah masuk produksi penuh. Dalam pengujian Artificial Analysis, sistem ini menghasilkan sekitar 3.400 token keluaran per detik saat menjalankan Gemma 4 31B dengan k...
Diterbitkan olehDiedit dengan GPT-5.6 LunaGambar dibuat dengan GPT Image 1.5
Jawaban penelitian
Poin-poin penting
- Nvidia mengumumkan pada 24 Agustus bahwa Groq 3 LPX telah masuk produksi penuh. Dalam pengujian Artificial Analysis, sistem ini menghasilkan sekitar 3.400 token keluaran per detik saat menjalankan Gemma 4 31B dengan k...
- LPX bukan pengganti GPU Nvidia. Akselerator ini ditujukan terutama untuk tahap decode dalam inferensi, yaitu saat model menghasilkan jawaban token demi token.
- Nebius menjadi pengguna cloud pertama yang diumumkan dan berencana mengintegrasikan LPX ke platform Token Factory sebelum akhir 2026.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Nvidia announce at Hot Chips 2026 about the full-production launch of its Groq 3 LPX dedicated AI-inference accelerator—acquired th. Article summary: At Hot Chips on August 24, Nvidia said its Groq 3 LPX rack-scale accelerator had entered full production as the low-latency, long-context inference component of the Vera Rubin platform. It is intended for rapid token gen. Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Nvidia mengumumkan di konferensi Hot Chips pada 24 Agustus bahwa Groq 3 LPX, akselerator inferensi berskala rak, telah masuk produksi penuh. Sistem ini dirancang untuk bekerja bersama Vera Rubin NVL72 dan mempercepat tahap pembuatan token—bagian yang sangat menentukan seberapa cepat chatbot, asisten coding, dan agen AI merespons pengguna. 26
Dalam benchmark Artificial Analysis, Groq 3 LPX menghasilkan median 3.431 token keluaran per detik saat menjalankan model sumber terbuka Gemma 4 31B dengan konteks sepanjang 100.000 token. Nvidia membulatkan angka tersebut menjadi 3.400 token per detik dan menyatakan hasilnya empat kali lebih cepat daripada platform alternatif terdekat untuk skenario yang diuji. 17
35
Apa fungsi Groq 3 LPX?
Groq 3 LPX ditujukan untuk inferensi berlatensi rendah pada aplikasi seperti AI agent, asisten pemrograman, serta layanan yang harus tetap responsif meski memproses konteks panjang. Nvidia menggambarkannya sebagai akselerator inferensi interaktif yang menghasilkan token secara cepat dan lebih konsisten. 19
26
Untuk memahami posisinya, proses inferensi biasanya dapat dibagi menjadi dua tahap:
- Prefill, yakni saat sistem membaca prompt dan konteks yang diberikan pengguna.
- Decode, yakni saat model menyusun jawaban dengan menghasilkan token satu per satu.
LPX terutama menangani tahap kedua. Vera Rubin NVL72 tetap menjadi sistem yang lebih serbaguna untuk pelatihan, inferensi umum, pemrosesan konteks, dan beban kerja ber-throughput tinggi. 34
Dengan pembagian tersebut, Nvidia memosisikan LPX sebagai pelengkap GPU, bukan pengganti total. GPU tetap menangani komputasi akselerasi yang fleksibel, sedangkan arsitektur turunan Groq diarahkan ke bagian layanan AI yang paling sensitif terhadap latensi—pembuatan respons.
Arti angka 3.400 token per detik
Angka utama yang diumumkan Nvidia berasal dari benchmark Artificial Analysis pada Gemma 4 31B dengan konteks 100.000 token. Hasil median yang lebih presisi mencapai 3.431 token keluaran per detik, lalu dibulatkan Nvidia menjadi 3.400 token per detik dalam pengumumannya. 17
Namun, angka itu bukan ukuran universal untuk semua performa AI. Hasilnya berlaku pada model, panjang konteks, konfigurasi, dan metode pengujian yang digunakan. Klaim empat kali lebih cepat juga merujuk pada perbandingan dalam skenario tersebut, bukan jaminan bahwa LPX selalu empat kali lebih unggul pada setiap aplikasi. 35
Kecepatan pembuatan token hanyalah salah satu bagian dari pengalaman pengguna. Ukuran model, panjang prompt, jumlah pengguna secara bersamaan, kapasitas memori, jaringan, serta waktu yang dibutuhkan untuk memproses konteks awal juga dapat memengaruhi kinerja layanan AI di dunia nyata.
Siapa yang akan menggunakan LPX?
Nebius menjadi pelanggan cloud AI pertama yang diumumkan. Perusahaan ini berencana mengintegrasikan Groq 3 LPX ke Nebius Token Factory, platform inferensi produksinya, sebelum akhir 2026. 2
Groq juga menyatakan akan menjadi salah satu pengguna awal. Perusahaan tersebut berencana menempatkan LPX bersama Vera Rubin NVL72 di layanan cloud inferensi AI yang dibangunnya secara khusus. Dalam kombinasi ini, sistem Rubin menyediakan kemampuan komputasi yang lebih luas, sementara LPX meningkatkan laju pembuatan token untuk beban kerja dengan konteks panjang. 18
Bagian dari strategi Vera Rubin
Nvidia menempatkan Groq 3 LPX sebagai komponen besar ketujuh dalam platform Vera Rubin. Platform tersebut juga mencakup Vera CPU, yang menurut Nvidia memiliki 88 inti Olympus hasil rancangan khusus Nvidia. 33
Vera CPU menangani pekerjaan di sekitar inferensi model, termasuk orkestrasi, pemrosesan data, penggunaan alat, eksekusi kode, dan simulasi. Nvidia juga mengumumkan bahwa SpaceXAI berencana menggunakan Vera CPU untuk aplikasi AI agent generasi berikutnya serta memanfaatkan sistem Vera Rubin NVL72 yang dioptimalkan untuk satelit AI Starmind generasi pertama. 40
Rangkaian pengumuman ini memperlihatkan arah strategi Nvidia: membangun “pabrik AI” dari komponen yang dioptimalkan untuk tugas berbeda, alih-alih membebankan seluruh pekerjaan kepada GPU. Dalam pendekatan ini, CPU mengoordinasikan pekerjaan agen, GPU menangani komputasi besar yang fleksibel, dan LPX berfokus pada pembuatan respons yang cepat serta lebih deterministik.
Apa sebenarnya isi kesepakatan Nvidia dan Groq senilai 20 miliar dolar AS?
Peluncuran LPX merupakan hasil produk paling jelas sejauh ini dari kesepakatan Nvidia dan Groq pada Desember 2025. Namun, menyebutnya sebagai akuisisi langsung atas Groq dapat menyesatkan.
Laporan yang tersedia menggambarkan kesepakatan tersebut sebagai lisensi non-eksklusif atas teknologi inferensi Groq, disertai perekrutan pendiri sekaligus CEO Groq Jonathan Ross, Presiden Sunny Madra, dan sejumlah karyawan penting lainnya oleh Nvidia. 4
8
Groq tetap beroperasi setelah transaksi tersebut dan kemudian menggalang pendanaan tambahan. Struktur ini lebih sesuai dengan kesepakatan teknologi dan perekrutan talenta besar-besaran daripada pembelian seluruh perusahaan. 3
Struktur tersebut juga membantu menjelaskan posisi produk ini. Nvidia memasukkan teknologi pemrosesan bahasa dari Groq ke dalam platform raknya sendiri, sementara Groq tetap menjadi perusahaan independen dan berencana menggunakan perangkat keras Nvidia yang dihasilkan dari kerja sama tersebut di layanan cloud-nya.
Mengapa peluncuran ini penting?
Pengumuman Nvidia bukan sekadar peluncuran chip AI baru. Hal yang lebih penting adalah pemisahan tahapan layanan AI dan penyerahan bagian yang paling sensitif terhadap latensi kepada akselerator khusus.
Bagi AI agent yang harus menjalankan banyak langkah, decode yang lebih cepat dapat membuat proses terasa lebih responsif. Benchmark Nvidia menunjukkan potensi besar dalam satu konfigurasi dengan konteks panjang, tetapi manfaat nyata akan bergantung pada aplikasi dan seluruh infrastruktur penyajiannya.
Masuknya LPX ke produksi penuh, rencana penggunaan oleh Nebius, serta adopsi awal oleh Groq akan menjadi ujian yang lebih berarti: apakah keunggulan benchmark tersebut dapat diterjemahkan menjadi performa cloud yang tersedia secara luas.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Nvidia Groq 3 LPX Masuk Produksi Penuh untuk Mempercepat Respons AI"?
Nvidia mengumumkan pada 24 Agustus bahwa Groq 3 LPX telah masuk produksi penuh. Dalam pengujian Artificial Analysis, sistem ini menghasilkan sekitar 3.400 token keluaran per detik saat menjalankan Gemma 4 31B dengan k...
Apa poin penting yang harus divalidasi terlebih dahulu?
Nvidia mengumumkan pada 24 Agustus bahwa Groq 3 LPX telah masuk produksi penuh. Dalam pengujian Artificial Analysis, sistem ini menghasilkan sekitar 3.400 token keluaran per detik saat menjalankan Gemma 4 31B dengan k... LPX bukan pengganti GPU Nvidia. Akselerator ini ditujukan terutama untuk tahap decode dalam inferensi, yaitu saat model menghasilkan jawaban token demi token.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Nebius menjadi pengguna cloud pertama yang diumumkan dan berencana mengintegrasikan LPX ke platform Token Factory sebelum akhir 2026.